最近关于AI的负面新闻着实有点多。不是“合成老板声音骗走173万”，就是“过度采集信息侵犯学生隐私”……作为一个长期关注AI进展的科技媒体，我们一边替AI着急，同时又觉得心里的另一只靴子落了地——“该来的总会来”。

　　在很长一段时间内，大家更愿意将目光聚焦在AI的技术进步上。比如“AI语音合成”，相关的新闻大家一定也看过很多了，“聊天App推出变声成明星功能”，“仅用1分钟AI就能模仿你说话”，“谷歌语音克隆实现情感表达”等等，无不伴随着对技术的乐观期盼，相关技术成果也被研究者们慷慨地分享在开源平台上。形势一片大好中，这次“AI语音诈骗”事件恰恰给我们提了个醒：

　　技术的进步与普及速度，已经远远走在了普通人的认知前面。在社会高度智能化、技术应用门槛越来越低的今天，AI也必然成为诈骗者的目标和帮凶，危及个人资产安全只是迟早的事。

　　对于个人来说，为了争取不被骗子收割，预先了解AI有哪些能力，就是必不可少的一课了今天就来说说，有哪些辨别起来难度较大的AI骗局……

　　难度系数一星：伪造邮件

　　钓鱼邮件，即黑客伪造官网发送邮件，其中携带恶意木马或虚假内容来窃取信息，早已经不是什么新鲜的攻击手段了。以现有的安全技术，检测并防御来自钓鱼邮件的威胁，几乎不费吹灰之力，近两年类似的骗局也很少出现在大众眼前。

　　可是，如果邮件这一用途与人工智能相结合，使攻击者能够访问公司网络并说服员工授权转账，那带来的后果就会非常可怕了。

　　2017年，美国南俄勒冈大学就被诱骗向进行了190万美元的转账，他们认为自己的转账对象是负责建设学生娱乐中心的安德森建筑公司，实际上却转到了骗子的银行账户。该事件导致FBI向其他大学与机构发出了风险警告。而在此前，已经有78起类似的骗局发生，电缆制造商Leoni和科技公司 Ubiquiti Networks 之类的公司，曾被骗走了数亿美元。

　　这种商务电邮诈骗(BEC)到底是如何实现的呢？

　　首先，骗子很容易找出与机构有业务联系的工程项目公司，然后冒充既定厂商向机构财务部门发送支付账单，机构信以为真之后就会将后续的款项转账到骗子的银行账户，等意识到被骗的时候，通常已经追不回来了。

　　之所以能够达到如此逼真的效果，除了骗子会注册一个与官方类似的域名来假冒邮件地址之外，人工智能的参与也起到了非常大的帮助。

　　攻击者通过Twitter、LinkedIn、Facebook等社交媒体，就能够全面了解目标的业务往来信息，有些企业和机构的官网也会公开（暴露）自己的组织机构和管理人员，而年龄、性别、博文等等多维数据都可以被注入到机器学习训练模型之中。



　　比如一名高管在Twitter 上公开了他的日程、演讲计划、旅行计划等，系统就能分辨出他何时在参加会议或是在工作，从而调整攻击策略，然后借助AI语言模型生成连贯的令人信服的内容。最常见的是要求更改付款账户或是进行紧急付款，而高管人员正在假期或长途飞行时很难联系到本人，毫无防备的受害者很容易就会因“事态紧急”而选择听从号令。

　　由此产生的攻击能帮助攻击者绕过一些基于签名的检测系统，成功骗过当前的一些反垃圾邮件遥测技术。而且，它还能不断学习，如果攻击有效，信息就会被反馈到模型中，进一步提升未来攻击的准确性。失败的数据也会反馈回来，以便机器可以学习哪类信息是不奏效的。

　　别觉得这个套路过于简单。联邦调查局的数据显示，2018年由伪造电邮骗局造成的损失超过了125亿元（其中最大的一笔高达50亿美元），是2017年的两倍多。最关键的是，由于不带有钓鱼页面或文件，因此这种骗局很难通过安全软件来进行甄别，地址和内容看起来都是“合法的”。

　　想要不上当，只能依靠个体的警觉了。如果掌握公司财务的是一个对技术近况不甚了了的“傻白甜”，结果可想而知……

　　难度系数二星：伪造笔迹

　　如果说提高警惕、仔细核验，邮件诈骗在很大概率上能够防范的话，那么AI伪造笔迹这种个性化特征，可能连极为熟悉你本人的亲朋都容易上当。

　　英国UCL大学研究人员就开发出了“My text in your hand writing”人工智能算法，能够分析一个人的字形及其特殊的书写方式，生成字形、字号、颜色、笔线纹理、垂直及水平间距等完全相同的笔迹，这是迄今为止对人类笔迹的最精确复制。



　　而早在2017年上海举行的GeekPwn2017国际安全极客大赛上，就有团队通过类似的笔迹模型写出了一张以假乱真的欠条。

　　这个自带书法笔迹深度学习系统的手臂 “DeepWritting”，首先从现场一位作家的真人笔迹中进行学习，掌握了作家笔迹的每一个细节和习惯，然后很快写下了一张欠条，即使是现场请来的专业笔迹鉴定师，也无法发现有任何与真迹不符的地方。换句话说，如果骗子利用该模型伪造一张欠条，法律上也难以判定它是假的。

　　当然，欠条只是小case，恐怕罪犯也不愿轻易劳心劳力地只坑一个人。但如果是伪造出具有较高确定的度的法律或金融文件，比如财务合同签名、遗嘱、历史人物的手迹等等，就为司法证据的鉴定和非法证据的排除带来了不少困难，有可能改变事实的关键走向。

　　历史上就曾发生过《明星》画刊编辑花费数百万购买了大量包含希特勒笔迹的资料，历时数月学习和模仿，伪造了一本多达62册的希特勒日记，并将之作为独家新闻公之于众，在当时引起了全球性轩然大波。但很快历史专家通过材料鉴定，发现该日记的纸张里含有当时尚未发明的材料，才让真相大白。



　　但随着AI生成算法能力的提升，未来想要靠专业鉴定师来识别出字迹的真伪，恐怕就不是一件容易的事了。

　　难度系数三星：机器人电话

　　当然，无论是邮件，还是手写授权，在现代人的生活场景中都在逐渐淡化。不过，上述诈骗方式还没遭到破解，就有更难以辨别的新手段出现了。机器人电话，就是AI语音合成技术一种比较广泛的应用。

　　有些场景只是有点烦人，比如利用AI机器人进行推销。想必大家都没少经历过，接通一个看似官方的来电，声音那头会非常自然地跟你打招呼“你好”，停顿之后，如果你客气地回应“哪位”，对面的机器人就会将你引导到手机短信，鼓励你办理业务。

　　而有些手段就涉及到诈骗犯罪了，比如用虚假借口索取金钱或个人信息。由于电销机器人技术已经非常普及，几乎不需要高投入就能行骗，也导致此类骗局正在泛滥。

　　比如今年4月份郑州市公安局破获的一起诈骗，某公司就是先从网上购买AI机器人电话软件，由电话机器人自动操作，以每天1000-1500个的速度拨打客户电话，一旦有客户没有拒绝接听并表示感兴趣，这些声音甜美、说话热情的AI语音机器人就会记下该电话号码，然后由业务员主动添加该客户的微信吸引他们充值投资，一旦资金到账，就迅速拉黑对方。

　　2018年，美国联邦委员会还向四家在全美境内提供非法机器人呼叫电话投放服务的运营商发起了诉讼。这些公司会向人们推销虚假的能减免债务的服务，亦或是伪装成慈善机构欺骗大家捐赠汽车等财务，再把它们卖掉。还有的声称自己是谷歌的“数据服务代理”，诈骗小企业主支付数百美金来优化其搜索排名……

　　更让人无奈的是，目前除了用户主动进行“诈骗号码”标记之外，并没有其他能真正有效阻止非法机器人电话的方法。

　　难度系数四星：语音克隆

　　上述技术和语音克隆比起来，还是小巫见大巫了。

　　因为机器人语音系统还可能存在卡顿、音色机械化、语气表现力不足、多轮对话“鬼打墙”等问题，但到了克隆级别， 不仅说话的声音达到了真人水准，甚至还能模仿真人的情感和语调，自动说出全新的语句。

　　文章开头提到的，AI伪装成母公司“老板”电话，讲出带有德国腔的英文，要求必须在一个小时之内给“匈牙利供应商”转账，成功骗走22万欧元，采用的就是语音克隆技术。

　　除了能够利用神经网络对原始音频进行建模和模仿之外，AI还能够分析本人的社交网络，很快掌握个性化的说话方式、与周围人的关系、兴趣爱好等等，从而模仿你与身边的人自然地交流。



　　别说是工作伙伴了，就连亲妈，可能都听不出克隆出来的语音与本人有什么区别。

　　Buzzfeed的科技记者Charlie Warzel就曾使用一款免费的语音合成软件，模仿了自己的声音，然后打电话给自己的妈妈，结果对方居然没听出来。

　　目前，谷歌的WaveNet、Lyrebird语音合成软件，Adobe的 Project VoCo，以及百度的Deep Voice，科大讯飞、腾讯等等都提供语音合成的开源应用。顺着这个思路往下延伸，或许有一天，AI可以模仿我们给朋友写信、玩转社交媒体，替我们签名，甚至能够代替我们和亲朋好友聊天……这一切似乎很美好，但如此容易获取的技术，无异于将很多个人安全数据都交到诈骗罪犯手中，又会是一种多么可怕的存在？

　　AI诈骗这场仗，未来该如何打？

　　当然，说了这么多，并不是为了让大家对AI敬而远之。绝对的“技术安全”本身就是一个伪命题，因噎废食并不可取，也并不现实。或许，当我们将AI作为一柄神兵利器释放出来的时候，就注定就走上一条“以子之矛攻子之盾”的道路。

　　如何将“安全之盾”铸造的更加强大呢？如果说技术的发展是问题的起源，它也将成为解决问题的归宿。最典型的，除了加强个人安全警示教育之外，许多新的技术方法也开始被应用在防范AI诈骗上。

　　比如安全公司赛门铁克，最近就提出了采用区块链技术和IP语音（VoIP）呼叫的方法，就是来辨别来电者的真实性，从而减少哪些模拟来自上级的诈骗电话。

　　再比如，卡迪夫大学和查尔斯三世大学的科学家通过NLP技术来判断书面谎言，通过一个名为VeriPol的工具来识别语句中的各种特征，判断出报告是否真实。对于一些伪装真人发出的诈骗邮件或书面文件，更强大的AI模型显然能起到很好的反制的作用。

　　当然，在不明确技术泛滥后果的前提下，合理地释放技术成果也成为一些科技企业的选择。比如OpenAI前段时间推出的性能更高的无监督语言模型GPT-2，就没有按照行业惯例进行开源，只发布了简化版，不发布数据集、训练代码以及模型权重，目的就是避免“这一技术被人恶意利用”。



　　除了技术人员与黑客们斗智斗勇，产业界也开始从规则建设的层面，为滥用AI的行为设立了禁区。FTC和FCC近年来都加强了对非法机器人电话的监管行动，向八家小型电信运营商和互联网通讯公司发出通知，敦促他们追捕并关闭可疑的欺诈电话来源。在美国安全中心发布的《人工智能与国家安全》报告中，也明确将人工智能伪造技术列为威胁国家安全的重点技术。中国也开始通过政策管理和技术限制等途径进行布局，来应对人工智能的潜在安全风险。

　　这次“AI语音诈骗”事件让全球人民真切地经受了一次以AI为名的安全教育。总的来说，攻击者与防御者手中的武器都在升级迭代，而围绕AI生成的网络欺骗与安全问题有着太多意想不到的可能性，这场全新的斗法，或许是时候从技术维度，走向常识、伦理、规则等更广阔的领地了。

会被AI统治的

Tony0449 发表于 2019-9-6 09:49
会被AI统治的

会不会真的出现黑客帝国或终结者那种情况

Grout 发表于 2019-9-6 09:51
会不会真的出现黑客帝国或终结者那种情况

未来，肯定会的

现在的科技发展太猖狂太可怕了

别太依赖AI

诈骗越来越厉害啦