耀世娱乐ADLab：智能音箱网络清静与隐私研究报告
宣布时间 2019-07-12本报告重点剖析了智能音箱面临的清静危害和隐私危害。通过对智能音箱的研究 ，耀世娱乐ADLab发明了产品中保存有硬件调试接口误差、DLNA服务越权误差、服务端口越权误差等十余个清静误差 ，这些误差可造成未授权装备控制、语音窃听、敏感信息泄露等。耀世娱乐ADLab已第一时间向CNVD和CNNVD举行了误差转达 ，并与ICSCERT团结宣布了《智能音箱隐私与网络清静剖析报告》。
目录
一、市场生长与未来趋势
二、手艺生长
2.1 智能音箱功效
2.2语音交互手艺
2.3组网模式
2.4清静及隐私危害研究的须要性
三、智能音箱清静危害与案例剖析
3.1装备端
3.1.1开放的调试接口
3.1.2 内置的后门
3.1.3未授权的开放端口
3.1.4 开放未授权的DLNA（Digital Living Network Alliance) 服务
3.1.5 代码缺陷
3.2 APP侧
3.2.1 APP申请过多的权限
3.2.2 APP通讯
3.3装备互联及第三方服务
3.3.1 装备间互联互通协议
3.3.2第三方内容审核
3.3.3声纹识别算法缺陷
四、隐私危害
4.1 误叫醒
4.2 过多的权限
4.3 音箱的日志信息被泄露
4.4 录音信息可以被恒久跟踪学习
4.5 API敏感信息走漏危害
4.6 用户无法管理自己的隐私信息
五、危害防护及清静建议
一、市场生长与未来趋势
2014年11月 ，亚马逊低调宣布一款智能音箱Echo ，它标记着智能音箱市场生长的最先。2015年销量抵达250万台 ，2016年的销量抵达520万台 ，也因此依附不俗的销量一举逾越古板音箱领头羊Sonos ，夺得在线音箱行业市场销售头把交椅。一度在智能音箱市场细分领域占有了极大部分的市场份额。亚马逊宣布的智能音箱Echo受到了市场强烈反应 ，引发了全球智能音箱热潮。随后谷歌公司在2017年5月份也宣布了自家的智能音箱产品Google home。紧随着 ，苹果公司在2017年宣布智能音箱HomePod。随着外洋各大巨头厂商相继宣布各自的智能音箱产品 ，海内厂商也紧追厥后 ，纷纷入场结构。首先京东和科大讯飞合作推出了“中国版Echo”叮咚音箱 ，随后酷狗、阿里巴巴、小米、百度、华为等企业也先后跟进 ，陆续通过自研或者合作的方法入局。
全球智能音箱市场生长飞快 ，快速爆发 ，2017年整年出货量抵达了3220万台中国智能音箱市场增添迅猛 ，现在已经成为全球第二大智能音箱市场。
智能音箱极大拓展了古板音箱的能力领域 ，就音乐这一特质来讲 ，智能音箱不但会保存并且还会举行响应的增强。凭证相关机构的调研资料相识到 ，消耗者购置缘故原由照旧较量简单 ，购置智能音箱的主要选择照旧用来听音乐 ，占比抵达90%。不过在未来的智能音箱的生长中 ，音质和优质内容相团结将会是一种潮流。厂商方面 ，音频厂商与科技类公司举行合作 ，相继推出性能较强的智能音箱 ，会发动一批主打音质的智能音箱产品。随着智能音箱产品的增添 ，产品之间互联互通成为后续生长趋势 ，同样这也切合智能家居生长纪律 ，能将智能音响融入到物联网天下里 ，接入多方产品的平台 ，完善平台结构。智能音箱的实质是语音交互产品 ，语音交互手艺直接影响到用户体验 ，因此具备越发智能化 ，个性化也是消耗者所期待的 ，或将成为智能音箱行业的焦点竞争手艺。
二、手艺生长
智能音响是古板音箱升级的产品 ，家庭消耗者可以通过它上网点播歌曲 ，上网购物 ，亦或是相识天气预告 ，准时闹钟 ，新闻资讯等。它也可以对智能家居装备举行控制 ，好比翻开窗帘 ，设置冰箱温度 ，提前翻开热水器升温等 ，这种智能音箱是接入了智能家居网络中可以举行的操作。着实智能音箱焦点较量简要 ，就是让机械在语言对话这一环节拥有近似于人类的识别能力 ，并渗入到人们的一样平常生涯中。
2.1 智能音箱功效
智能音箱应该具备语音交互能力 ，并提供内容服务、互联网服务 ，以及场景化智能家居的控制能力 ，如下图所示：
图1 智能音箱功效示意图
智能音箱差别于古板音箱 ，它将是物联网天下的语言入口。
2.2语音交互手艺
智能音箱的生长与火爆离不开语音交互手艺的支持 ，虽然 ，强盛的语音交互的背后也离不开大数据、机械学习及人工智能等手艺的支持。各大语音手艺厂商通过自主研发软硬件产品 ，或对外输出语言手艺 ，赋能古板智能音箱厂商、内容和互联网服务厂商 ，获取用户信息和数据 ，建设物联网生态平台。2017年12月4日 ，中国电子科技集团公司第三研究所（简称“中电三所”）团结中国电子学会消耗者电子分会团结宣布了 ，以“娱心悦耳 ，音智双全”为主题的智能音箱评测宣布会� ；嵘闲剂似涫笔谐」刈⒍冉衔械奈蹇钪悄芤粝涞钠啦庖煊胄Ч�。对智能音箱的识别准确率测试效果如下图所示：
图2 智能音箱识别准确率
2.3组网模式
一样平常地 ，用户通过手机端app举行周全操控 ，例如用户注册 ，上岸 ，种种基础和个性设置以及服务内容定制等。手机端app只和远程云服务器举行通讯 ，云服务器作为“鹊桥” ，将用户指令转发给智能音箱 ，智能音箱响应云服务器下达的指令。响应效果再通过云服务器反响到手机端并展示给用户。虽然 ，用户可以通过语音交互直接和智能音箱交流 ，智能音箱吸收到语音信息后 ，将语音信息打包转发给云服务器举行剖析。云服务器将语言信息转义后形成指令再次返给智能音箱举行执行 ，执行效果通过云服务器再次反响到手机端展示给用户。云服务器和智能音箱之间的通讯协议 ，各家都差别。例如 ，小米之前使用过miio协议等。智能音箱作为智能家居中一个主要装备节点 ，虽然也支持与第三方装备举行控制协议交互 ，使用的通讯协议通常是自界说的。关于智能音箱自己 ，通常自身具备毗连局域网WiFi的功效。下图为智能音箱组网模式。
图3 组网示意图
2.4清静及隐私危害研究的须要性
人类的语音内容中包括了富厚的小我私家信息。通过语音内容 ，剖析职员可以获得小我私家的年岁、性别、籍贯、康健情形、周围情形等小我私家敏感信息。以是智能音箱的语音收罗及使用涉及到敏感的小我私家隐私问题。
隐私权是人的基自己权 ，公众有权力相识自己的小我私家信息是怎样被收罗的 ，什么时间被收罗的 ，在那里被收罗 ，公众有权力决议自己的小我私家信息如电收罗 ，生涯及使用方法。随着民众自我� ；ひ馐兜奶岣呒爸捶ǖ那敖� ，增强小我私家信息清静及隐私� ；さ暮羯苍嚼丛礁�。
2018年 ，欧盟最先实验GDPR法案 ，要求企业必需包管小我私家隐私清静。
2018年5月1日 ，国家《信息清静手艺小我私家信息清静规范》正式实验 ，填补了海内小我私家信息� ；ぴ谙晗赶质当曜忌系目杖�。
近年来 ，关于智能音箱涉及的清静及隐私问题也经常见报端。
图4 智能音箱小我私家信息泄露报道
因此研究智能音箱的清静及隐私问题显得十分须要 ，为此我们研究了八款市场主流的智能音箱装备 ，其中2款涉及到外洋厂家 ，6款产品涉及到海内厂家。
三、智能音箱清静危害与案例剖析
智能音箱的清静危害主要保存于智能音箱装备端、智能音箱APP及智能音箱的第三服务及互联协议三部分。
耀世娱乐在对音箱的清静研究时代 ，共向CNVD（国家信息清静误差管理平台）及CNNVD（中国国家信息清静误差库）提交了十多个装备清静误差 ，部分装备的编号及说明如下表所示。
3.1装备端
3.1.1开放的调试接口
为了生产及维护环节的便当 ，许多智能音箱都开放了对外的调试接口 ，这些接口包括usb调试口、TTL调试口。通过这些接口 ，厂家可以对问题装备的固件举行更新。可是这些开放的调试接口同样为攻击者提供了剖析固件和装备攻击提供了便当 ，更进一步的攻击者可以向装备装置恶意的固件 ，然后投放到市场销售。
图5 开放的调试接口
3.1.2 内置的后门
在智能音箱的固件剖析中 ，我们发明部分厂家在固件中设置了后门 ，使得厂家可以在用户不知情的情形下 ，可以远程地控制全网所有音箱 ，并执行恣意系统下令 ，对用户隐私及装备清静造成了极大隐患。
图6 智能音箱后门示例
3.1.3未授权的开放端口
部分音箱开放了部分的开放端口 ，通过这些开放端口 ，使用未授权的开放端口 ，攻击者可以控制音箱播放恶意音频或者举行录音。
某智能音箱监听8080端口 ，若是攻击者通过向该8080端口发送相关的控制下令即可完全控制音箱装备。
图7 未授权的开放端口
3.1.4 开放未授权的DLNA（Digital Living Network Alliance) 服务
我们发明部分音箱开放了未授权的DLNA服务 ，局域网内的攻击者可以攻击者可以控制音箱播放恶意音频或者是中止音箱正在播放的内容。这种攻击关于运用于公共场合的音箱 ，有很大的清静隐患。
图8 开放的DLNA服务
3.1.5 代码缺陷
部分音箱在代码实现上保存缺陷使得攻击者可以通过下令注入误差开启telnet服务 ，并完全控制音箱装备实现对装备的录音等恶意操作。保存下令注入代码如下图所示：
图9 获取playurl
获取playurl后 ，举行下令拼接 ，导致恣意下令执行。
图10 恣意下令注入执行
乐成攻击后 ，开启telnet服务。
图11 乐成开启telent服务
3.2 APP侧
3.2.1 APP申请过多的权限
APP申请权限过多的问题较量严重 ，在我们测试的国产音箱中 ，该问题所有保存。其中太过的权限包括但不限于APP读取短信 ，读取手机的识别码 ，发送/读取短信/彩信的权限 ，翻开摄像头的权限 ，读取用户通话纪录及已手机已装置应用信息 ，拨打电话 ，使用呼叫转移 ，读取运动数据的等敏感权限。
图12 敏感权限
3.2.2 APP通讯
通讯协议未加密问题 ，使得攻击者可以使用这些袒露的清静问题 ，获得装备的控制权。
图13 APP通讯抓包
3.3装备互联及第三方服务
3.3.1 装备间互联互通协议
在智能家居的场景中 ，智能音箱起到了控制中心的职位 ，智能音箱通过识别用户的语音下令 ，通过智能家居的互联协议控制其他家居装备。我们在研究智能音箱的时间 ，发明部分厂家在智能家居装备的互联协议中没有接纳须要的清静审核机制 ，特殊是装备和装备之间正当性验证。攻击者使用这些设计缺陷就可以窃取音箱的语音下令内容或者不法控制其他智能家居装备。
3.3.2第三方内容审核
由于智能音箱的使用者 ，很大一部分是儿童。因此对智能音箱来说对音频回复内容的审核应该要有一定的敏感内容防护 ，不可回复反动音频或者是粗口内容。在我们研究的历程中 ，我们发明个体音箱在处置惩罚内容识别时 ，缺少须要的防护 ，使得在一些特定的中英混淆问题的场景中 ，智能音箱会回复粗口的内容。
3.3.3声纹识别算法缺陷
在某款用于购物的音箱装备中 ，接纳了声纹识别的手艺用于用户的生意身份的判断 ，可是我们的测试中 ，发明声纹识别的误识率较高 ，在生物识别手艺中（如虹膜 ，指纹 ，指静脉） ，由于声纹手艺及装备本钱的约束 ，声纹识别的识假率较低。有些厂家的声纹手艺无法对抗录音及人声模拟的攻击 ，而这些攻击手段关于攻击者来说是较简朴的。
四、隐私危害
4.1 误叫醒
在音箱的使用场景中 ，只有用户叫醒音箱后 ，音箱才华网络用户的语音信息。而由于有些音箱的叫醒算法保存缺陷 ，使得音箱经常在未被叫醒的情形下 ，自行叫醒 ，并且网络用户语音 ，上传到后台举行识别。这样会使得用户的隐私保存走漏危害。在我们测试的音箱中有五款智能音箱保存差别水平的误叫醒情形。占比抵达56%。
4.2 过多的权限
APP申请的包括APP读取短信 ，发送短信的权限 ，摄像头的权限 ，通话纪录及已装置应用信息 ，使用呼叫转移 ，读取运动数据的等敏感权限。
在音箱的使用场景中 ，在天气预告的时间需要获取用户所在的都会的位置 ，在一样平常的使用情形下 ，只需要音箱的外网IP地址即可获取用户的地区位置 ，而某些音箱除此之外还获取用户家中路由器的WIFI的BSSID信息及GPRS位置信息。
4.3 音箱的日志信息被泄露
某些音箱天天会上传用户音箱的系统日志信息 ，这些日志信息不但包括音箱的一样平常使用信息 ，还包括了音箱所在局域网的WI-FI的密码信息。
4.4 录音信息可以被恒久跟踪学习
在我们研究的这些音箱的远场音频处置惩罚� ？榛岫宰氨傅氖章蘩讨� ，会对统一装备收罗的音频会偷偷打上唯一标识。这些语音文件生涯到云端后 ，第三方厂家在举行语音剖析及AI建模时 ，可以通过隐藏的声音标识定位到小我私家 ，可以对统一家庭成员的声音举行追踪 ，可以对小我私家的语音特征转变举行长时间的跟踪和学习。
4.5 API敏感信息走漏危害
智能音箱的工业链中包括了音箱装备厂家、语音识别及语音合成平台厂家、远场音频处置惩罚厂家、NLP算法厂家、音频内容提供商、外围装备商等。
在智能音箱厂家与工业链厂家交互中API ，包括用户的手机号 ，详细地理位置 ，WI-FI的BSSID ，MAC地址等用户隐私信息 ，而这些信息关于工业链厂家来说不是营业所必需的。
4.6 用户无法管理自己的隐私信息
用户有权力决议自己的小我私家语音信息在云端的生涯。厂家应为用户管理这些隐私信息提供服务入口。
外洋的智能语音装备厂家如亚马逊在APP侧及音箱侧为用户提供了删除云端小我私家录音。亚马逊音箱用户只需要对音箱说“Alexa ，删除我今天所说的一切”。亚马逊将会删除在云端生涯的用户录音。
惋惜的是现在我们没有在海内产品中看到这些有利� ；び没б降牟椒�。
五、危害防护及清静建议
通过对多款智能音箱举行深入地研究 ，我们总结出五个方面的清静问题 ，划分为清静危害、装备端、APP侧、外接装备及第三方组件以及隐私危害。
装备端问题主要是智能装备开发板袒露出调试串口 ，可以通过调试器将装备中的固件独读取出来举行逆向剖析 ，导致固件泄露。
APP侧问题主要是保存被逆向剖析的危害 ，我们在研究历程中 ，对多款智能音箱的手机端app举行了逆向剖析 ，发明了许多要害问题 ，例如 ，装备和云服务器之间的通讯协议。智能音箱中使用通过第三方协议举行局域网音频播放 ，而使用的第三方协议是没有举行装备认证的。
最主要的一个清静问题就是隐私问题 ，我们发明多款装备都保存网络用户信息并打包回传云服务器的功效。其中有的装备被攻击后 ，在用户不知晓的情形下 ，可以举行录音操作。甚至还能回溯用户的使用痕迹和语音痕迹。
针对这些清静问题 ，需要逐一举行防护。APP侧要使用加固手段 ，避免被逆向剖析 ，将一些要害协议的实现放到native层实现。关于外接装备及第三方组件 ，智能装备厂商需要对第三方厂商的清静准入举行把关。
隐私问题是一个大问题 ，同时也是一个普遍的社会问题 ，厂商可能通过网络用户使用信息来剖析用户行为以便更好的提供服务 ，但应当思量隐私界线。同时关于网络到的用户信息应做到加密 ，不可只管网络不管� ；� ，厂商应该肩负起自己的社会责任。
天下政协委员、耀世娱乐集团CEO严望佳在2019 天下政协聚会上提交了三个提案 ，其中《关于加速完善数字经济时代数据法治建设的提翱斩赐《关于规范人工智能清静康健生长的提案》与小我私家隐私相关。这两个提案建议加速《数据清静法》事情及《小我私家信息� ；しā肥虑� ，加速开展人工智能清静应用规则和伦理品德研究及应用清静测评事情。
尽早开展人工智能相关规则和品德伦理以及清静性的评估 ，化解危害 ，这将推感人工智能更好更快地生长。
京公网安备11010802024551号