AI大模型端侧部署成趋势,手机AI将迎来爆发
近年来,AI大模型发展迅猛,但大多数模型还是运行在云端数据中心,用户需要联网才能使用。随着模型压缩技术的进步和手机芯片AI算力的提升,这一情况正在发生改变——越来越多的大模型开始直接部署在手机本地,端侧AI时代正在加速到来。
一、端侧AI为什么突然火了
端侧AI并非新概念,但直到最近一年才真正起飞。背后主要有两个推动力:一是AI芯片算力大幅提升,旗舰手机的AI算力已经达到100TOPS以上,足够运行7B甚至14B参数的大模型;二是模型压缩和量化技术进步,原来需要服务器运行的大模型,经过量化压缩后,可以在手机内存中流畅运行。
除此之外,用户需求和隐私考虑也在推动端侧AI发展。云端AI需要把用户数据上传到服务器,不仅有隐私风险,响应速度还受网络影响。端侧AI所有计算都在本地完成,隐私更安全,响应速度更快,用户体验更好。
苹果、谷歌、华为、小米等巨头都在加码端侧AI。苹果在iOS 18中内置了端侧大模型,可以离线完成输入法预测、图片编辑、总结文字等功能;华为小米也纷纷在新机中宣传"端侧70亿参数大模型"。可以说,端侧AI已经成为今年手机厂商的核心卖点。
二、端侧AI能做什么
目前端侧AI主要应用在几个方向:首先是输入法智能预测,能够根据上下文更精准地预测你想输入的内容,大大提升打字效率;其次是内容总结,收到长邮件、长文章,可以直接在本地生成摘要,不用联网;第三是图片和视频编辑,AI扩图、AI换背景、AI修复老照片都可以在本地完成,速度快还不用担心照片隐私泄露。
更令人期待的是未来应用场景。比如私人智能助手,你的所有日程、偏好、聊天记录都可以在端侧处理,不需要上传云端,AI就能给你精准个性化推荐,又好用又安全;再比如离线翻译,出国旅行不用联网就能实时翻译,比现在的云端翻译更方便;还有AI游戏,端侧AI可以生成动态游戏内容,让游戏体验更丰富。
对于开发者来说,端侧AI也降低了推理成本,原来每一次AI推理都要付云端服务器费用,现在用户手机自己就算完了,长期来看能省不少钱。
三、端侧AI面临哪些挑战
虽然前景很好,但端侧AI也面临不少挑战。最大的挑战还是模型性能和效果的平衡——模型压缩变小之后,能力通常会有所下降,很多复杂任务端侧模型还是比不上云端大模型。目前端侧AI只能搞定相对简单的任务,复杂推理还是得靠云端。
其次是手机功耗问题。大模型推理比较费算力,持续使用会增加功耗,影响手机续航。如何在性能和续航之间找到平衡,是手机厂商需要解决的问题。目前来看,只有旗舰芯片才有足够的AI算力,中低端手机短期内还很难用上大尺寸端侧模型。
另外,生态建设也需要时间。现在更多是手机厂商自己做,如果开放给第三方开发者,需要解决模型分发、适配、隐私安全等一系列问题,建立完整的端侧AI应用生态还需要几年时间。
四、案例分析:苹果的端侧AI战略
苹果在端侧AI方面走得最远。iOS 18推出后,苹果把大模型直接放到手机里,Siri变得比以前聪明很多,而且大部分功能离线就能用。苹果之所以这么做,一方面是因为看重隐私保护,符合苹果一贯的产品理念;另一方面,苹果自己设计芯片,可以软硬件一体化优化,端侧AI跑起来效率更高。
苹果的策略给行业指明了方向——AI不一定要越大越好,适合端侧运行的小而美的模型,反而能给用户带来更好的体验。现在国内厂商纷纷跟进,相信今年下半年发布的新旗舰,端侧AI会成为标配。
五、未来展望:端云协同是主流
展望未来,我们认为完全替代云端是不现实的,未来一定是端云协同。简单常用的任务放在端侧,快速响应保护隐私;复杂的深度推理任务交给云端大模型,保证效果。这样既能得到最好的用户体验,又能控制成本和功耗。
未来五年,我们将会看到越来越多的AI能力跑到手机本地,手机从通讯工具变成真正的私人AI助手。对于用户来说,更快更隐私的AI体验当然是好事;对于厂商来说,谁能先做好端侧AI,谁就能在下一代手机竞争中占得先机。
总的来说,端侧AI的大幕刚刚拉开,这场变革才刚刚开始,值得我们持续关注。