多词元预测研究加速 Pixel 端侧模型

谷歌研究团队介绍在冻结的生产模型上接入多词元预测的方法，用于改善 Pixel 设备上的 Gemini…

谷歌研究团队介绍在冻结的生产模型上接入多词元预测的方法，用于改善 Pixel 设备上的 Gemini Nano 推理效率。方案希望减少逐个生成词元造成的内存带宽与处理能力瓶颈。

研究面向移动设备严格的能耗和内存限制，强调无需依赖额外独立草稿模型即可扩展预测能力。目标场景包括本地通知摘要和文字校对，让隐私资料保留在设备上的同时获得更及时的响应。