在Chrome中内置端侧大模型

最近Chrome在开发者预览版中发布了Built-in AI Early Preview Program, 这个功能能够让Chrome启用生成式AI, 这个功能目前处于预览阶段, 通过一些配置才可以启用, 以下是启用步骤:

启用步骤

打开https://www.google.com/chrome/dev/下载最新的Chrome Dev版本.
打开chrome://flags/#optimization-guide-on-device-model , 找到Enables optimization guide on device功能, 并配置为Enabled BypassPerfRequirement.
打开chrome://flags/#prompt-api-for-gemini-nano, 找到Prompt API for Gemini Nano功能, 配置为Enabled.
打开chrome://components/确认Optimization Guide On Device Model组件下载成功并且是最新版本.
打开console, 输入await window.ai.canCreateTextSession();, 如果返回值为readily, 那么说明已经启用了生成式AI.

试用

创建html文件, 并将以下内容复制到其中:

<!doctype html>
<html>
  <head>
    <meta charset="utf-8" />
    <title>Marked in the browser</title>
    <script src="https://cdn.jsdelivr.net/npm/marked/marked.min.js"></script>
  </head>

  <body></body>
</html>

打开F12, 赋值以下代码到Console中, prompt根据需求进行修改:

session = await window.ai.createTextSession();
for await (var res of session.promptStreaming`Give me typescript code about generic type`) {
  document.body.innerHTML = marked.parse(res);
}

备注

由于该功能尚处于预览阶段, 随着迭代更新, 配置可能会发生变化, 请关注Chrome官方文档以获取最新配置信息.

参考资料

Built-in AI Early Preview Program