跳至内容

小豪的博客天空

Windows Copilot:操作系统层面的 AI 助手?

AI 生成的摘要

这篇文章主要介绍了微软最新推出的 Windows Copilot 功能,并探讨了 AI 与操作系统整合的可能性。主要内容包括:

  1. 介绍了 Windows Copilot 的基本功能,它类似一个基于 Bing Chat 的聊天机器人,可以回答问题、总结网页、创作图片等。
  2. 与传统操作系统语音助手不同,Copilot 集成了强大的 AI 能力,可以更好理解和响应用户指令。但在实际体验中,它的 AI 能力似乎受到一定限制。
  3. 除了 Copilot,Windows 11 的这次更新还为画图、照片等应用带来了 AI 辅助功能,如 DALL-E 生成图像等。
  4. 文中对比了其他公司的 AI 产品,认为它们通常服务于特定应用,而 Copilot 则试图作为操作系统层面的统一AI助手。
  5. 分析了苹果在 AI 整合方面的做法,以及出口管制等原因可能影响 Copilot 在某些地区的使用。
  6. 最后探讨了 AI 真正与操作系统无缝整合的可能性,认为 Copilot 目前更像一个新应用,是否能成为"日常AI伙伴"仍有待观察。

总的来说,文章全面介绍了 Windows Copilot 的功能,并对其意义及 AI 与操作系统整合的前景进行了分析和思考。

在 9 月 21 日的 Microsoft Event 上,微软发布多款软硬件新品,同时宣布 Windows 11 将在 9 月 26 日进行更新。微软在这一次的更新中为 Windows 完善了现代化 UI 的文件资源管理器,带来了Windows 备份,开发人员主页,音量合成器等150多项更新,但最值得关注的是 Windows Copilot,以及为画图、图片等应用带来的 AI 功能。从微软与 OpenAI 的关系,似乎就注定了微软会持续地为自己的产品带去人工智能的能力。

Windows Copilot
封面图片 Windows Copilot

初步介绍

在更新后的 Windows 11 中,微软将 AI 功能集成到整个系统,用户不再需要到 Edge 中使用 Bing AI,而是可以在任何场景下,点击状态栏的 Copilot 图标,或者使用快捷键 WIN + C ,就可以在屏幕的最右侧直接使用,而原本显示的内容也会自动缩放,分屏等操作也会自动在当前的页面大小下进行划分。整个应用给人的初印象,是把 Bing Chat 的网页以 Electron 应用的形式提供给了用户。

Windows Copilot Preview
Copilot 会自动占据屏幕的最右侧,且自动设置在总是在顶部,而桌面部分也会自动调节大小。

功能特点

Windows Copilot 预览视频

Copilot 推出已经有一段时间了,之前的 Logo 也与这次发布的不同。在我目前所在的内测预览版本中,Copilot 能够完成一些非常简单的与系统交互的工作,像是截图,打开某些应用,很有一种之前呼出 Cortana (Windows 在 Copilot 提供服务之前的语音助手)来完成一些打开应用程序这方面工作的感觉,它算不上应用到了大语言模型技术的智能。

我也尝试在 Edge 里面打开一个网页让它对当前页面进行总结,似乎是做到了;但是在 Chrome 或者其他页面的时候,它有时候又会提示没有办法访问到你的屏幕或者给出错误的答案。这个时候,当我们点击浏览器地址栏的时候,复制网页地址,Windows Copilot 会自动监听到这一复制行为,会提示用户是否要将所选或复制的文本发送到聊天;发送网页地址后,它就像其他的聊天机器人一样进行总结。而在使用这类服务的同时,Copilot 和其他所有的「ChatGPT」们一样,也不可避免的会有错误信息的出现。因此在功能上,Windows 更像是一个结合了 Cortana 和 Bing Chat 两种服务的人工智能助手。

Windows Copilot Preview-2
Copilot 能够与 Microsoft Edge 中的内容进行交互。
Windows Copilot Preview-3
像 Bing Chat 一样,随时进行无缝调用。
Windows Copilot Preview-4
Bing Image Creator 的功能也加入到 Windows Copilot
Windows Copilot Preview-5
Copilot 的总结错误,该日剧并没有彭昱畅出演。

和 Cortana 一样对话

之前在使用 Windows 的人工智能助手,我们只需要说一句「Hey, Cortana」就能够唤起它帮助我们处理与操作系统的工作。而现在必须是快捷键或者鼠标点按的方式进入,得益于 NLP 技术的突飞猛进,语音识别的准确度在我的体验中似乎是有了一些进步。在用户使用语音输入的时候,Copilot 会提示用户「语音输入由 Microsoft 联机服务处理,不会进行收集或存储。」

Windows Copilot Preview-6
语音输入后,Copilot 也会以语音的形式播报回复的内容。

在支持的语言方面,当我们以英语作为语音输入的时候,Copilot 也会以英语回复,根据不同的账户在 Windows 上下载的语音包,Copilot 使用的语言除了英语和中文,还有日语、西班牙语、法语、德语等。在当前我使用的内测预览版本中,与 Cortana 不同的是,当我尝试让 Copilot 去完成一些控制我的电脑的工作时,它会说「你好,这是必应。我很抱歉,我不能帮你最小化所有的窗口。这是因为我只是一个聊天模式的必应,我没有权限控制你的电脑或浏览器。我只能和你用不同的语言聊天,或者用我的知识和创造力生成一些有趣的内容。」

和 Bing Chat 一样聊天

如上文提到的图片示例,Copilot 一样可以聊天,撰写,以及提供见解。如果拿 Windows Copilot 和 ChatGPT,或者是向 POE 这类整合商的产品作比较,唯一的区别只是进入的方式不同, Windows Copilot 试图为用户提供一种无缝衔接的感觉,在使用 PC 的任何时候,任何场景都可以无缝接入。而对应的回答效果,则是更多地与背后使用的不同语言模型有关。关于图像的创建,Copilot 只能为已使用个人账户登录的用户生成图像。因此前在内测预览版本中,它更多时候还是和 Bing Chat 一样,与系统的整合依旧比较弱。

在 Microsoft Event 上,正式版的 Windows Copilot 可以做到的是更多,从微软的 博客 里面可以知道,Copilot 能够在更多方面,直接与电脑的当前页面进行深度的合作,截取当前页面或者直接截取图片然后通过 Copilot 进行编辑处理。而在 Edge 中的 Bing Chat 和 Microsoft 365 Copilot 也与 Windows Copilot 一起在微软的人工智能时代实现了功能的统一。

简单对比

Bing Chat 帮助用户更快的找到 Bing Search 的搜索结果;Bard 也完善了 Google 的搜索功能,激发用户创造力和提供效率;Github Copilot 可以帮助程序员写代码,和 AI 结对编程;Notion AI 可以帮助用户创作自己的 Notion 内容;Adobe Firefly 为 Adobe Photoshop 带来了 AI 绘图的功能,对图片的操作一句话就可以做到;Office Chat 协助办公用户高效地处理 Word、Excel、PPT 等文档…… 这些 AI 工具似乎都是为某一应用程序设计开发的,其目的都是为了完善原有应用的使用体验。

而 Windows Copilot 似乎是要把这些不同的功能的「 AI 伴侣」都统一到一个 AI 上,用户在使用 Windows 进行任何工作的时候,无论是搜索、编程、办公、艺术创作……都可以通过 Windows Copilot 方便快捷地进入人工智能的辅助工作。

正如上文提到的,如果说 Windows Copilot 和其它的大语言模型的最大区别是入口的不同,那么考虑 Copilot 与操作系统的传统语音助手的区别又有什么不同。同时是人工智能的产物,苹果的 Siri 和微软的小娜(Cortana)都可以通过一些特定的指令,完成与系统的交互,例如「给 XX 打电话」、「设置一个 XX 点的闹钟」、「提醒我完成 XX 在 15 分钟之后」、「播放音乐」…… 而 Windows Copilot 的特点则在于其集成了强大的AI能力,使其能够更好地理解和解释用户的指令,并提供更智能、更个性化的响应。但是,在我的实际体验中,如果是寻求 Copilot 来处理这些事宜,它的 AI 能力似乎是被局限了;让 Copilot 处理更多的工作,也意味着用户需要把更多的隐私数据交给语言模型。

Copilot 之外

除了 Windows Copilot,Windows 这次的更新还为画图和照片等应用程序带来了 AI 的功能。在此前的内测预览版本中,画图应用已经为用户带来了多图层的功能,同时提供了深色的主题。而在接下来的更新中,画图还将使用 DALL-E AI 人工智能图像创作器 Cocreator 来协助用户完成数字创作绘图。在照片中,也带来了人工智能功能,AI 可以帮助用户轻松编辑图片,像是抠图,把照片主体突出等功能。而在微软应用商店中,则在侧边栏添加了 AI Hub 的分类,在 AI Hub 中,微软将大部分含有人工智能功能的应用程序集中在一起,用户可以便捷的找到适合自己的工具。

Windows Copilot Preview-7
应用商店的 AI Hub 集合了数款含有 AI 功能的应用程序

今年三月份,微软就在 Office 中加入了 Microsoft 365 Chat,帮助用户梳理工作中的各种文档、邮件、会议等事项。而微软也表示将在 Outlook、Word、Excel、Loop、OneNote 和 OneDrive 中为 Copilot 引入新功能;此前也有一张梗图来调侃微软与 AI。

Windows Copilot Preview-7
微软为旗下的产品纷纷「送去」 AI,图片来源

一些思考

但是,AI 到底应该要怎么和操作系统合作呢?我还记得去年 12 月生成式 AI 逐渐火起来,到了 2 月份,各个大厂都说要推出自己的聊天机器人,大家就期待过苹果会怎么样把 AI 放进自己的系统里,但到了六月份的 WWDC,吸引大家的眼球的不是在 iOS、 iPadOS、macOS 更新上花的功夫,而是 Vision Pro 的横空出世。一向注重用户隐私与安全的苹果,在人工智能的应用方面,尽可能地把机器学习的模型都放在了本地,为用户带来了优化后的听写,图像的识别,输入的预测等等功能。同时,尽管 Apple 不断地提升其芯片的神经网络计算能力,而大语言模型学习训练运行所需要的算力,是个人设备难以提供的资源;另一方面,苹果或许是还在等待与生成式 AI 相关法律法规的完善。

当然,因为 美国出口管制条例 ( 美国商务部工业及安全局 在2020年年底就不再将香港作为一个单独的目的地,而是和中国内地一样;但澳门仍然作为一个单独目的地,于是在今年年初,管制条例 又重新加上了澳门。) 和其他原因, Copilot 仍然只能在不受限制的地区使用,中国大陆(内地和港澳)地区该服务是不可用。

距离 Windows11 面向全部用户上线已经接近两年的时间,Windows 的更新好像一直是在 ⌈换皮⌋ 这件事上,或者说最近这几年操作系统上的更新大多数都是在 ⌈换皮肤⌋。直到去年 OpenAI 推出 ChatGPT 获得空前的关注后,应用程序开发者们都在思考要怎么把 ChatGPT 加到自己的产品中,我原以为微软把 Copilot 集成到系统上,将会是 Windows 11 这两年来最大一次功能更新,但体验之后更像是推出了一个新的应用程序而已。或许在任何场景下的无缝访问,加上应对各种使用场景的能力,就已经能算得上操作系统层面真正的日常人工智能伙伴。