本文作者:五六笔记

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型

五六笔记 02-25 37
一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型摘要: 苹果在WWDC 2024 发表会上花了将近40 分钟介绍Apple Intelligence,是苹果的生成式AI 功能,那么到底Apple Intelligence 是什么?有哪些...

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第1张

苹果在WWDC 2024 发表会上花了将近40 分钟介绍Apple Intelligence,是苹果的生成式AI 功能,那么到底Apple Intelligence 是什么?有哪些用法?又有哪些机型可以使用?今天这篇文章帮大家一次整理。

Apple Intelligence 是什么?

Apple Intelligence 是苹果的生成式AI,内建在iPhone、iPad、Mac 中,帮助使用者快速生成文字或图像、搜寻内容、安排行程、整理重点、执行各种AI 相关功能,你可以想像是iPhone 内建了一个ChatGPT 助理一样。

苹果的生成式AI 会理解、搜寻装置内所有App 的内容与资讯,再透过机器学习、语义索引、情境分析等算法以及系统内的本机LLM 模型,生成适合特定对象、特定情境的内容。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第2张

苹果生成式AI(Apple Intelligence)可以怎么用?

苹果在2024 WWDC 发表会上花了将近40 分钟介绍Apple Intelligence,并且实际展示了一些苹果生成式AI 的用法。

写作工具Writing Tools

很多人想到生成式AI 就会觉得应该是可以生成文章,但是苹果在整场发表会上几乎没有什么提到文章「从无到有」生成这件事,反而对于Apple Intelligence 是直接从「改写」这部分切入。

修改语气

当你使用Writing Tools 的时候,可以透过预设的「友善」、「专业」以及「简单明了」这三种选项,让Apple Intelligence 用不同的语气来重新改写原本的内容。

例如写给老板的信就可以用「简单明了的」口气,因为老板可能不想看太冗长的内容;写给之前在旅游时认识的国外朋友就可以用「友善的」口气改写,维持彼此的友谊。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第3张

校正语法与用字

Apple Intelligence 还可以帮助修改用字、语法结构上的错误,透过「Proofread」功能,AI 就会告诉你哪些用字需要调整,还会让你知道原因以及正确的用法。这个在写一些不能犯错的专业内容、职场商用文件的时候会很实用。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第4张

生成重点摘要

Apple Intelligence 可以帮忙把落落长的文章用不同的方式简化,达到好阅读的效果,透过Writing Tools 内建的「总结Summery」 、「重点Key Points」、「表格化Table」以及「条列式List」就可以达成。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第5张

例如选择了「Key Points」功能,就可以把选取的范围用「重点」的方式改写并且并呈现预览,如果觉得OK 就可以直接取代原本的内容,这样对方看起来也不会这么冗长。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第6张

在邮件上方也加入了摘要重点的按钮,对于冗长内容的信件可以生成简短的摘要,节省浏览内容的时间。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第7张

提供回覆建议

如果你收到了一个需要回覆的邮件,AI 会给你一些回覆的选项,并且从你选择的结果中,再延伸出更完整的回覆内容,让你可以不需要花太多时间在输入文字上。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第8张

图像处理工具

Apple Intelligence 的图像处理工具让你可以创建和编辑图片,包括Genmoji、Image Playground 和ImageWand 这三种功能。

Gemoji 表情符号

Gemoji 是Apple Intelligence 而产生的新功能,输入相关的描述就可以生成一组4 个的全新emoji 表情符号;甚至你可以把照片图库中辨识到的人物头像搭配指令做成表情符号。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第9张

Image Playground 影像游乐场

在包含Keynotes、无边记、讯息…等多个App 中,可以使用Image Playground 功能透过文字生成图片。在一堆系列选项中,选择一个你要的主题,选好以后就可以看到预览的效果,并提供「动画」、「素描」或「插图」这三种风格可以选择。甚至你突然有自己的灵感了也可以加指令进去,Apple Intelligence 就会依照这些指令生成有趣的图片。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第10张

ImageWand 影像魔杖

如果你喜欢画速写、素描,或是你喜欢画但觉得画得不好看,ImageWand 可以都将你的粗略草图转换成精美的图片。使用Apple Pencil 圈出你的草图,ImageWand 会自动分析并依照你的原图创建一个更精致的图像。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第11张

甚至你什么都不要画,在一片空白中也可以依照旁边描述的内容帮你生成相关的图片,如果希望文件图问并茂但是并不会画图的人来说相当方便。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第12张

理解文字的重要程度

AI 还可以依照你的状况,学习判断邮件、通知的重要程度,并且帮你做分类,甚至是整合摘要节整你浏览的时间。

依据重要程度分类内容

Apple Intelligence 透过机器学习与演算法功能,可以判断你接收到的哪些通知、信件是重要的,然后依照重要程度、内容类别来自动分类,让你可以自行选择要先看哪些内容。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第13张

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第14张

邮件摘要预览

而且信件的预览功能中,也不仅仅是提供前几行的文字,而是透过AI 整理出整封信件的重点并显示在预览上。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第15张

进化版Siri + Apple Intelligence

Apple Intelligence 中,Siri 扮演了相当重要的角色,而且也换上了新的风貌,可以做的事情变得超多。

全新改版的Siri 与介面

利用侧边按键呼叫Siri 后,看到的不再是一个圆圈的符号,而是直接变成渐层外框围绕在iPhone 萤幕周围,接收指令时外框会有扰动的效果。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第16张

自然语言理解能力

Siri 现在能理解更自然的语言交流,即使你说话不连贯,Siri 也能理解。例如,你可以问「Siri,明天早上在Muir Beach 的天气怎样?」,即使你发现你说错了要改口说「我刚刚是说Muir Woods」,Siri 也能理解并回答。

此外,当你中断了一下,然后再说「帮我建立一个到那里的路线与时间安排」,Siri 也会理解你所说的「那里」是刚才提到的「Meer Woods」。

搜寻各App 内的资讯并整合

现在你可以问Siri 任何更私人的问题,例如你问「Siri,我妈妈的飞机什么时候会到?」,这时Siri 就会找到你和妈妈的邮件中有提到这个部分,并显示给你看。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第17张

然后也可以顺便请Siri 告诉你接机后的晚餐计画,Siri 就会从你们过去的对话中找到你安排的晚餐行程,你甚至不用设定行事历Siri 就可以找得到这个行程。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第18张

或是你也可以请Siri 帮你找出朋友之前向你推荐的书单、之前拍起来的证件照,这些Siri 都可以在各种不同的App 之间找出来,甚至你不知道他在哪个App 里面都没有关系,反正Siri 会去找。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第19张

直接解读萤幕上的内容

简单来说就是Siri 可以看得动你现在画面长怎样,例如有人传了一个地址给你,你可以直接跟Siri 说,把这个地址夹到这个人的联络资料中,而你都不用跟他说地址是哪个,他就可以找到地址,然后将图像转成文字加入到对方的联络资料里。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第20张

操作App 内的功能

透过增强版的Siri 搭配Apple Intelligence 功能,就可以直接让Siri 执行App 内的功能,例如原本我要在照片App 内寻找穿着粉红色衣服的朋友,我可以透过搜寻搭配「粉红色」这个关键字来达成,现在可以直接呼叫Siri「找出XXX 穿着粉色衣服的照片」。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第21张

或者是跟Siri 说「把它加入到备忘录中关于这位朋友的描述」,Siri 就会在备忘录里面找到相关的段落,然后加入刚才的照片,这大概也意味着之后可能就可以透过呼叫Siri 来传照片。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第22张

在照片里的AI 功能

Apple Intelligence 在照片App 中也可以发挥不少的功能,包含把不想要出现的背景P 掉、搜寻照片或影片、打造专属的回忆精选集…等功能。

Clean Up 修图功能

透过Apple Intelligence 功能,只要点击一下照片中的背景物件,就可以把不想要出现的元素P 掉,这样就不用上网求人帮忙P 图了。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第23张

准确的照片与影片搜寻

前面有提到透过Siri 就可以用自然语言的方式来搜寻照片,而且不只是Siri,透过照片App 内的搜寻功能用文字的方式也可以搜寻,这个功能甚至是可以搜寻影片的片段;例如下图就是在照片App 中搜寻在草地上单手侧翻的内容,其中就包含了影片的部分。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第24张

精选辑

只要输入描述,像是人、事、时、地、物这些线索,Apple Intelligence 就可以找出符合条件的照片,然后按照片的类别、时间…等资讯编排,搭配情境给予合适的背景音乐,这样很快就可以完成一部有故事感的精选辑,例如旅游的回忆精选、家庭庆生的精选…等,俨然是一部微电影。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第25张

整合ChatGPT

Apple Intelligence 这次也整合了ChatGPT 提供部分功能,如果你提供的要求是包含在ChatGPT 可以执行的范围内,那么Apple Intelligence 就会询问你是否要用ChatGPT 执行。而且目前使用的是最新的GPT-4o 模型,可以提供快速又准确地回答。

生成文字与图片

虽然Apple Intelligence 并没有直接表明可以生成文字内容,但是你可以透过ChatGPT 来生成整片文章、段落或是文案。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第26张

除了文字内容以外,透过ChatGPT 的Dall-E3 模型,也可以直接生成图片,这和Apple Intelligence 的ImageWand 影像魔杖有点类似。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第27张

语音问问题

在Siri 中询问问题时,有时候Siri 甚至会建议你听听看ChatGPT 的意见,就会问你要不用使用ChatGPT。至于Apple Intelligence 和ChatGPT 在回答上会不会有什么不同? Siri 的判断标准是什么?这个之后如果有机会再帮大家做测试。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第28张

以上介绍的这些都只是目前已知透过Apple Intelligence 可以完成的几个主要的用法,从这些用法当然还可以延伸更多的用途,例如用在iMessage 上修饰要回覆的内容、在Keynotes 上补齐缺少的图片、在彼此有争议的时候找出对话中有共识的部分、按照条件安排行程….等,就看大家如何发挥创意去使用Apple Intelligence。

Apple Intelligence 支援机型

Apple Intelligence 因为需要强大的NPU 神经引擎支援,而且记忆体要求8GB 以上,因为需要保留足够的记忆体给本机上的LLM 模型使用,但又不能压缩到正常系统运作的需要,所以在机型的要求上比较严格,基本上只有M 系列晶片的产品或是相等规格的产品可以使用。

iPhone 15 Pro

iPhone 15 Pro Max

iPad Pro M 系列晶片版

iPad Air M 系列晶片版

iPad mini A17 Pro 晶片版

iMac M 系列晶片版

Mac mini M 系列晶片版

MacBook Air M 系列晶片版

MacBook Pro M 系列晶片版

Mac Studio M 系列晶片版

Mac Pro M 系列晶片版

Apple Intelligence 隐私保护有办法相信吗?

对于强调隐私保护的苹果苹果来说,Apple Intelligence 绝大部分的运算都是在设备本机上的模型来执行,不需要连网,并且透过设备上的安全晶片做隐私保护的控管,所以不用担心资料会有外泄的疑虑,这也是为什么Apple Intelligence 对硬体规格要求较高、必须要M 系列晶片以上原因。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第29张

而如果有需要连网的操作,苹果则是透过Private Cloud Compute 这个模型来处理,并在由Apple Silicon 晶片打造的伺服器上运作,所以不仅可以达到高速运算的效果,同时也可以确保资料在云端的隐私。苹果甚至特地写了一篇文章来介绍Private Claud Compute(PCC)是如何保障Apple Intelligence 的安全性,但文章很长,有兴趣的可以点这里去了解,我帮大家节录重点:

数据加密

使用者透过Apple Intelligence 的请求资料在传送过程中是加密的,只有PCC 节点能解密,这确保了资料在传输过程中的安全性。

硬体安全

PCC 节点使用Apple 自家的硬体,这些硬体有很高的安全性,例如Secure Enclave 确保只有授权的软体可以执行,而且在过去用于Mac 也没有被破解的经验上来说算是有一定可靠程度。

无状态计算

PCC 保证使用者资料在处理完成后立即删除,不会在系统中留下任何痕迹,这降低了资料被未经授权存取的风险。

高度透明性

PCC 允许外部第三方独立的安全研究人员检查和验证系统的安全性机制(不是验证资料),确保它随时符合Apple 公开的安全和隐私承诺。

一文看懂Apple Intelligence 是什么:苹果生成式AI的19个用法与支援机型 第30张

尽管没有任何系统能够宣称100% 完全无法被攻击,但Apple 所采取的多层次安全措施和透明的操作方式,使PCC 成为目前市场上最安全的云端AI 计算系统之一。苹果希望透过这些措施和承诺, 让使用者可以安心的相信PCC 的安全性和隐私保护能力是非常高的。

Apple Intelligence 推出时间

苹果在WWDC 上面只有说在今年夏天会开放美国英语系的使用者测试,并且会作为iOS 18、iPadOS 18 与macOS 15 内建的功能在秋天的时候推出,但推出的时候将会标示为「Beta 」版,有一种免责声明的概念,就像ChatGPT 也有好一阵子都是以Beta 版开放给大家使用一样;至于其他语言、部分功能则要等到明年才会逐渐开放。

而根据报导指出,Apple Intelligence 在美国以外的国家要使用可能也会有Waitlist 的机制,而且即便开放了,初期的执行效果可能会蛮慢的。

我自己预计Apple 口中的「夏天」最快大概在iOS 18 Developer Beta 3 到Beta 5 之间,差不多是七月左右,也是公开测试Public Beta 推出后的时间,Apple Intelligence 就会开放符合条件的机型使用,到时候我们也会带大家实际来体验看看Apple Intelligence + Siri 2.0 的威力。

文章版权及转载声明

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 mxgg126#qq.com (#号替换为@)举报,一经查实,本站将立刻删除。

阅读
分享