分享好友 最新动态首页 最新动态分类 切换频道
OpenAI发布首个AI智能体,使用前你需要知道这些细节
2025-02-03 14:38

今天凌晨,OpenAI CEO Sam Altman宣布了两个重磅消息。


一个是ChatGPT用户不仅将获得o3-mini的免费试用机会,Plus付费订阅会员还将享有更多使用额度。



另一个则是备受期待的首个智能体产品——Operator研究预览版正式亮相。好消息是,它能帮你自动网购,但坏消息是,它可能比较容易“翻车”。



OpenAI总裁Greg Brockman在X平台发文称:“Operator——一种能够使用自己的浏览器为你执行任务的智能体。2025年将是智能体之年。”



OpenAI让AI学会“用电脑”了?这是迈向AGI的第一步


作为OpenAI首款真正模拟人类操作网页浏览器的AI助手,Operator能够自动完成预订旅行住宿、餐厅预约和在线购物等复杂任务。


用户可以在多个类别中选择不同的自动化任务,涵盖购物、配送、餐饮和旅行等领域。



这项功能将率先向订阅200美元Pro计划的美国用户开放,随后逐步扩展至Plus、Team和Enterprise级别用户。


API预计将在数周内推出。


用户可通过operator.chatgpt.com访问该服务,OpenAI计划后续将其整合到ChatGPT,不过,ChatGPT在今天凌晨又双叒叕崩了。



简单来说,当用户启用Operator时,系统会弹出一个小窗口,展示专用Web浏览器的操作界面,并实时说明正在执行的任务。在此期间,允许用户随时接管控制。


技术层面,Operator采用远程云端浏览器执行任务,无需依赖网站API。


它通过截图识别界面元素,规划后续动作,形成“观察-计划-执行”的闭环,直至完成任务。系统支持多任务并行处理,运行效率高,且能保持登录状态。



OpenAI已与DoorDash、Instacart、Priceline、StubHub和Uber等公司建立合作。


Instacart首席产品官Daniel Danker就指出“OpenAI的Operator是一项技术突破,它使订购杂货等流程变得异常简单。”


按照惯例,OpenAI也同期召开了一场发布会。Sam Altman与Yash Kumar、Casey Chu和Reiichiro Nakano一起介绍和演示Operator。


演示涵盖了多个实际应用场景,比如通过OpenTable为Beretta餐厅预订双人座位,原定7点档位不可用后改订7:45。



使用Instacart购物系统识别购物清单——鸡蛋、菠菜、蘑菇、鸡腿、薯片,并中途接管添加更多鸡蛋等商品。



在StubHub上试图搜索并选购预算500美元以下的勇士队比赛门票;预约清洁服务;以及计划通过DoorDash点餐,订购烧烤披萨等。



理想很美好,现实很骨感,Operator目前最大的问题还是不够稳定。刚开始演示时还算顺利,但中后期的演示过程中遭遇连环“翻车”,甚至未能成功加载相关网页。


或许是为了确保演示成功,眼瞅着演示人员输入的提示词是越来越长。


X平台大V@rowancheung也提前体验并分享了对Operator的观察。


比方说,Operator虽然在ChatGPT中运行,但功能完全不同,主要专注于网页操作(点击、滚动、输入)而非生成长文本。目前系统仍存在限制,包括部分网站会屏蔽AI访问,合作伙伴集成有限。



他指出Operator需要特定的使用方法来优化效果,就像GPT-4适合CoT提示一样,但目前对Operator的最佳使用方式研究还很初步。


不过,他还是挺看好这项技术能帮助人们自动化处理枯燥工作,从而将时间用于更有价值的事务。


此前有消息称,Operator在执行任务时使用的截图内容可能被恶意利用,导致“提示注入攻击”,存在严重的安全隐患。


因此,确保Operator的安全使用是首要任务。


根据官方博客,OpenAI主要是通过多层保护措施防止滥用并确保用户牢牢控制Operator。






此外,OpenAI针对Operator实施了全面的隐私和安全保护措施。在隐私管理方面,用户可以选择退出模型训练,一键删除浏览数据和历史对话,并注销所有网站。


为防范恶意网站的攻击,系统建立了多层防御机制,包括检测并忽略提示注入、监控可疑行为和建立威胁识别管道。同时,Operator设有审核系统来拒绝有害请求和不当内容,对违规行为发出警告或撤销访问权限。


“体验报告”公布,Operator背后的CUA技术有多强?


Computer-Using Agent(CUA)是支撑Operator的核心技术,它融合了GPT-4o的视觉识别能力和基于强化学习的高级推理功能。


CUA通过训练掌握了与图形用户界面(GUI)交互的能力,能像人类一样操作屏幕上的按钮、菜单和文本框,无需依赖特定的操作系统或网络API。


据悉,其创新之处在于采用通用界面方法,让AI能像人类般操作各类软件工具,突破了传统AI难以应对的众多细分应用场景。



不过OpenAI坦言,CUA还有许多需要改进的地方,比如目前就没法保证在所有场景下都能稳定运行。


OpenAI在Operator中部署的CUA系统展示了不同场景下的性能表现。比如它在基础网页操作和重复性任务方面表现出色,如搜索筛选、创建购物清单和音乐播放列表等任务的成功率达到10/10。


在电商网站搜索商品时也保持9/10的高成功率。但在处理复杂的房产搜索等任务时,成功率降至3/10。



测试还发现,提示词的质量会显著影响任务成功率,例如在场地预订任务中,添加具体时间和操作指引后,成功率从3/10提升至8/10。


系统在处理不熟悉的UI界面和文本编辑时表现欠佳,常出现试错和低效操作,文本编辑任务的成功率仅为4/10。


为了更好地量化Operator的性能指标,发布会上的演示人员也提到了OS World测试和Web Arena测试。


OS World用于评估AI智能体在Linux等操作系统上的导航能力,Operator得分38.1%,高于其他公开系统,但低于人类水平(72.4%)


Web Arena则是用于测试评估AI智能体在电商网站和社交论坛等网站的导航能力,Operator得分58.1%,同样超过其他公开AI系统,但未达人类水平。



安全方面,演示环节介绍了三个主要的安全考虑方向。首先是系统拒绝执行有害任务,使用审核模型和后续检测,并屏蔽特定网站。


其次对于模型可能存在的错误,系统在进行购买、预订等关键操作前必须获得用户确认,限制高风险任务如银行交易,并在敏感网站启用观察模式。


特别是针对网站对抗性攻击(如提示注入、越狱和钓鱼),系统设计了谨慎导航机制识别并忽略提示注入,实时监控模型检测可疑内容,并建立检测管道快速识别可疑访问模式。


最后系统设有注入监控器(prompt injection monitor),类似防病毒软件,实时监控模型检测可疑内容,发现可疑行为时会暂停执行。


考虑到无法预见所有安全隐患,OpenAI只能先从小规模部署开始,通过持续收集反馈来完善安全机制。



ChatGPT的崛起已经证明,伟大的产品往往诞生于无数次“不完美”的尝试。


OpenAI也坦然承认,目前由CUA支持的Operator只是一项早期技术,虽然在特定场景已证明有用,但仍需通过用户反馈持续改进。


并且,他们计划提高系统在不熟悉界面的适应能力,增强文本编辑精确度,优化对不同提示词的理解能力,并扩展可靠任务的范围。


Altman曾在月初的博客文章中表示,OpenAI已经有信心构建通用人工智能(AGI),并预测2025年第一批AI智能体将“加入劳动力大军”。



包括智谱昨天也宣布推出了GLM-PC。


这是基于智谱多模态大模型CogAgent,全球首个面向公众、回车即用的电脑智能体(agent)。它能像人类一样“观察”和“操作”计算机,协助用户高效完成各类电脑任务。


可预见的是,这些智能体在未来将具备强大的自主决策和任务执行能力,能够处理复杂任务,甚至在某些领域替代人类工作,并从根本上改变企业的生产方式和产出。


在OpenAI的五级AGI路线图中,智能体处于L3级别,其特点是不仅能思考,还能代表用户采取行动,执行复杂任务。


这样看来,Operator不仅是OpenAI智能体迈出的第一步,也将是迈向AGI的重要一步。


最新文章
“调小青” 为何行?“一站式解纷”绘新景
近日,浙江省杭州市上城区综治中心“调小青”工作室快速化解一起校园纠纷,获学生家长致谢。两名中学生因琐事发生肢体冲突,导致一名学生脸部受伤住院。青年团干第一时间将事件反映至“调小青”工作室进行处置,工作室迅速组织青年律师、心
圣安地列斯内置作弊菜单(GTA: SA)圣安地列斯手机版「圣安地列斯内置作弊菜单(GTA: SA)」
【圣安地列斯内置作弊菜单最新版】该游戏主打就是刺激,画面将得到优化,流畅的游戏体验,可以直接在这个世界中探索,在这里感受最真实自由的城市生活,体验感满满的,拥有游戏剧情玩法,随着系统提示,看看咱们下一步需要做什么吧,超大地
挖矿模拟器手游正版(挖矿模拟游戏) Hydroneer v1.1 安卓版手机挖矿「挖矿模拟器手游正版(挖矿模拟游戏) Hydroneer v1.1 安卓版」
挖矿模拟器手游正版是一款非常有趣和富有挑战性的挖矿模拟器游戏,可以在手机上游戏了。此款游戏玩家可以在游戏中体验到挖掘、加工和贸易的过程,获得更多的财富和成就感。游戏的开放世界和自由度让玩家可以自由探索和冒险,多种任务和挑战
弹弹play iOS版上架应用商店了苹果手机应用商店「弹弹play iOS版上架应用商店了」
​​我们最近在 AppStore 上架了重写后的弹弹play iOS版本,新的app名称是 AniXPlayer。欢迎您下载进行试用。目前播放器支持从本地文件、SMB共享、WebDAV、FTP等多个来源进行播放,还支持弹幕调整和加载xml弹幕文件。对于您可能关心的更多
华为Mate60Pro2023年的双十一会降价吗?手机降价「华为Mate60Pro2023年的双十一会降价吗?」
按照这一款手机目前的火热程度来看的话,对于这一款手机降价不用抱有太大的期待,作为全新回归的一款手机,对于用户来说有着与众不同的意义,就目前来看,可以买到已经是很不错了。如果等到双十一的话,就算有降价,应该也只是“礼貌”降价
王友明:“大金砖”以四大创新应对不确定性
美国政府的一系列单边主义、保守主义做法给当前的国际经贸秩序和世界发展格局带来严重破坏。在全球南方国家群体性崛起的大背景下,作为其中突出代表的“大金砖合作”也因此面临外部环境层面的一些新挑战。比如,美国挑动关税战、贸易战引发
闵行这个街区的烟火气里藏着哪些宝藏小店?一起来找找看
想探寻街巷深处最地道的烟火滋味?想解锁社区周边不为人知的宝藏好店?街区书记化身“探店官”,亲自甄选、诚意推荐!从街角老店的独家手艺,到巷尾新铺的创意风味,带你感受家门口的幸福烟火气,速来围观↓今天我们探寻的是——江川路街道
iPhone 16 Pro Max价格确定,256GB+A18 Pro,还有必要等618吗?
目前中美关税战又有了全新的进展,对手机圈来说也是有不小的影响。从目前曝光的消息来看,CPU以及GPU都突然要加征125%的关税。这对手机厂商来说无疑是不小的压力。这个时候很多人可能就要问了,iPhone手机会不会涨价呢?对此,我们也在电商
规模增长质量提升 外贸顶压前行
来源:中国证券报规模增长质量提升 外贸顶压前行“我国外贸顶压前行,实现规模增长、质量提升。”海关总署副署长王令浚4月14日在国新办新闻发布会上说,一季度,我国进出口规模创历史同期新高,增速逐月回升。同时,经营主体活跃度进一步增
日常装13利器之手机壳,这8家小众而耐思的淘宝店你值得拥有!小众手机「日常装13利器之手机壳,这8家小众而耐思的淘宝店你值得拥有!」
• 2019 / 04 /25 • 据 小芳的不正经预估,当代青年男女平均每个人的一生要用掉999个手机壳,第333个手机壳通常都是别人送的,而第666个手机壳一定是买完突然不想要了的。现在手机壳作为消耗品更新换代的频率,已经比我买衣服的频率还要高
相关文章
推荐文章
发表评论
0评