幸福账单

AI 不需要永远正确，我们只需要守住最后一道底线_我的网站

一 |     该图片使用了AI生成技术          本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs          现在谈AI安全，很多人的第一反应都是：怎样让模型少犯错？          减少幻觉、优化提示词、防止提示词注入、增加上下文、接入更强的模型，再用另一个Agent检查前一个Agent。    
英特尔在文件中称，该公司计划筹集至多8.2亿美元资金，将用于营运资金和公司用途。         这些工作当然有价值。         但它们容易让人产生一种错觉：只要模型足够聪明、提示词足够完善、检测系统足够复杂，AI就可以安全地完成一切。英特尔将保留对Mobileye的控制权，该公司将持有超过7.5亿股B类股票，其投票权是A类股票的10倍。         问题是，AI真的可能永远正确吗？          答案恐怕是否定的。

二 | 此外，英特尔预计将有4，626万股A类股票流通股，A类股票是投资者将在IPO中购买的股票。具体数量可能会更多，取决于承销商是否决定选择购买额外股票。         我们无法消灭所有错误          AI Agent面对的不是一道标准答案明确的考试题，而是不断变化的现实环境。英特尔预计，Mobileye总计将发行7.9626亿股流通股，如果以20美元定价，自动驾驶业务的估值将高达159亿美元。英特尔周二股价跌超2%，年初至今跌幅达到48%。         它读取的邮件可能是伪造的，访问的网页可能包含恶意指令，接收到的数据可能已经被污染，用户给出的任务也可能存在歧义。2017年，英特尔以153亿美元收购了以色列的Mobileye。成立于1999年的Mobileye为自动驾驶汽车，以及驾驶员辅助等功能提供芯片、硬件和软件。         即使模型本身没有受到攻击，它也可能误解目标、遗漏条件，或者基于不完整的信息作出一个看起来合理的决定。英特尔目前正经历其核心业务——制造计算机芯片的转型。         我们可以持续提高模型的准确率，却很难证明它在下一次任务中一定不会犯错。         试图让AI永远正确，是在追求一个无法验证的目标；阻止危险结果发生，才是一条可以真正落地的边界。它正在建造更多的工厂，但是建造和装备新的晶圆厂是资本密集型的。         真正的问题不是AI会不会犯错。         它一定会。Mobileye在文件中称，该公司与奥迪（Audi）、宝马（BMW）和大众（Volkswagen）等汽车制造商有合作关系，其技术目前应用于800款车型。文件显示，Mobileye的营收强劲增长，从2019年的8.79亿美元增长到2021年的13.9亿美元。Mobileye本财年前六个月实现收入8.54亿美元，较上年同期增长21%，该公司净亏损6700万美元。今年以来，由于通胀和利率不断上升、对美国经济的担忧以及美股波动，美国IPO发行受到了沉重打击，尤其是对Mobileye的科技公司同行而言。

三 |          真正的问题是：当它犯错以后，系统是否会毫无阻碍地把这个错误执行出去。Dealogic的数据显示，美国IPO市场正在经历有记录以来最糟糕的一年之一，传统IPO的筹资规模可能是1995年以来最少的。

四 | 美国主要股指均处于熊市，即从近期高点下跌20%或以上。另一个阻碍新上市的因素是：在2020年和2021年上市的大多数公司股价都低于IPO价格，其中许多公司的股价远低于IPO价格。         模型错误不一定等于现实损失          一个AI在聊天窗口里回答错误，造成的可能只是一次糟糕的体验。         但当同一个AI拿到支付接口、管理员权限、数据库写入权限和服务器控制权以后，错误的性质就完全不同了。         它可能把钱转给错误的地址，删除重要数据，修改生产环境，扩大成员权限，或者关闭本应保留的审计记录。数百家原定于2022年在美国上市的公司现在被迫旁观，因为投资者愿意为它们业务支付的价格下降了。

五 |          模型只是产生了一个错误判断。

六 |          真正把错误变成事故的，是后面的执行能力。这些公司没有在公开市场上市和融资，而是被迫以低得多的估值寻求私人资金，通过裁员或退出某些市场等其他措施削减成本，或者以远低于预期的估值上市。         模型犯错只是答案错了，执行失控才是真的出事。         这也是为什么，AI安全不能只盯着模型内部。

七 |          我们当然要防提示词注入，要提高推理能力，也要检测恶意输入。这些公司用于增长或招聘的资金减少，这是对美国整体经济的又一个潜在打击。虽然大多数准备在2022年进行IPO的公司都将公开发行推迟到明年，但Mobileye是最大的、众所周知的例外之一。

八 | 但即使前面的所有防线都失效了，系统仍然应该保留一道最后的底线。

九 | 食品杂货快递公司Instacart也定于今年IPO，Mobileye估值的进一步下调对已经削减内部估值的Instacart来说是个坏信号。如果Mobileye的交易表现不佳，这将是对Instacart IPO希望的又一个不祥之兆。英特尔首席执行长格尔辛格（Pat Gelsinger）曾表示，Mobileye的上市将使其自动驾驶汽车部门获得更高的知名度，并吸引更多业务。         这道底线不负责判断AI为什么犯错。         它只负责确认：这件事到底能不能发生。         守住钱袋子，比猜出所有骗子更现实          假设一个AI Agent正在替企业处理付款。         我们可以训练它识别诈骗邮件，可以要求它核对合同，可以增加一个模型复核收款信息。

十 |          但我们无法保证它永远认得骗子。

十一 | 他还表示，英特尔不需要Mobileye IPO带来的资金。         骗子会改变话术，邮件账号可能被入侵，真实员工也可能被冒充。如今在英伟达、地平线、华为、百度等技术性厂商崛起的背景下，Mobileye自动驾驶芯片一哥的位置实在难保。

十二 | 包括蔚来、特斯拉、理想在内的一众终端厂商，纷纷抛弃了Mobileye。即使多个模型同时参与判断，它们仍可能基于同一份错误信息得出相同结论。         更现实的做法，是直接守住付款的底线：          单笔金额不能超过限制；新收款地址不能立即付款；审批后收款目标不能被替换；超出风险阈值必须经过独立确认；任何远程管理员都不能临时关闭这些规则。         这样，即使AI被欺骗，损失仍然会被限制。

十三 | 特斯拉更不必说，在英特尔收购Mobileye之后，便与Mobileye分手，开始采用FSD芯片。理想在2021年也将EyeQ4换装成地平线征程3，而蔚来等一批车企更是为新一代车型选配了强大的英伟达Orin芯片。         你不需要保证AI永远认得骗子，只需要保证骗子无法轻易带走你的钱。前段时间英伟达刚研发出算力“天花板”Thor，Mobileye这些老企业还有一席之地吗？不过Mobileye也发现了这些问题，正在进行下一代ADAS的产品开发，包括 SuperVision 系统的新功能以及导航辅助驾驶，希望能打破“英姿不再”的僵局。         这就是大道至简。         前面可以有复杂的模型、提示词、工作流和检测系统。         最后只需要一条明确的边界：          不符合条件，就不执行。

十四 |          最后的系统不必比AI更聪明          很多人认为，保护AI的安全系统也应该是一套更强大的AI。         但位于最后一道边界的系统，未必需要理解自然语言，也不需要参与复杂推理。         它只需要知道几个确定事实：          这次操作要转多少钱，目标是谁，权限是否发生变化，数据是否可以恢复，风险条件有没有超限。         这些事实不满足，就拒绝。         安全不一定要比风险更聪明，它只需要守住风险最终必须经过的那道门。         越靠近最终执行，系统反而越应该简单、独立和保守。         因为复杂意味着更多配置、更多依赖、更多攻击面，也意味着系统可能被前面的同一套错误逻辑同时影响。         真正的最后防线，不应该和Agent使用同一个提示词、同一个上下文、同一套权限，也不应该因为SaaS中有人点击了“强制执行”就自动失效。         它存在的意义，就是在所有人都认为可以继续时，依然保留拒绝的能力。         底线应该由人提前决定          当然，底线并不是系统自己创造的。         企业需要提前决定，什么事情绝对不能由AI单独完成。         可能是一笔超过限额的付款，可能是删除核心数据库，可能是修改管理员权限，也可能是让现实设备进入不可逆状态。         这些边界一旦确定，就不应该交给Agent在执行过程中临时解释。         真正的安全，不是让AI在最后一秒重新思考，而是让人类在风险发生之前提前划清边界。         AI可以负责分析、规划、推荐，甚至完成绝大部分自动化工作。         但越是不可逆、越是高价值、越可能造成现实损失的操作，越需要一道独立于AI判断的最终约束。

十五 |          AI安全的终点，不是把模型训练成永不犯错的圣人，而是让系统在模型犯错时依然守得住自己的底线。

十六 |          未来的AI一定会越来越聪明，也会获得越来越多的工具和权限。         我们没有必要因为它可能犯错，就拒绝所有自动化。         但我们也不能因为它越来越强，就默认把最后的决定权一起交出去。         最后想和大家讨论一个问题：          对你来说，AI最不能越过的底线是什么——钱、管理员权限、核心数据，还是现实设备的控制权？          本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 [email protected]。

十七 |

Current article:http://ncrsw7q.zhenzongtingrangunhongqiusao.shop/news/20260826_513608.html

Published on:12:34:23