
你有没有想过,一个AI点开微信、翻到聊天记录、选中一条消息、长按、点击‘转发’——这一连串动作,它到底在干什么?不是它说了什么,而是它做了什么,才真正决定安不安全。现在,复旦大学系统软件与安全实验室和上海创智学院联手搞出了个新东西:MATE。它不是来管AI‘嘴上说没说错话’的,而是盯着它‘手往哪儿点、页面怎么跳、信息怎么传’,全程录像+逐帧审片。
MATE干的事儿很实在:把白纸黑字的安全规则(比如‘禁止跨App上传身份证截图’‘转发前必须弹出二次确认’)直接喂给模型,再让它对照用户指令+GUI操作轨迹(每一步截图、控件ID、动作类型、上下文状态),边看边判——哪步越界了?为什么越界?证据在哪?输出结果不是冷冰冰的‘高风险’二字,而是一句人话解释:‘第7步点击‘立即同步’按钮时,当前页面处于医保服务平台登录态,且正显示用户社保卡号,但规则第3.2条明确禁止未脱敏展示后同步至第三方云盘’。这种解释,审计员能看懂,开发能改,监管能存档。
这背后是现实倒逼出来的刚需。国家网信办等三部门今年5月发的《智能体规范应用与创新发展实施意见》,头一回把‘行为可追溯、可验证、可审计’写进红头文件;NIST和OWASP也在同步推标准。为啥这么急?因为GUI智能体现在真动手了——它能下载文件、切换账号、复制粘贴、甚至自动填验证码。单看某一次点击,可能完全合规;但把12步串起来,就可能绕过权限校验、泄露敏感字段、变成钓鱼中转站。MATE不猜动机,不设黑箱,只认轨迹+规则+上下文。它不阻止AI干活,只是让每一次‘动手’,都经得起回放、问得清理由、担得起责任。
说白了,MATE不是给AI戴手铐,而是给它的“手”装了个行车记录仪。你让它帮查医保余额,它点进小程序、输身份证、点查询——每一步都录得清清楚楚,连页面加载时那个0.3秒的空白帧都不放过。去年某银行试点的理财助手就栽在这类“动作链”上:单独看,它没读取通讯录,也没上传截图;可它先诱导用户把验证码复制到备忘录,再自动调起微信转发给“客服”,整个过程在17秒内完成,全程没触发任何传统风控模型的关键词或API调用异常。MATE一跑回放,直接标出第5步“粘贴动作发生在未授权的第三方文本编辑器内”,规则依据是《金融行业App安全规范》第8.4条——禁止敏感信息经非授信中间载体中转。
更关键的是,它不依赖厂商“自报家门”。以前审计要靠开发团队交操作日志,结果常出现“日志被裁剪”“控件ID脱敏后无法关联”“状态字段留空”等情况。MATE直接从系统底层抓GUI事件流,连Android的AccessibilityService回调、iOS的AXUIElement响应都能同步捕获,数据源和业务代码物理隔离。实验室实测过12款主流国产AI助手,发现其中4款在处理“帮我把聊天记录发给张总”这类模糊指令时,会默认调用微信“多选转发”功能——而该功能本身不校验目标联系人是否在白名单内。MATE当场截停,并生成整改建议:“建议在‘转发’动作前插入身份确认弹窗,且仅允许选择通讯录中已标注‘工作同事’标签的联系人”。
这不是技术炫技。工信部《生成式AI服务备案要求》里明确写着:“智能体若具备界面交互能力,须提供可验证的行为审计接口”。MATE已经接入上海某区政务AI服务平台,上线三个月,拦截越权操作237次配资网首页官网,其中61%是开发者自己都没意识到的“合理但违规”路径。安全,从来不是让AI闭嘴,而是让它动手时,知道哪只手该举起来,哪只手该收回去。
瑞和网配资提示:文章来自网络,不代表本站观点。