如何监测通用大模型的安全水位？多位专家支招
⭐发布日期：2024年09月26日 | 来源:白夜追综
【新澳好彩免费资料查询2024】 |
【奥门开彩开奖结果2023澳门开奖记录】 |
【2024新澳开奖历史记录】 | 【2024澳门天天六开彩免费资料】 | 【2024澳门天天开好彩大全开奖记录走势图】 | 【新澳好彩免费资料查询水果奶奶】 | 【新澳门天天彩2024年全年资料】 | 【澳门六开彩开奖结果2020天天开彩】 | 【澳门天天开彩好正版挂牌2024】 | 【2024年的澳门资料】 |
| 【新澳精准资料免费提供网】 | 【新奥彩2024最新资料大全】 | 【新澳历史开奖结果记录】 | 【澳门管家婆】 | 【新澳天天免费资料大全】 | 【2024年新奥正版资料免费大全159期管家婆】 | 【2024新澳天天彩资料】 | 【新澳资料免费最新开奖记录】 |
界面新闻记者 | 黄景源
界面新闻编辑 | 彭朋
截至2023年底，国内已完成备案的生成式人工智能服务达60余款。人工智能大模型在解放生产力、提高生产效率的同时也带来了一系列问题，例如隐私信息泄漏、版权归属纠纷、内容真实性与合规性等，如何应对随之而来的安全、治理问题？
9月9日，2024年国家网络安全宣传周上海地区活动拉开帷幕，在当日举行的主论坛现场，教育部长江学者、复旦大学计算机科学技术学院院长杨珉围绕“AI大模型安全评测与治理”，介绍了人工智能系统安全治理领域的研究成果。
杨珉指出，ChatGPT等通用大模型正成为大家日常生活中频繁使用的工具，并逐步向具身智能体进化，在可预见的将来会出现AI社会，很多人工智能体会互相影响、协同工作。这种技术演变的趋势背后，大模型生成内容的安全风险会逐渐外溢，进而形成物理世界的风险，如何动态、持续地监测通用大模型的安全水位，是学界、企业界、政府部门必须共同面对的重大挑战。
“当前的安全技术远远滞后于的AI技术发展的整体速度。”杨珉表示，其中一个技术是基于个人的技巧发现安全问题，即诱导问题，它的特点是自动化程度低、成本高昂。杨珉及团队一直深耕于此，希望寻找到一个通用的普适性的测试集，客观地检视当前大模型的安全合规能力。目前部分技术已在百度、阿里、华为落地应用。
此外，杨珉团队还利用语言学中“转换生成语法”的原理，建设了评测自动化、测试覆盖率高和风险发现能力强的测评平台。基于此，杨珉带领团队在今年6月发布第一代测试集，测试的维度包含了歧视性内容、商业违法违规、侵犯他人权益以及内容不准确不科学等31个子类。
杨珉表示， 未来将持续公布这种动态的测评结果，呈现产业之间在能力上的差异性，希望能助力整个行业生态的健康发展。
上海人工智能实验室综合管理部、AI治理负责人王迎春总结指出，大模型的安全问题包括国家安全、行业安全、社会安全以及人工智能可控性等极端风险。应对路径一是治理政策和规则，二是测评等技术路径。
《人工智能安全治理框架》1.0版指出，人工智能系统设计、研发、训练、测试、部署、使用、维护等生命周期各环节都面临安全风险，既面临自身技术缺陷、不足带来的风险，也面临不当使用、滥用甚至恶意利用带来的安全风险。
例如，以深度学习为代表的人工智能算法内部运行逻辑复杂，推理过程属黑灰盒模式，可能导致输出结果难以预测和确切归因，如有异常难以快速修正和溯源追责。
王迎春指出，随着模型能力的提升，执行的任务更加复杂，对其的监督能力已非人力能及，需要开发出更多新的技术，将监督信号设计到模型当中，其中就包括上述自动化红队测试等。
他预言，下一代的大模型发展应该是数字和物理融合的模型，会带来新的安全风险问题，需要提前进行技术储备，甚至在研发模型当中就要做技术的研究。王迎春认为，国内对于大模型安全的应对比较零散，不体系化，政府要构建人工智能安全技术体系图，有助于有关部门包括企业布局相应技术研究，例如模型评测技术、模型内生安全技术等。
事实上，针对模型算法安全、数据安全和系统安全等内生安全风险和网络域、现实域、认知域、伦理域等应用安全风险，刚刚发布的《人工智能安全治理框架》1.0版提出相应技术应对和综合防治措施，以及人工智能安全开发应用指引，为促进人工智能健康发展和规范应用，提供了基础性、框架性技术指南。
针对模型算法、训练数据、算力设施、产品服务、应用场景，上述框架提出通过安全软件开发、数据质量提升、安全建设运维、测评监测加固等技术手段提升人工智能产品及应用的安全性、公平性、可靠性、鲁棒性人工智能安全治理框架的措施。
| 【2024澳门天天开好彩大全免费】 【新澳天天开奖资料大全最新】 |
| 【2024年天天开好彩资料】 【新澳天天开奖资料大全最新54期】 |
| 【2024澳门天天开好彩大全53期】 【澳门天天开彩期期精准】 |
| 【2024全年资料免费大全】 【新澳天天开奖资料大全】 |
| 【澳门内部最精准免费资料】 【2024澳门天天开好彩大全】 |
| 【2024年新奥门天天开彩免费资料】 【新澳2024今晚开奖资料】 【2024年澳门正版挂牌免费篇】 |
发表评论
稻叶友
8秒前：事实上，针对模型算法安全、数据安全和系统安全等内生安全风险和网络域、现实域、认知域、伦理域等应用安全风险，刚刚发布的《人工智能安全治理框架》1.
IP:13.93.2.*
耿歌
4秒前：王迎春指出，随着模型能力的提升，执行的任务更加复杂，对其的监督能力已非人力能及，需要开发出更多新的技术，将监督信号设计到模型当中，其中就包括上述自动化红队测试等。
IP:81.49.8.*
puntakarn
3秒前：0版指出，人工智能系统设计、研发、训练、测试、部署、使用、维护等生命周期各环节都面临安全风险，既面临自身技术缺陷、不足带来的风险，也面临不当使用、滥用甚至恶意利用带来的安全风险。
IP:66.90.9.*