安全配资平台 开普云:共筑AIGC时代内容安全防线

安全配资平台 近日,上海市委网信办“清朗e企来”系列惠企沙龙2024年首场活动举行。本次活动以“AIGC时代的信息真相:识别与应对价值观偏见”为主题,汇聚了众多业界专家。开普云受邀参会,并发表主题演讲。 随着大模型使用日趋广泛,如何确保大模型价值观对齐和内容安全成为不可忽视的问题。开普云首席技术官杨春宇博士在会上发表了题为《生成式人工智能价值观对齐现状与应对》的演讲,就AIGC时代内容安全建设的有效路径提出见解。 针对大模型价值观偏见的潜在问题,杨春宇博士提出了多项针对性措施。从模型层面来说,...


安全配资平台

  近日,上海市委网信办“清朗e企来”系列惠企沙龙2024年首场活动举行。本次活动以“AIGC时代的信息真相:识别与应对价值观偏见”为主题,汇聚了众多业界专家。开普云受邀参会,并发表主题演讲。

  随着大模型使用日趋广泛,如何确保大模型价值观对齐和内容安全成为不可忽视的问题。开普云首席技术官杨春宇博士在会上发表了题为《生成式人工智能价值观对齐现状与应对》的演讲,就AIGC时代内容安全建设的有效路径提出见解。

  针对大模型价值观偏见的潜在问题,杨春宇博士提出了多项针对性措施。从模型层面来说,大模型企业可以通过调整模型来加强安全措施;从系统层面来看,对模型输入和输出进行检测可能是一种性价比更高、更可控的方法,但仍然需要包括监管部门进行抽检或自检方法来确保模型安全可控。

  他认为,促进大模型生态系统的健康发展,需在治标和治本两个层面上共同努力。具体来说,大模型企业需要从语料的质量入手,同时在应用环节进行改进和提升。此外,企业还需与网络监管部门合作参与大模型治理。大模型时代的安全治理需要社会各界共同投入。

  杨春宇还分享公司在保障AIGC内容安全方面的实践。公司坚持发展与治理双轮驱动策略,面向AIGC内容安全审核和大模型应用安全,研发了新一代AI内容安全产品“鸠摩智”。“鸠摩智”可以协助大模型厂商及监管部门对生成式人工智能产品的输入、输出内容进行深度分析,提供系统级内容安全检测服务,围绕社会主义核心价值观、政治立场、基本道德规范等维度,对大模型产品进行集出卷、阅卷、评价于一体的全自动评估。目前“鸠摩智”已投入市场,并在国家计算机网络应急技术处理协调中心部署,协助主管部门对大模型领域进行常态化监管。

  此外,开普云副总裁王瑛同步接受了澎湃科技的采访,他表示,大模型时代生成式内容有两个主要特征,一是生成式内容传播呈现碎片化和不可复现性,导致对生成式内容传播效果的度量变得更加复杂;二是经过大模型处理和输出的信息,可能会在全网范围内产生二次污染,对大模型自我迭代、下游衍生产品产生消极影响。

  开普云主动承担社会责任安全配资平台,始终坚持发展和安全并重,坚持技术创新和依法治理相结合。公司将与监管部门、合作伙伴携手并进,提高内容安全保障能力,共同引导生成式人工智能技术朝着更加安全的方向发展。



相关资讯