2023年8月21日,智慧司法技术总师系统、浙江大学、上海交通大学、阿里云计算有限公司、科大讯飞研究院联合发布《法律大模型评估指标和评测办法(征求意见稿)》(下称《意见稿》)旨在推动法律大模型的研发、评测和应用的规范化。
《意见稿》涵盖了法律大模型的能力体系,提出了法律大模型的评估指标、测评方法和典型应用场景等内容,在评测方法内容中,针对特定任务,《意见稿》提出需从功能、性能、安全、质量四个方面共12项指标,为法律大模型测评提供各项指标的选择、评分和计算方法,最终获得该项任务的性能测评结果。
许建峰强调:“面对众多科研团队和企业相继推出法律大模型的蓬勃发展形势,通过一套较为全面、系统、实用的评估指标和测评方法,指引和推动法律大模型的研发、测评工作,是业界的共同呼声和迫切需求,大模型为法律人工智能领域带来了新的机遇,推出指标体系是指导行业规范化的基础,我们希望更多行业从业者提供反馈和意见,并进一步完善法律大模型的评估标准,促进法律人工智能更好更快的发展。”