ICS 35.240.99 CCS I 6599 团 体 标 准 T/CADHOH 0004 — 2023 智能手语翻译系统测试规范 Specifications for Intelligent Sign Language Translation System Test 2023 - 08 - 26 发布 2023 - 08 - 28 实施 中国聋人协会 发 布 全国团体标准信息平台 T/CADHOH 0004 — 2023 I 目 次 目 次 ................................ ................................ ................................ ................................ .............. I 前 言 ................................ ................................ ................................ ................................ .......................... II 1 范围 ................................ ................................ ................................ ................................ ................................ .. 1 2 规范性引用文件 ................................ ................................ ................................ ................................ .............. 1 3 术语和定义 ................................ ................................ ................................ ................................ ...................... 1 4 测试语料库 ................................ ................................ ................................ ................................ ...................... 2 手语视频 ................................ ................................ ................................ ................................ ................... 2 对译文本 ................................ ................................ ................................ ................................ ................... 2 5 技术指标测试步骤及评价方法 ................................ ................................ ................................ ...................... 2 准确率 ................................ ................................ ................................ ................................ ....................... 2 可读性 ................................ ................................ ................................ ................................ ....................... 4 翻译响应时间 ................................ ................................ ................................ ................................ ........... 5 系统适用性 ................................ ................................ ................................ ................................ ............... 5 6 综合评价方法 ................................ ................................ ................................ ................................ .................. 7 附 录 A （资料性） 手语视频的图片样例 ................................ ................................ ............................ 9 附 录 B （资料性） 手语转写文本的标注格式 ................................ ................................ .................. 10 参 考 文 献 ................................ ................................ ................................ ................................ ................ 13 图 A.1 手语视频的图片样例 …………………………… ………………………………………………… 9 表 1 识别准确率得分表 …………………………………………………………………………… …………3 表 2 翻译准确率得分表 ………………………………………………………………………………………4 表 3 手语可读性得分表 ……………………………………………………………………………………… 4 表 4 有声语言可读性得分表 ………………………………………………………………………………… 4 表 5 翻译响应得分表 ………………………………………………………………………………………… 5 表 6 头部顶点数量得分表 …………………………………………………………………………………… 6 表 7 头部完备度得分表 ……………………………………………………………………………………… 6 表 8 身体顶点数量得分表 …………………………………………………………………………………… 6 表 9 表情质量得分表 ………………………………………………………………………………………… 6 表 10 身体质量得分表 ……………………………………………………………………………………….. 7 表 11 除手语数字人之外的其他适用性得分表 …………………………………………………………….. 7 表 12 单项指标权重系数 …………………………………………………………………………………… . . 8 表 B.1 面向人工智能应用的中国手语文本转写方案 ………………………………………………………1 0 表 B.2 面向人工智能应用的中国手语手势标记方案 ………………………………………………………1 1 表 B.3 测试语料库对译文本示例 ……………………………………………………………………………1 2 全国团体标准信息平台 T/CADHOH 0004 — 2023 II 前 言 本文件按照 GB/T 1.1 — 2020 《标准化工作导则 第 1 部分：标准化文件的结构和起草规则》的规定 起草。