《AI端侧设备算力模型适配测试规范》主要内容总结

一、标准概述

该标准由湖北省软件企业协会发布（标准号：T/HBSEA 0162025），旨在为AI端侧设备的算力与模型适配性提供科学的评估体系和方法。标准于2025年2月27日发布，次日实施。

二、适用范围

本文件规定了AI端侧设备的算力与其可承载的AI模型的适配性测试方法，适用于AI端侧设备算力模型适配性评估。

三、核心术语定义

标准明确了以下关键术语：

• ​​端侧场景​​：以数据获取及本地处理为主要特征的场景
• ​​端侧设备​​：布置在端侧场景的设备，如摄像头、移动终端、机器人等
• ​​基准测试​​：通过科学方法对性能指标进行定量和可对比的测试
• ​​推理​​：将训练过的模型应用于无标签样本做出预测的过程
• ​​批次大小​​：一个批次中的样本数，在训练和推理期间通常固定

四、测试框架与原则

测试框架

标准提出了完整的测试框架，如图1所示：

测试原则

1. ​​实用性​​：测试方法应产生积极效果，对实际应用有指导意义
2. ​​公平性​​：依据明确规则和指标确保比较公正
3. ​​客观性​​：坚持以客观科学数据为依据
4. ​​可重复性​​：不同环境下对同一对象测试应得一致结果

五、测试项目与要求

测试项目分类

分为2大类5个子项：

1. ​​基础能力测试​​：

   • 设备基础测试（处理器、RAM等）
   • 场景测试（使用场景验证）
   • 基本功能测试（通信速率、带宽等）

2. ​​性能测试​​：

   • 训练测试（训练时长、功耗等）
   • 推理测试（推理时长、吞吐率等）

测试环境部署

测试环境如图2所示：

六、测试场景与模型

标准详细规定了7类典型测试场景：

1. ​​图像分类​​：MobileNet、ResNet等模型，使用ImageNet数据集
2. ​​目标检测​​：Yolo、Faster R-CNN等模型，使用VOC2012/COCO2017数据集
3. ​​超分辨率​​：VDSR模型，使用VOC2012数据集
4. ​​图像语义分割​​：Deeplabv3+模型，使用VOC2012/Cityscapes数据集
5. ​​机器翻译​​：BERT、Transformer等模型，使用Wikipedia/WMT数据集
6. ​​自然语言处理​​：BERT、GPT等模型，使用GLUE/SQuAD数据集
7. ​​多模态​​：CLIP、ViLBERT等模型，使用MSCOCO/Flickr30k数据集

七、分级分模型测试

参数量分级

标准将模型分为8个参数量级（表3）：

• 第一级（0-2M）：适合移动设备、智能摄像头
• 第二级（2-10M）：适合移动端应用、智能家居
• ...
• 第八级（5000M+）：下一代AI系统、超高精度科学模拟

模型分类

详细分类了CNN和Transformer架构的代表模块（表4）：

• ​​CNN​​：包含普通卷积、残差连接、SE模块等12种模块
• ​​Transformer​​：包含多头自注意力、窗口自注意力等7种模块

八、测试步骤

基础能力测试

1. 设备基础参数测试：验证处理器规格、RAM等
2. 设备应用场景测试：验证设备在特定场景下的适用性
3. 基础功能测试：测试通信速率、读写速度等

算力测试

1. ​​训练测试​​：验证设备在执行AI模型训练任务时的性能
2. ​​推理测试​​：验证设备在不同批次大小下的推理性能

九、附录

包含两个重要表格：

• 表3：模型参数量分级表（8个等级）
• 表4：模型分类表（CNN和Transformer架构的详细模块分类）

该标准为AI端侧设备算力模型适配提供了全面、系统的测试方法和评估体系，有助于推动AI技术在端侧设备上的应用和发展。