libLiteRtWebGpuAccelerator.dll 是 Google LiteRT(原 TensorFlow Lite)运行时在 Windows 平台上的 WebGPU 硬件加速器动态链接库,属于 LiteRT 加速器(Accelerator / Delegate)体系中的 GPU 后端实现。它以 WebGPU 作为统一抽象层,向上为解释器提供算子卸载接口,向下对接 Dawn 及 Direct3D 12 / Vulkan 图形驱动,把模型推理中的密集计算迁移到显卡执行。
1. 计算图划分与算子卸载
解析 FlatBuffer 格式的模型图,识别卷积、全连接、矩阵乘、LayerNorm、Attention 等可 GPU 化算子,聚合为子图交由加速器执行,其余算子回退至 CPU 内核(XNNPACK 等),保证推理图完整可跑。
2. WebGPU 设备与显存资源管理
通过 Dawn 等实现创建 Adapter / Device,分配 GPUBuffer,管理权重常量上传、张量在显存与主机内存之间的拷贝、缓冲区复用与内存池回收。
3. 计算管线编译与命令调度
将 GPU 内核以 WGSL 着色器形式编译为 ComputePipeline,进行 ComputePass 编码、绑定组布局设置与命令队列提交,实现并行算子与算子融合。
4. 精度路径与后端适配
支持 FP32 / FP16 计算精度切换,并对 Direct3D 12、Vulkan 等图形后端做能力探测与降级处理。
5. 对外 C ABI 接口
导出创建、初始化、销毁加速器等 C 接口,供 LiteRT 解释器在运行期动态加载并完成设备绑定与调度。