Model Benchmark
date
Aug 30, 2021
slug
Benchmark
status
Published
tags
Deep Learning
Performance
summary
type
Post
本篇 blog 会持续更新推理性能相关的测试。
ONNX CRNN
测试使用 onnxruntime 使用 ThreadPool 进行推理，性能是否有提升。ORT 的文档里好像没有 GIL 相关的说明，但是 19 年就有个 MR 实现了 drop GIL before Run。从测试结果看，确实有提升
- 模型架构：mbv3_large50_1_lstm_96_hiddens
- 输入尺寸：1x32x256
- loop times：50
- CPU：Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50GHz
- onnxruntime == 1.6