标签: 算法侧端部署

Tengine在GPU上支持CUDA/TensorRT加速啦

Tengine框架在最近\支持了GPU上通过CUDA或TensorRT加速,那么今天阿chai就带着大家看看我们如何在NVIDIA的嵌入式设备中使用Tengine框架。今天的算法完全在嵌入式上进行,请小伙伴们自行学习有关LInux下开发的相关知识。

Tengine入门教程

Tengine-Lite框架是OpenAILAB公司出的适用于边缘设备面向芯片SoC优化的一款推理框架,主要甚至可以让人工智能模型在stm32这样的低功耗的单片机上运行,是由最早的Tengine框架衍生过来的。

Tengine支持PaddlePaddle2.0啦

Tengine是非常优秀的深度学习推理框架,之前阿chai也出过很多Tengine的教程,今天我们介绍一下如何将PaddlePaddle2.0的模型转换Tengine。

Khadas VIM3(Amlogic A311D)上进行Tengine模型推理

今天给大家介绍一下在Khadas VIM3上进行NPU加速(支持在X86_64上模拟),有关Tengine请参考Tengine的入门教程,稳重需要的模型文件与测试图片在文末的百度网盘链接中。NPU是移动端的进行算法推理的主要是趋势,现在咱们使用的手机、边缘设备上经常能看到它,毕竟Soc才是大佬。