项目简述
项目简述
简述
Kendryte K210 是集成机器视觉与机器听觉能力的系统级芯片(SoC)。使用台积电 (TSMC) 超低功耗的 28 纳米先进制程，具有双核64位处理器，拥有较好的功耗性能，稳定性与可靠性。该方案力求零门槛开发，可在最短时效部署于用户的产品中，赋予产品人工智能。
Kendryte K210 定位于AI与IoT市场的SoC，同时是使用非常方便的MCU。
Kendryte中文含义为勘智，而勘智取自勘物探智。这颗芯片主要应用领域为物联网领域，在物联网领域进行开发，因此为勘物；这颗芯片主要提供的是人工智能解决方案，在人工智能领域探索，因此为探智。
- 具备机器视觉能力
- 具备机器听觉能力
- 更好的低功耗视觉处理速度与准确率
- 具备卷积人工神经网络硬件加速器KPU，可高性能进行卷积人工神经网络运算
- TSMC 28nm先进制程，温度范围-40°C到125°C，稳定可靠
- 支持固件加密，难以使用普通方法破解
- 独特的可编程IO阵列，使产品设计更加灵活
- 低电压，与相同处理能力的系统相比具有更低功耗
- 3.3V/1.8V双电压支持，无需电平转换，节约成本
AI解决方案
机器视觉
Kendryte K210 具备机器视觉能力，是零门槛机器视觉嵌入式解决方案。它可以在低功耗情况下进行卷积神经网络计算。
该芯片可以实现以下机器视觉能力：
- 基于卷积神经网络的一般目标检测
- 基于卷积神经网络的图像分类任务
- 人脸检测和人脸识别
- 实时获取被检测目标的大小与坐标
- 实时获取被检测目标的种类
机器听觉
Kendryte K210 具备机器听觉能力。芯片上自带高性能麦克风阵列音频处理器，可以进行实时声源定向与波束形成。
该芯片可以实现以下机器听觉能力：
- 声源定向
- 声场成像
- 波束形成
- 语音唤醒
- 语音识别
视觉/听觉混合解决方案
Kendryte K210 可结合机器视觉和机器听觉能力，提供更强大的功能。一方面，在应用中既可以通过声源定位和声场成像辅助机器视觉对目标的跟踪，又可以通过一般目标检测获得目标的方位后辅助机器听觉对该方位进行波束形成。另一方面，可以通过摄像头传来的图像获得人的方向后，使得麦克风阵列通过波束形成指向该人。同时也可以根据麦克风阵列确定一个说话人的方向，转动摄像头指向该人。
系统架构
K210包含RISC-V 64位双核CPU，每个核心内置独立FPU. K210的核心功能是机器视觉与听觉，其包含用于计算卷积人工神经网络的KPU与用于处理麦克风阵列输入的APU. 同时K210具备快速傅立叶变换加速器，可以进行高性能复数FFT计算。因此对于大多数机器学习算法，K210具备高性能处理能力。
K210内嵌AES与SHA256算法加速器，为用户提供基本安全功能。
K210拥有高性能、低功耗的SRAM，以及功能强大的DMA，在数据吞吐能力方面性能优异。
K210具备丰富的外设单元，分别是：DVP、JTAG、OTP、FPIOA、GPIO、UART、SPI、RTC、I²S、I²C、WDT、Timer与PWM，可满足海量应用场景。
本项目支持
本项目提供了一种从硬件设计到ai训练、最后再到模型部署的完整案例，你可以通过此案例了解到科研和实际工作项目的一些异同。
- 硬件原理图，工程文件等
- 支持官方SDK（基于C语言）
- 支持MaixPy（基于Micropython）
- 支持CanMv（基于Micropython）
- 拥有yolo的详细案例
- 底层源码&硬件vseasky/riscv-k210
- 深度学习框架Yolovseasky/yolo-for-k210
作品展示
