南方科技大学与中科院微电子所合作，研发基于随机阻变存储器的深度极限点云学习机系统（deplm），相关成果发表于《自然-通讯》期刊。该系统通过软硬件协同设计，高效处理来自多种视觉传感器的多模态数据，显著提升边缘智能硬件的性能和能效。

当前边缘智能系统面临多模态数据处理的挑战，包括数据异构性、冯·诺依曼瓶颈以及摩尔定律放缓等问题。DEPLM系统创新性地将多模态数据统一表示为点集，并采用深度极限点云学习算法，大幅降低模型训练复杂度。 该算法大部分权重无需训练，极大简化了训练过程。

硬件层面，DEPLM利用纳米级阻变存储器实现存储与计算的一体化，有效缓解冯·诺依曼瓶颈。同时，阻变存储器的固有随机性被用来生成DEPLM的随机稀疏权重，降低读取噪声的影响。实验结果表明，DEPLM系统在多种数据类型和学习任务中表现出色，能效提升最高达15.79倍，训练成本降低最多可达89.46%。

这项研究为开发高能效、易训练的跨模态、跨任务边缘人工智能系统提供了新的思路。该项目得到了多方机构的资助。