几何深度学习可实现跨物种和环境的3D运动学分析

2021年4月19日，《自然—方法学》杂志在线发表了美国科学家的一项最新研究成果。来自哈佛大学的Bence P. Ölveczky等研究人员合作发现，几何深度学习可实现跨物种和环境的3D运动学分析。

研究人员设计了DANNCE，这个方法能够在不同的物种和行为中可靠地跟踪3D解剖标志。DANNCE使用射影几何来构建卷积神经网络的输入，该卷积神经网络利用了学习到的3D几何推理。研究人员使用了将近700万帧的数据集来训练和基准化DANNCE，这些数据集与彩色视频和啮齿动物3D姿势相关。

在大鼠和小鼠中，DANNCE可以在自然环境下稳健地跟踪自由移动的动物的头部、躯干和四肢上的数十个标志。研究人员将DANNCE扩展到大鼠幼崽、狨猴和山雀的数据集，并证明了发育过程中行为谱系的定量分析。

据了解，对动物行为的全面描述要求对全身运动进行精确的3D测量。尽管二维方法可以在限制性环境中跟踪可见的地标，但是由于遮挡和外观变化，自由移动动物的性能下降。