“技术解决方案有可能取代健身教练吗？”好吧，还是有人要激励你说：“来吧，我奶奶也能做得更好！”但是从技术的角度来看，这一高层次的需求导致了三维人体姿态估计技术的出现。
在本文中，我将描述我们自己的经验，如何开发和实现三维人体姿态估计的人工智能健身教练解决方案。
人体姿态估计是什么？
人体姿态估计是一种基于计算机视觉的检测和分析人体姿态的技术.人体姿态估计的主要内容是人体的建模。最常用的人体模型有三种：基于骨架的模型、基于轮廓的模型和基于体积的模型。
骨架模型由一组关节(关键点)组成，如脚踝、膝盖、肩膀、肘部、手腕和肢体方向，构成人体的骨骼结构。该模型由于其灵活性，被应用于二维和三维人体姿态估计技术中。
基于轮廓的模型由身体躯干和四肢的轮廓和粗糙的宽度组成，身体各部分呈现一个人的轮廓和矩形。
体积模型由三维人体形状和体态组成，体态由具有几何网格和形状的基于体积的模型表示，通常用三维扫描来捕捉。
在这里，我说的是骨架模型，可以从2D或3D角度检测到。
二维姿态估计基于对RGB图像中人体关节X，Y坐标的检测和分析。
三维姿态估计基于对RGB图像中人体关节X、Y、Z坐标的检测和分析。
当涉及人体姿态估计的健身应用时，使用三维估计更好，因为它能更准确地分析人体在身体活动中的姿势。
谈到AI健身教练应用程序，常见的流程如下：
- 在做练习时捕捉用户的动作。
- 分析运动成绩的正确性。
- 向用户界面显示错误
三维人体姿态估计的工作原理
三维人体姿态估计技术如何检测人体上的关键点的视觉图像如下所示：
该过程通常涉及人体关节的提取，然后通过深入学习算法分析人体的姿态。如果人体姿态估计系统使用视频记录作为数据源，则从帧序列中检测到关键点(关节位置)，而不是一幅图像。当系统分析一个人的实际运动，而不是一个稳定的位置时，它使我们能够达到更高的精度。
三维人体姿态估计系统的开发有多种方法。最优的方法是训练深度学习模型，从给定的图像/帧中提取三维或二维关键点。
当然，使用几个不同视角的摄像机对同一个人做练习的视频流会给我们带来更好的准确性。但是多摄像头往往是不可用的。此外，从几个视频流中分析视频将需要更多的计算机能量来处理。
在我们的研究中，我们使用了一个单一的视频源进行分析。并应用扩展时间卷积的卷积神经网络(CNN)(见下面的视频)。
我们对现有的模型进行了分析，得出如下结论：VideoPose3D是健身应用程序的最佳选择。在输入中，应该检测到一组2D关键点，其中Coco2017数据集作为预先训练的2D检测器应用。为了准确预测当前节点的位置，它处理来自不同时间段捕获的几个帧的视觉数据。
如何在人工智能健身教练应用中应用人体姿态估计
数字化并不能幸免于健身业。根据研究和市场报告预计到2022年，数字健身市场规模将达到274亿美元。
三维人体姿态估计是数字健身领域一项相对较新但发展迅速的技术。通过对三维人体姿态估计系统的分析和实践经验，得出了如何实现三维人体姿态估计系统的设想。让我们回顾一下如何建立这个系统的流程，这样它就可以利用用户进行体育锻炼的视频自动分析动作。
假设给定系统的目标是检查输入视频中常见的运动错误，并将其与参考视频进行比较，在该视频中，职业运动员正在进行相同的练习，流程如下：
1.输入录影带的裁剪视乎练习开始及结束而定
对于起始点和终点指示，可以通过任意阈值自动检测身体控制点的位置。例如，蹲下时，可以根据高度来检测手臂的角度和手的位置，然后，通过使用任意的阈值，我们可以检测运动的起点和终点。
另一种方法是让用户手动指示练习的开始和结束。
2.检测使用者身体上的2D和3D关键点
3.运动阶段的分解
在提取关键点(关节)位置时，应将它们与参考视频的位置进行比较。然而，我们不能直接比较，因为运动的表现速度和总重复次数的输入和参考视频可能不同。
这些差异可以通过将作业分解成几个阶段来解决。在下面的图片中，我们可以看到如何将蹲下练习分解为两个主要阶段：蹲下和蹲下。
图片来源：Stronglifts.com
通过对输入视频逐帧检测到的关键点进行分析，然后根据一定的标准与参考视频中的关键点进行比较，进行分解。
4.寻找常见错误
当检测到3D关键点和练习的某些阶段时，就需要在输入视频中检测运动技术中常见的错误。例如，在蹲下时，我们可以检测到腿弯曲(不直)，膝盖离躯干中心比脚更近的时刻。
5.输入视频帧与参考帧的比较
在这里，我们应该使用一个参考视频，在那里正确地执行练习，将其分割成各个阶段，并检测每个帧中的关键点。当在输入视频和参考视频中确定关键点和运动阶段时，我们可以比较由用户和专业运动员执行的每一阶段的练习。
一步一步的流程如下所示：
A.放慢/加速参考视频，以便与输入视频的速度相匹配。
使使用者和职业运动员的骨骼模型对齐，使它们的旋转角度和来源相匹配。
C.规范两个骨骼的大小，因为参考和输入视频可以从不同的距离拍摄。
D.逐帧比较关键点，并检测运动不一致。
分别对不同部位的关节重复流动(如脚部位置、膝盖位置、手和肘部位置等)。
6.显示结果并为用户生成建议。
当整个分析周期完成后，用户将获得以不同格式显示的结果。例如，输出可能包括带有错误提示的交互式3D重构，以便用户可以放大/缩小、返回、前进或在特定时刻暂停。还可以收集和显示运动统计数据，如重复次数、一次重复的平均速度和持续时间等。
视觉上基于视频的三维人体姿态估计系统如下所示：
图片来源：forclifts.com男子健康频道.
在本文中，我从人工智能健身教练应用程序开发的角度描述了三维人体姿态估计系统是如何工作的，因为它很好地说明了如何通过实例来工作。但请注意，根据业务需求或其他因素，流程可能会更改。
高光
- 三维人体姿态估计可以用来检测健身运动中的运动误差。
- 选择合适的二维关键点检测器是获得高质量三维关键点的关键。
- 对于二维关键点模型，闭塞或快速移动的关节很难被检测，并导致错误的/随机的预测。
- 在使用预先训练的模型时，重要的是要记住，对于不寻常的动作和身体位置，它们很可能不能很好地工作。您可能需要微调或重新训练，至少需要在特定领域或有目的的增强数据上改进模型。
