强化学习加速了机器人假肢的调整

北卡罗莱纳州立大学的研究人员,北卡罗莱纳大学和亚利桑那州立大学开发了一个智能系统“调谐”动力假肢的膝盖,让患者行走舒适假肢设备在几分钟内,而不是必要的时间,如果设备是由一个训练有素的临床医生调整。该系统是第一个完全依靠强化学习来调整机器人假肢。

当患者接受机械假膝时，该设备需要进行调整以适应特定的患者。新的调整系统调整12个不同的控制参数，解决假体动力学，如关节刚度，在整个步态周期。

通常情况下，人类医生会与患者一起修改一些参数。这可能需要几个小时。新系统依靠一个利用强化学习的计算机程序来修改所有12个参数。它允许患者使用一个动力假膝在一个水平面上行走大约10分钟。

“我们首先给病人一个有动力的假膝，随机选择一组参数，”该研究论文的作者之一、北卡罗来纳大学和北卡罗来纳大学生物医学工程系的教授海伦·黄(Helen Huang)说。“然后我们让病人在受控的情况下开始行走。

黄说:“设备上的数据和病人的步态是通过设备上的一套传感器收集的。”“电脑模型可以调整设备上的参数，并实时将病人的步态与正常步态的轮廓进行比较。”模型可以判断哪些参数设置提高了性能，哪些设置降低了性能。使用强化学习，计算模型可以快速识别允许患者正常行走的参数集。现有的方法，依靠训练有素的临床医生，可能需要半天的时间。”

虽然这项工作目前是在一个可控的临床环境中完成的，但目标之一是开发一个无线版本的系统，这将允许用户在现实环境中使用时继续微调动力假肢参数。

”这个工作场景,一次,一位病人在水平地面上走来,但原则上,我们也可以开发强化学习控制器等情况下升序或降序楼梯,”珍妮斯说,教授论文的合著者电气、计算机和能源工程亚利桑那州立大学。

“我从动态系统控制的角度进行强化学习，考虑了传感器噪声、环境干扰和系统安全稳定的需求，”Si说。“我意识到，学习如何实时控制同时受到人类用户影响的假肢装置，这是一个前所未有的挑战。”这是一个协同适应问题，没有现成的解决方案从经典的控制设计或目前，最先进的强化学习控制机器人。我们很高兴地发现，我们的强化学习控制算法确实学会了让假肢装置作为人体的一部分，在如此令人兴奋的应用环境中工作。”

黄说，研究人员希望能让这个过程更有效率。“例如，我们认为我们可以通过识别或多或少可能成功的参数组合，并训练模型首先关注最有希望的参数设置，从而改进这个过程。”

研究人员指出，虽然这项工作很有前景，但在广泛应用之前还需要解决很多问题。

黄说:“例如，这项研究的假体调整目标是在走路时满足正常的膝关节运动。”“我们没有考虑其他步态性能(如步态对称性)或用户的偏好。再举一个例子，我们的调优方法可以用于在诊所和实验室之外对设备进行微调，使系统随着时间的推移而适应用户的需要。然而，我们需要确保在现实生活中使用的安全性，因为错误的控制可能会导致绊倒和跌倒。还需要更多的测试来证明其安全性。”

研究人员还指出，如果该系统被证明是有效的，并得到广泛使用，它可能会减少患者的成本，因为它减少了患者与医生一起进行临床访问的需要。

这篇题为“机器人膝关节假体个性化的在线强化学习控制”的论文发表在《IEEE控制论学报》上。