以下为《附件二:发明专利技术交底书模版》的无排版文字预览,完整内容请下载
说 明 书
一种基于kinect的手势控制液压支架的虚拟示教系统及方法
技术领域
本发明涉及一种基于kinect的手势控制液压支架的虚拟示教系统及方法,属于自动控制技术领域。
背景技术
人机交互技术是指通过计算机的输入和输出设备,实现人与计算机的交流。常见的人机交互方式是采用对人手的位置和位姿进行实时跟踪的系统,这类设备有电磁跟踪设备、惯性传感器与数据手套等,这些属于接触式的传感器,需要穿戴额外的设备而使得交互过程不够自然。而***的体感交互设备kinect是非接触式的传感器,可以通过操作者的手部动作来控制电脑,不需要人身上穿戴额外的设备,使得人们能以自然的方式与计算机交互。
液压支架是用来控制采煤工作面矿山压力的结构物,作为综合机械化采煤的必备设备,它为综采工作面采煤机、刮板输送机以及工作人员提供安全的工作空间。但是人们很难形象的学习了解液压支架的工作过程。为了提高人们对液压支架工作过程的交互体验感,需要设计一种人-液压支架虚拟三维环境的交互控制系统,使人们更好的理解液压支架的工作过程。
发明内容
针对上述现有技术存在的问题,本发明提供一种基于kinect的手势控制液压支架的虚拟示教系统及方法,只需操作人员做出特定手势,就可以通过显示器模块观察虚拟液压支架做出相应的动作,便于人们更好的理解液压支架的工作过程。
为了实现上述目的,本发明采用的技术方案是:该种基于kinect的手势控制液压支架的虚拟示教系统,包括kinect模块、景深数据获取模块、关节点信息处理模块、手势特征匹配模块、控制模块和显示器模块,kinect模块依次与景深数据获取模块、关节点信息处理模块、手势特征匹配模块、控制模块和显示器模块连接。
该种基于kinect的手势控制液压支架的虚拟示教方法,其具体步骤是:
(1)预先设定八个不同的标准手势,并将八个手势存储到控制模块中;
(2)控制模块将八个标准手势分别对应液压支架的降柱、移架、升柱、推溜、降护帮板、升护帮板、收前梁和升前梁八个动作的控制信号;
(3)初始化kinect模块,设定摄像机仰角,操作人员站立在距离摄像头1.2米到3.5米范围之间,做出设定的八个标准手势之一;
(4)kinect模块检测操作人员的动作,并从颜色流、深度流和骨架流中获取人体骨骼信息数据帧;
(4)景深数据获取模块分析处理kinect模块传来的人体骨骼信息数据帧,获得图像景深数据,提取出人体骨骼信息,通过建立人体手臂关节的3D坐标系,得到人体手臂关节节点坐标,以识别人体不同的部位;
(5)关节点信息处理模块通过所得到的人体手臂关节的3D坐标,计算得出人体肩关节三个自由度方向上的转动角度,肘关节两个自由度方向上的转动角度;根据人体肩关节和肘关节转动角度信息,识别出人体手臂骨骼节点的转动信息,通过捕捉不同骨骼关节点角度的变化来进行数据处理;
(6)手势特征匹配模块将上述的各个不同的关节角度信息与控制模块中存储的八个标准手势的各个关节角度信息进行特征匹配;若匹配未成功,则返回步骤(3),若匹配成功,则手势特征匹配模块将数据传递给控制模块;
(7)控制模块接收到手势特征匹配模块传来的匹配成功的数据,分析处理后,发出与该手势相对应的液压支架的动作控制信号,进而控制三维虚拟液压支架动作,并通过显示器模块显示。
与现有技术相比,本发明通过kinect模块进行手势信息的采集,利用可提取骨骼点的三维信息追踪手臂各关节的位置,通过辨认特定的手势,控制虚拟液压支架做出相应的动作,便于人们更好的理解液压支架的工作过程。
附图说明
图1是本发明的电原理框图;
图2是本 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 ,可求出肩关节的旋转运动角度γ1(-90°
以上为《附件二:发明专利技术交底书模版》的无排版文字预览,完整内容请下载
附件二:发明专利技术交底书模版由用户“gigajin”分享发布,转载请注明出处