虚拟现实与人机交互技术

概述

面向智能家居和智慧教学等交互需求，结合虚拟现实和增强现实技术，对人机交互和人机协同中的多模态输入、感知、融合、交互、呈现等关键科学问题展开原创性研究，在多种交互模型的融合共存、融合多模态交互意图的深度理解等方面取得重点突破，并在手势、体感交互领域形成研究特色和优势。

学术带头人

冯志全

团队成员

张远 唐好魁 杨晓晖 吕娜 蒋彦 范雪 田京兰 徐涛

近五年省部级及以上科研、教学成果奖

1、陈月辉，冯志全，杨波，孟庆芳，彭立志，混合型计算智能理论及其应用研究，2015年，山东省科学技术奖，三等奖

2、冯志全，智能感知与自然交互的基础理论研究，2015年，第五届吴文俊人工智能科学技术创新奖，三等奖

3、尹建芹，冯志全，赵秀阳，人体行为智能感知及和谐人机交互理论及其应用，2015年，山东省高等学校优秀科研成果奖，一等奖

4、蒋彦，竞赛驱动式计算机类人才创新实践能力培养模式的构建，2018年，山东省教学成果奖，二等奖

近五年代表性科研项目（省部级以上科研项目、50万以上横向项目）

1、冯志全，国家重点研发计划项目子课题，多模态自然交互的虚实融合开放式实验教学环境，201805-202104，95万元

2、冯志全，国家重点研发计划项目子课题，非精确交互信息的融合感知计算和一致性呈现，201607-202006，44万元

3、冯志全，国家自然科学基金面上项目，基于认知机理和手势动画的三维人机交互界面研究，201201-201512，56万元

4、冯志全，国家自然科学基金面上项目，手势驱动的直接操纵3D人机交互界面中的透明性模型和算法研究，201501-201812，84万元

5、张远，国家自然科学基金面上项目，基于智能手机感知的疾病发现与位置预测，201601-201912，80万元

6、杨晓晖，国家自然科学基金青年项目，驾驶情境下基于驾驶员眼动行为的注意机制与模型研究，201701-201912，19万元

7、吕娜，国家自然科学基金青年项目，基于自然交互的人体运动捕获数据实时检索与生成，201901-202112，27万元

8、冯志全，山东省重点研发计划项目，远距离低成本手势交互及其在智能3D电视界面中的研究与开发，201601-201812，20万元

9、张远，山东省重点研发计划项目，智慧社区养老中基于关联性生理数据的健康预测关键技术研究与应用, 201701-201912，20万元

10、杨晓晖，山东省重点研发计划，面向虚拟装配的自然交互系统关键技术研发，201701-201912，20万元

11、田京兰，山东省青年基金培养基金，人体姿态估计中基于深度学习的身体模型研究，201803-202006，5万元

12、冯志全，横向项目，自动化与工厂一体化教学系统，51万元

近五年代表性学术论文、专著

1、Feng Z, Yang B, Xu T, et al. FM: Flexible mapping from one gesture to multiple semantics, Information Sciences, 467: 654-669, 2018.

2、Zhiquan Feng, Bo Yang, Hong Liu, Na Lv, Xiaohui Yang, Jianqin Yin, Yuan Zhang, Xiuyang Zhao. An HCI Paradigm Fusing Flexible Object Selection and AOM-based Animation, Information Sciences, 369: 368-387,2016.

3、Zhiquan Feng, Bo Yang, Na Lv, Tao Xu, Jianqin Yin, Xiuyang Zhao, Shichang Feng. Motion-towards-each-other-Based Hand Gesture Initialization. Pattern Recognition,48(12): 4049-4056,2015.

4、Xu T, Zhang Z, Wang Y. Patch-wise skin segmentation of human body parts via deep neural networks, Journal of Electronic Imaging, 24(4): 043009, 2015.

5、Yin J, Yao H, Lin J, Feng et al. Coronal Mass Ejections detection using multiple features based ensemble learning, Neurocomputing, 244: 123-130, 2017.

6、Jun Dou, Dongmei Niu, Zhiquan Feng, Xiuyang Zhao. Robust non-rigid point set registration method based on asymmetric Gaussian and structural feature. IET Computer Vision 12(6): 806-816 ,2018.

7、Na Lv, Zifei Jiang, Yan Huang, Xiangxu Meng, Gopi M, Jingliang Peng*. Generic Content-Based Retrieval of Marker-Based Motion Capture Data, IEEE Transactions on Visualization and Computer Graphics, 24(6): 1969-1982, 2018.

8、FENG Zhi-quan, QIAO Yu, FENG Shi-chang, ZHOU Xiao-yan, XU Tao, YANG Xiao-hui, FAN Xue, BI Jian-ping. Research on Flexible Mapping Algorithm of Multi-gestures to One Semantic. Acta Electronica Sinica, 47(8): 1612-1617, 2019.

9、Md Rishad Ahmed, Yuan Zhang*, Zhiquan Feng, Benny Lo, Omer T. Inan and Hongen Liao*, Neuroimaging and Machine Learning for Dementia Diagnosis, IEEE Reviews in Biomedical Engineering, 12(1): 19-33, 2018.

10、Kren M, Kos A, Zhang Y, et al. Public interest analysis based on implicit feedback of IPTV users, IEEE Transactions on Industrial Informatics, 13(4): 2077-2086, 2017.

11、Zhang Z, Zhang Y, Yao L, et al. A sensor-based wrist pulse signal processing and lung cancer recognition, Journal of biomedical informatics, 79: 107-116, 2018.

12、Zhang J, Yang H, Song H, et al. An improved archaeology algorithm based on integrated multi-source biological information for yeast protein interaction network, IEEE Access, 5: 15893-15900, 2017.

13、Siddiqui S A, Zhang Y, Lloret J, et al. Pain-free blood glucose monitoring using wearable sensors: recent advancements and future prospects, IEEE reviews in biomedical engineering, 11: 21-35, 2018.

14、冯志全,杨学文,徐涛, et al.结合手势二进制编码和类-Hausdorff距离的手势识别,电子学报, 2017(09):228-238,2017.

15、冯志全，梁丽伟，徐治鹏,刘慧，刘弘.虚拟装配交互界面中的隐式交互算法研究.计算机辅助设计与图形学学报, 29(10): 1952-1962, 2017.

16、徐治鹏,冯志全,刘慧,梁丽伟,刘弘.面向智能电视的隐式手势交互建模与算法.计算机辅助设计与图形学学报, 29(2): 344-353, 2017.

17、杨学文,冯志全,黄忠柱,何娜娜.结合手势主方向和类-Hausdorff距离的手势识别.计算机辅助设计与图形学学报, 28(1): 76-81, 2016.

18、刘慧,冯志全,梁丽伟,徐治鹏.基于虚拟界面的自然交互模型与算法.浙江大学学报, 50(6): 1167-1175, 2016.

19、Zhiquan Feng, Tao Xu, Na Lv, Haokui Tang, Yan Jiang. Hand Gesture Tracking Algorithm Based on Visual Attention. Journal of Beijing Institute of Technology, 25 (4) :491-501, 2016.

20、Hui Liu, Zhiquan Feng, Liwei Liang, Zhipeng Xu. Virtual Interface and Its Application in Natural Interaction. Transactions On Edutainment, XII, LNCS 9292, 2016: 87-97, 2016.

21、Kaiyun Sun, Zhiquan Feng, Changsheng Ai et al. An Intelligent Discovery and Error Correction Algorithm for Misunderstanding Gesture Based on Probabilistic Statistics Model. International Journal of Performability Engineering, 14(1):89-100, 2018.

22、Cai Mengmeng, Feng Zhiquan, Luan Min. A Prediction Method of Gesture Trajectory Based on Least Squares Filtering Model. International Journal of VLSI design & Communication Systems (VLSICS), 8(1): 4-18, 2017.

23、HanRui, Feng Zhiquan. A Data Glove-Based KEM Dynamic Gesture Recognition Algorithm. International Journal of Performability Engineering (IJPE), 14(11): 2589-2600, 2018.

近五年代表性成果转化或应用

1、一种基于智能电视的非接触式虚拟人机交互方法（专利号：201510013947.0），冯志全，2015年，20万元

2、一种三维手势初始化方法（专利号：ZL2009100115471.9），冯志全，2016年，51万元