科技让我们在舒适的家里沉浸在一个充满视觉和声音的世界里,但缺少了一些东西:触摸。
触觉是人类感知现实的一个极其重要的部分。触觉或能够产生极其特殊振动的装置可以模拟触觉,这是将第三种感觉带到生活中的一种方式。然而,就触觉而言,人类对感觉是否正确非常挑剔,鈦燼nd虚拟纹理并不总是准确无误。
现在,南加州大学维特比工程学院(USC Viterbi School of Engineering)的研究人员已经开发出一种新的计算机方法来实现这种真实纹理鈥攚在人类的帮助下。
该框架被称为偏好驱动模型,它利用我们区分特定纹理细节的能力作为工具,以便对这些虚拟纹理进行调整。
这项研究发表在《IEEE触觉学报》上,由三名南加州大学维特比分校计算机科学博士生卢世汉、郑绵伦和马修·方丹,以及南加州大学维特比分校计算机科学助理教授斯特凡诺斯·尼古莱迪斯和南加州大学维特比分校计算机科学助理教授希瑟·卡尔伯特森共同完成。
“我们要求用户比较真实纹理和虚拟纹理之间的感觉,”第一作者Lu解释道。“然后,模型迭代更新虚拟纹理,以便最终虚拟纹理可以与真实纹理匹配。”
Fontaine表示,这一想法最早出现于2019年秋季,当时他们共享了由Culbertson教授的触觉界面和虚拟环境课程。他们从艺术应用程序Picbreeder中汲取灵感,Picbreeder可以根据用户的喜好反复生成图像,直到达到预期效果。
“我们想,如果我们可以对纹理这样做呢?”方丹回忆道。
使用这种偏好驱动的模型,用户首先得到一个真实纹理,该模型使用几十个变量随机生成三个虚拟纹理,然后用户可以从中选择感觉最接近真实事物的纹理。随着时间的推移,随着搜索越来越接近用户的喜好,搜索会调整这些变量的分布。Fontaine认为,这种方法比直接记录和“回放”纹理更有优势,因为计算机读取的内容与我们的感受之间总是存在差距。
方丹说:“你要测量的是他们的真实感受,而不仅仅是模仿我们所能记录的。”。在如何记录纹理以及如何回放纹理时会出现一些错误。“”
用户唯一要做的就是选择最匹配的纹理,并使用简单的滑块调整摩擦力的大小。摩擦对于我们如何感知纹理是至关重要的,人与人之间的感知可能会有所不同。陆说,这“很容易”。
他们的工作正好赶上新兴市场的具体、准确的虚拟纹理。从视频游戏到服装设计的一切都在整合触觉技术,通过这种用户偏好方法可以改进现有的虚拟纹理数据库。
“触觉设备在视频游戏、时装设计和手术模拟中越来越受欢迎,”Lu说。“即使在家里,我们也开始看到用户使用与笔记本电脑一样流行的(触觉)设备。例如,使用第一人称视频游戏,会让他们感觉自己真的在与环境交互。”
Lu之前在沉浸式技术方面做过其他工作,但有声音鈥攕具体来说,当工具与虚拟纹理交互时,通过引入匹配的声音,使虚拟纹理更具沉浸感。
“当我们通过工具与环境互动时,触觉反馈只是一种形式,一种感觉反馈,”卢说。“音频是另一种感官反馈,两者都非常重要。”
纹理搜索模型还允许用户从数据库中提取虚拟纹理,如宾夕法尼亚大学的触觉纹理工具包,并对其进行优化,直到得到想要的结果。
“你可以使用其他人搜索的以前的虚拟纹理,然后基于这些,你可以继续调整它,”鲁说。“你不必每次都从头开始搜索。”
Lu表示,这对于牙科或外科训练中使用的虚拟纹理尤其有用,因为虚拟纹理需要非常精确。
“外科训练绝对是一个巨大的领域,需要非常逼真的纹理和触觉反馈,”卢说。“时装设计还需要在开发过程中对纹理进行大量的精确处理,然后再进行制作。”
Lu解释说,未来,模型甚至可能不需要真实纹理。我们生活中某些事情的感觉是如此直观,以至于我们只需看一张照片,就可以对纹理进行微调以匹配记忆,而无需将真实纹理摆在面前作为参考。
“当我们看到一张桌子时,我们可以想象一旦我们触摸它,桌子会有什么感觉,”卢说。“利用我们对曲面的先验知识,您可以向用户提供视觉反馈,并允许他们选择匹配项。”