嘉宾演讲>

Prof. Hong Z. Tan

美国普渡大学人机交互中心

在座的老师、学生大家上午好!

首先谢谢刘嘉教授让我来体验UX的盛会,我是一个外行,我来展现外行对UX的看法。我只懂触觉反馈,所以用触觉反馈来讲UX。

大概介绍一下我的背景,这是我考虑问题的思路。

我在MIT读的ECS,后来在普渡大学任教,在普渡做了快20年,做教授。2011年到2015年,最近这四年,我在北京微软研究院专攻触觉研发,想看看怎么把研究变成产品,去年我回到普渡,根据我在微软学到的一些东西,我自己开了一个公司,我有一些研究的背景,也做过研发,自己想创业做一些实用的东西,我就想从这三个来跟大家分享一下我现在是怎么样考虑触觉在UX这一方面的一些内容。

讲四点:

第一,触觉在哪个领域应用会比较成功,为什么?

第二,大家比较熟悉触觉是用来震动,我想给大家概括一下,除了震动之外,触觉还能做什么。

第三,光是触觉反馈不够。

第四,触觉不能单单存在,一定要和视觉、听觉在一起非常吻合的场景,给用户带来好的体验。

为什么我看好可穿戴和虚拟现实设备,我认为触觉在这方面有希望。

我在微软做了四年,我主要做触摸屏的触觉返回,我经常跟人家说,你需要触觉返回,为什么?你一直在摸触摸屏,你的手感受不到触摸屏给你什么信息,我来做这个产品。但是大家一般反馈为什么?我现在用这个平板用得挺好的。所谓中国人就会说画蛇添足,我现在搞得不错,你还要加个东西过来,加了多了多的技术,满足什么要求。后来我就想了很久,当你在很成熟的用户体验里,你硬要把触觉加上去不太容易,他已经设计得蛮好,有的眼镜设计得蛮好,不需要触觉返回,你硬要加上去,显不出你为什么要这样做。

AR、VR还是比较新的领域,VR最近有Oculus还有索尼的一些头显,但是他们还处在比较初期的时候。我们在初期的时候把触觉的互动做到这里面去,如果一旦我把它去掉,我怎么摸不到东西了,以前是听得到、看得到、触摸得到,以前黑白电影,没有声音,后来有了声音,再后来有了彩色。趁着这个领域,AR、VR比较新的时候把触觉交互做上去。你看用户想伸手摸三维里的东西,手摸不到什么东西,要做一个手势才能够使心脏会转一下或者什么,好像手是伸出去,其实没有实现跟手的互动。我现在想用什么样的方式,在三维虚拟世界里面,马上跟虚拟物体互动,这是蛮看好的,谁想好第一个成功的场景,谁就会第一个成功。

现在做打球训练,你手接到但是没有手感,这是不是触觉反馈使这个打球训练会比较逼真。还有其他的东西,从可穿戴,我们从2000年开始做穿戴的背心,这是我的学生模拟太空舱,在失重的时候,人不知道重力在哪里?开飞机不看仪器,他 以往他在往上升,其实飞机往下开会撞了出事故。我们想通过背心来提示重力方向在哪里,哪里上哪里是下很简单的信息,帮助他来识别上下。我们做了很多的实验,中间有很多问题需要解决。现在这个东西都是穿在人身上,我们考虑驾驶员,驾驶员有安全带,不会穿更多的东西,把仪器做在椅子安全带里,这样会方便一些。还有不同的身体部位,哪个部位做触觉反馈或者交互比较好,这都需要去探索。

比方说我要模拟打高尔夫球,我做一个棒,用这个棒打一个虚拟的球,打到虚拟球就会有得分,我做一个棒球,棒球是需要用手套去接触手,这方面要考虑一下。

触觉返回还可以做很多的东西,比方说做过一个椅子,这个椅子上面3456789,每个都是震动点,你坐上去以后通过震动提示你,我可以产生比较好玩的信号,信号上写的888555222什么意思?我往北震动三次,8会震动三次,5会震动三次,2会震动三次,会感觉有东西在你身上爬,你会有一个质感,好像有一个信号在往上走,或者666555444,从右面滑到左面。不同的部分给用户一个很好的方向感这也是一种做法。

还有逆反馈,我这个幻灯片从下往上看,从小的仪器戴在手上,从右到左感觉是越来越好。我解释一下这个图,上面画四个手,红的地方是需要吸收返回力,大的仪器在桌面上实现返回力,这个不可能戴在身上,可穿戴是不可实现。第二排,把仪器移到手腕上,这个怎么工作呢?我握着一个虚拟球,我握住球,马达把你手往上拽,让你不能往下拽。这些产品现在还在实验室,我想将来会实现,虚拟世界里面有很多好玩的事情。

大家看这个图,是我的同事,他手里握着白色的东西,大家看有几个长的黑色的东西它也是马达,黑色的东西在手上可以上下移动,手握的时候会产生拉力,比方说你是虚拟键你要砍那个虚拟小人,砍到的时候虚拟会卡住,卡住的时候,那个黑的马达发动以后,就会产生很直觉的感觉。我要力返回,不是真正力返回,完全靠模拟。

我拿着的这个仪器跟上面桔红色是一样的仪器,玩虚拟射箭,一拉的时候,就觉得有点紧,感觉真的像射箭。

那个头戴上的头显,有手套,衣服里温度的反馈、触觉的反馈,人在空中可以跑也可以走,也可以在虚拟世界里面玩,技术上要实现还需要一段时间,这些都是可以探索的一些方向。

第三个我想讲的关于Touch for interaction,大家讲到触觉,触觉比较好,我收到一个震动,只有我知道你不知道,用户交互比较好。但是这个场景都没有设计好,比方说我现在做报告,我要看时间才知道怎么样,这是很简单一件事情,我完全可以做一个交互的东西让我知道时间,你们不用指导我确认时间,我这里震动以后觉得时间差不多了,看还有几分钟,我就一看,大家知道我在确认。

我们在微软的时候做了一款,用静电摩擦力反馈的原理,把玻璃做成摩擦力由我控制,我做报告想知道现在几点了,我手上摸一下,我摸一下就会告诉我还剩多少时间,我大概知道进程怎么样。我的手放在表面上就可以得到信息。各位在座的嘉宾,也有业界的,为什么很简单的东西没有人做产品,我自己也在探索,通过我的创业公司,这种东西是不是比较好,给上课的老师做报告的人、开会的时候,大家就可以把时间控制比较好。

现在不只是返回的触觉视觉还是听觉,而是想整个的interaction怎么运作更好一点。

我刚刚做教授的时候,我有一个想法:我要知道人通过触觉能做什么事情?后来我慢慢感觉到其实在生活当中触觉能够起一个很重要的作用,但是它往往是辅助视觉和听觉来完成一件事情。我好几次做触觉演示,单纯触觉反馈研究并不能真正了解触觉能做什么,但是配上视觉,你就知道你在做什么,摸什么东西。

听觉也是很重要的,我想给大家一个例子,体觉有多重要?你在摸到一个东西的时候,要跟听觉结合起来。这是法国一个工程师设计,他们也有一个创业公司,买了这个仪器。我第一次去试,你把手放在黑的小的键盘上来回动,你感觉到什么东西,我感觉有很多摩擦力好像还有一点阻力,我也不知道我在摸什么东西,然后他笑笑,你再试试那一款,上面有一环,你手上放在上面来回动动,他把音响打开了,我就知道,我在拉大提琴,你听拉大提琴的声音,现在就是触觉和听觉融合在一起很好的体验,把声音和触觉很好吻合在一起。我现在就会把触觉、视觉、听觉融合在一起,提升用户体验。

最后这张照片,大家听过我演讲的同学和老师都看到这样的照片,我想用这张照片说明,人的触觉其实可以处理很多的信息,有的人说你研究触觉有什么好研究的?现在没有触觉反馈,触觉和眼睛、耳朵不能比,信息量很低,没必要浪费时间研究这些东西。我经常用这张图片反馈他:我的导师是正常听得见看得见,左右两边的人,他们既看不到也听不见,他们之间怎么交谈?他们交谈的方式是把手放到说话人的脸上,用手来感受语言,手放在脸上的时候,他的大拇指可以感受到你的嘴张得多大,嘴里的气流是急的还是缓缓的,这三个手指感觉你肌肉是比较紧还是比较松,比方说我说1的时候,我的肌肉会比较紧,我说A的时候肌肉会比较放松,这是信息。小指靠近脸颊就知道你发声还是没有发声,把手放在脸上就知道你在说什么。我碰到第一个先生的时候,他把手放在我脸上,他能听懂,并且知道我是外国人,因为我说话有口音,他能靠手来传送到很多信息。我让大家记得这个数字,12bit/ses,我们做了很多实验,交互的时候有这么多信息量,我就想用这张幻灯片结束我的报告,单单一个人的一个手就可以处理那么多的信息,然而语言是很复杂的,今天的我们还处于非常非常初级的阶段,不知道怎么样跟触觉去接口,怎么样创造更好的仪器把信息通过触觉传送到人的感官。所以有很多工作需要做,我希望在座的同学和同行有兴趣大家也合作,让我们一起把这方面触觉在AR和VR的应用开发下去,谢谢!