图形学发展趋势
计算机图形学是 ACM 协会中最大且最具活力的研究领域之一。
国际定义:数字孪生是充分利用物理模型、传感器更新、运行历史等数据,集成多学科、多物理量、多尺度、多概率的仿真过程,在虚拟空间中完成映射,从而反映相对应的实体装备的全生命周期过程。
通俗定义:针对现实世界中的实体对象,在数字化世界中构建完全一致的对应模型,通过数字化的手段对实体对象进行动态仿真、监测、分析和控制。
可视化
数字孪生:强调仿真、建模、分析和辅助决策,侧重的是物理世界对象在数据世界的重现、分析、决策。
可视化:对物理世界的真实复现和决策支持
仿真
仿真是将包含了确定性规律和完整机理的模型转化成软件的方式来模拟物理世界的一种技术,是实现数字孪生的诸多关键技术中的一部分
数字孪生体不仅仅是物理世界的镜像,也要接受物理世界实时信息,更要反过来实时驱动物理世界,而且进化为物理世界的先知、先觉甚至超体。
元宇宙
共同点:以数字技术为基础,再造高仿真的数字对象和事件,以进行可视化感知交互和运行,底层支撑技术可通用。
元宇宙:既可以现实物理世界为数字框架,也可以完全塑造全新的理念数字世界,终极形态是基于数字世界实现的原生社会,其中每个居民拥有唯一、独立的数字身份和数字感知体,可共同在线社交并继续社会建设,具有理念和想象特征——强调创造和体验
数字孪生是以信息世界严格、精确映射物理世界和事件过程为框架和基础,无论是工业制造,还是城市管理,基于实时客观数据的动态进程,与人工智能结合的挖掘分析和深度学习;并进一步模拟情境和决策,以改进现实或更好适应现实,最终实现自动控制或自主决策控制,终极形态是自主孪生——强调数据分析、进程推演、智能决策
发展所处阶段 发展历程:数字孪生在经历过概念发展、在航空航天大展身手并拓展到多个行业三个阶段后,随着2021年底Google、Nvidia、Amazon发布了重量级的数字孪生服务,标志着数字孪生已经达到生产力工具阶段。(数字孪生小报-2022年01月06期)
资本规模:2021年,中国共有15家数字孪生相关企业完成融资,总规模超10亿元,而此次统计仅限于智慧城市空间数据服务企业,未包含智慧医疗等专业领域,部分未公开金额则未估算。
政策支持:《“十四五”智能制造发展规划》中,“数字孪生”一共出现了7次,基本上每项重点任务都提到了数字孪生。特别是在智能场景、创新应用、标准研制等方面提出了对数字孪生方面的实际性要求。
未来预期:市场研究公司 Global Industry Analysts 报告:2020年数字孪生市场的价值为46亿美元,预计2026年将增至287亿美元。Garner 也连续三年将数字孪生列为未来十大战略趋势。
微软亚洲研究院首席研究员童欣曾经对计算机图形学的发展现状进行了定位,他的原话是:“图形学刚刚度过它的婴儿期,随着越来越多机器学习技术的使用、最新图形硬件的应用,还有云服务的出现,计算机图形学还在不断地扩展自己的内涵和外延,并将创造更多机会,它还有很长的探索之路。
计算机图形学的发展趋势是更炫酷的效果以及复杂的算法往移动端和网页端倾斜,同时有同人工智能相结合的趋势,并且应用的扩展更加贴近于生活的应用场景。
3D 计算机图形学的发展,对当前热门的电子游戏行业和VR、AR等行业都起到了至关重要的作用,而 Catmull 和 Hanrahan 在这一领域做出了开创性的技术贡献,这些贡献至今仍是 CGI 图像开发中不可或缺的一部分。此外,他们在 GPU 方面的见解不仅在计算机图形学方面具备影响力,同时也影响了数据中心管理和人工智能在内的多个领域。
图形学的应用方向
游戏引擎:最近随着人们越来越富裕,精神生活的要求也越来越高,中国游戏行业的发展也越来越快,对人才的需求自然也多了。物理引擎,图形引擎可以快速且真实的仿真场景发生的效果,常用的引擎有虚幻4,unity3D,一般游戏引擎招收人员需要了解且使用过这两个引擎,而且要求有一定的物理、数学及编程基础。
渲染:图形学基础,只要和图形相关就不会缺少渲染的岗位,游戏,VR, AR已经各种技术都需要用到渲染,渲染是难度较大,需要编程能力较高。
三维重建:常见的三维重建,比如建筑的3D重建,根据图纸重建房子,应用在无人驾驶中还有周围场景的3D重建,现在阿里等一些公司也有在做家装的AI设计。这也是一个稀缺岗位,搞算法需要机器学习的基础,也需要渲染出来,也要几何的碰撞检测,是不是万物需要渲染,渲染yyds.
CAD软件开发:在美丽国的技术封锁下,cad软件是国家大力支持的开发项目,问题在哪里呢,CAD之类的软件开发,国内还有顶级的外企Autodesk在招人,希望有家国情怀的同学还是支持一下国产cad的开发。
3D打印:当前3D打印主要的应用有金属打印,应用于金属件,航空航天,以及DLP打印技术,应用于齿科数字化,医疗,定制化鞋,其他打印技术还没有成规模应用起来。需要的技术主要是几何相关,以及对代码能力的要求。
图形学的发展趋势
通过接口概念,图形学改变了整个计算的方式,现在仍然在继续改变整个计算体系,所以我们也要站在更大规模的基础上去思考。图形学发现的计算新内容就像哥伦布发现新大陆一样,因此站在这个高度来看,未来的交互可能不只是图形上的面对面,更应该是从心灵出发的。
计算机图形学研究的人获得了图灵奖,但这其实也是在情理之中的,因为计算机图形学早已被广泛应用于很多方面,以至于大家忽略了它的存在,在近几年随着 VR 和 AR 的热潮正在被更多人重新认识和了解。我把人们的生活分为真实世界和想象世界,这两个世界对每个人其实同样重要。
纵观整个计算科学应用,大部分领域都是在解决真实世界的问题,只有计算机图形学是通过计算机技术来充分实现人类的各种想象,并为此创造出了一系列全新的艺术表达形式,例如电影中的特效、计算机三维动画长片,和三维计算机游戏等等。让想象中的美好成为现实,也许这就是他们值得成为图灵奖获得者的一个原因吧。
图形学的核心科学问题是在计算机中有效的表达和处理三维世界的各种属性。传统的图形学受物理学和数学启发,将三维对象分解为几何、表观、行为或者动态三种属性。其中几何描述三维对象的几何形状;表观描述三维对象的材料光照属性以及材料如何和光相互作用;行为则表达了一个三维对象的动态特性从而决定了对象的运动和其他物体的交互行为。
在这个基础上,针对不同对象特性和应用要求的不同,图形学研究中具体的三维对象又可以大致分为物体、人(包括类人的角色character)以及环境三部分。
针对这些三维对象的不同三维信息(几何、表观、行为),我们把图形学的研究方向和技术也可以大致分为三个大类:
一是获取和建模。主要研究如何有效地构建、编辑、处理不同的三维信息在计算机中的表达,以及如何从真实世界中有效地获取相应的三维信息。这既包括三维几何建模和几何处理这一研究方向,也包含材质和光照建模、人体建模、动作捕捉这些研究课题。
二是理解和认知。主要研究如何识别、分析并抽取三维信息中对应的语义和结构信息。这个方向有很多图形学和计算机视觉共同感兴趣的研究课题,如三维物体识别、检索、场景识别、分割以及人体姿态识别跟踪、人脸表情识别跟踪等。
三是模拟和交互。主要研究如何处理和模拟不同三维对象之间的相互作用和交互过程。这既包含流体模拟和物理仿真,也包含绘制、人体动画、人脸动画等方面的研究。未来,硬件的发展和革新,会不断促进了新的图形技术和应用产生和迭代发展。
在这个过程中,图形学也在不断地结合计算机视觉、光学、信号处理与机器学习等学科的最新研究成果,来解决图形学中的研究问题。随着硬件设备的发展和普及,以及计算机视觉和机器学习技术的进步,图形学的应用场景将得到更大的扩展。
面向真实世界,机器人和三维打印将成为新的应用场景。面向虚拟世界、虚拟现实,混合可视媒体将成为新兴的应用场景,带给人们更好的娱乐体验,释放人类的想象力。在真实世界和虚拟世界之间,增强现实将虚拟信息融合进真实世界,并增强人类在真实世界的体验;数字化孪生则产生真实世界在虚拟世界的镜像,方便我们更好地管理规划真实世界。下面是图形学可能的应用场景,和它们对相关图形学技术的需求。
机器人 随着机械硬件,传感器设备以及人工智能技术的进步,多用途的机器人将逐渐被应用到不同的真实世界场景中,自动化或半自动化地帮助人类完成各种任务。
自动驾驶可以被认为是这一场景中一个应用。机器人为了在不断变化的三维场景中完成给定任务,不仅需要实时重建不断变化的三维场景的几何,还需要识别真实场景中的物体的类别和物理特性,从而预测物体的运动并决定自己的运动。
同时,机器人自身也需要实时的动态模拟技术来准确地规划和预测自己的运动,和环境中物体进行交互,从而最终完成任务。三维打印 三维打印硬件的发展使得生产复杂几何形状和不同几何形状的成本显著下降。和传统的减材制造不同,三维打印可以精确地控制三维形体中每个体素的材质构成,从而可以产生更为丰富的设计和功能。
为了支持三维打印,图形学技术需要将设计与物理模拟更好地结合在一起,提供一体化的端到端解决方案。通过高效的计算模拟和逆向优化,帮助设计师和制造者快速地设计产品的三维形状和内部材质分布,从而达到所需要的功能。
虚拟现实 虚拟现实技术作为一类新的媒体,提供了全新的沉浸式体验,在教育、游戏等方面具有重要的应用。为了达到更好的虚拟现实体验,我们不仅需要图形学渲染技术的进步,也需要更好的物理模拟技术和交互技术,提供视觉外其他物理特性,如触觉和听觉的建模和实时渲染。
更为根本的是,如何更加快速地生成高质量的三维虚拟内容,以及如何在虚拟环境中和不同的虚拟内容进行有效的交互,是虚拟现实应用得以成功和普及的关键。增强现实 增强现实和混合现实系统通过将虚拟三维内容叠加在真实场景中,从而实现了虚拟信息和真实世界的融合,提高了人们在真实世界的工作效率,提供了个性化的环境和更好的生活体验。
某种程度上,可以将增强现实理解为新一代的精确GPS定位系统。它可以提供在场景中的实时精确三维定位和实时的三维地图构建服务。为了实现这一目标,三维场景的实时捕捉建模(包括几何、表观、物理特性和行为),分析和理解将成为这一应用场景背后的核心技术。
数字化孪生 和增强现实将虚拟信息叠加在真实世界相反,数字化孪生尝试建立真实世界在计算机中的虚拟镜像,并实时地记录预测真实世界的所有变化。结合IoT和传感器技术的发展,数字化孪生技术将提供真实环境的完整数字化,从而实现对真实世界的高效信息分析和控制。
同时,数字化孪生为将为机器学习技术提供更多的数据和训练环境。为实现这一目标,我们需要研究更加有效的三维建模和捕捉技术,以及实时的物理模拟技术。