AI绘画的“小秘密”都在这一篇文章里******
有了AI,人人都可以是艺术家。AI绘画的出现,恰如瑞士艺术家保罗·克利所言:“艺术不是再现可见,而是使不可见成为可见。”经过20年左右的发展,目前基于不同类型或者模态元素的AI绘画发展情况不尽相同,发展最久的是“以图生图”,再到近期火爆的“文+图”生图。当然,也有团队已经研发出由语音生成图像的技术。
上传一张图片,或者输入一些简单的关键词,系统就能自动生成一张卡通图像……最近一段时间,AI绘画开始在互联网社交平台走红。
AI绘画,顾名思义就是利用人工智能进行绘画,是人工智能生成内容的典型应用场景之一。其主要原理是收集大量已有作品,通过算法对其内容和风格特征进行解析,最后再生成新的作品,所以算法是AI绘画的核心。
当前,“凭空”生成图像的AI绘画,其实也会动辄“翻车”:也许上一秒AI通过你的照片绘出的是一张充满艺术感的二次元画像,下一秒你的宠物猫、狗则可能被画成可爱少女或肌肉猛男。
事实上,AI绘画早已火爆全球。第一张公开展出的、由人工智能创作的绘画作品《埃德蒙·贝拉米的肖像》曾于2018年在佳士得拍卖行以43.25万美元成交,那是一张由机器学习了从14世纪到20世纪的1.5万张肖像画之后自动生成的一张肖像画作品。
AI绘画是如何实现“凭空”生图的?除了娱乐外,AI绘画还有哪些潜在的应用前景?
从“以图生图”到“语音生图”
2022年,由人工智能创作的《太空歌剧院》一度火出圈。在美国科罗拉多州举办的新兴数字艺术家竞赛中,《太空歌剧院》获得“数字艺术/数字修饰照片”类别一等奖。它的构图、配色以及画面的细节堪称精致。然而,这个作品的创作者不是艺术家,而是来自美国科罗拉多州的游戏设计师。
这位游戏设计师在一个名为“Midjourney”的AI创作工具里,先输入几个关键词,如光源、构图、氛围等,得到了100幅作品,再进行约80小时的修图修饰,最终选出3幅作品,最后把图像打印到画布上。
通过简单交互式对话在短时间内生成的“艺术”作品,让人类艺术家展开了一场关于“AI绘画作品参赛是否属于作弊”的争论。这场声势浩大的争论也令大众直观地意识到如今的AI绘画水平已经发展到了何种程度。
“人工智能在艺术方面的创作最早可以追溯到上个世纪末,当时的人工智能绘画技术叫作‘图像的风格化滤镜’。”中国科学院自动化研究所多模态人工智能系统全国重点实验室研究员董未名说,最初的AI绘画方法比较简单,比如一张普通的照片,通过一些图像处理的算法,把照片像素进行几何或者色彩上的变换,然后再调节不同参数,就可以模拟出类似油画或者水彩画的风格。
经过20年左右的发展,目前基于不同类型或者模态元素的AI绘画发展情况不尽相同,发展最久的是“以图生图”,再到近期火爆的“文+图”生图。当然,也有团队已经研发出由语音生成图像的技术。
AI绘画主要依靠三种技术模式实现
董未名介绍,目前AI绘画主要借助图像风格迁移技术、图文预训练模型和扩散模型实现。
“图像风格迁移技术指的是图像处理算法通过对输入的真实图像内容特征和对参考的艺术图像风格特征的提取,实现真实图像内容特征和艺术图像风格特征的融合,从而生成新的艺术图像。”董未名举例,如果将美国旧金山艺术宫的外景照片和印象派创始人莫奈绘制的作品,通过图像风格迁移技术进行融合,就能得到一张看起来像是由莫奈绘制的美国旧金山艺术宫的绘画作品。最初的AI绘画采用的正是这种技术。
不过,在董未名看来,图像风格迁移技术大多依赖的是生成式对抗网络(GAN)算法,它最大的问题是生成的绘画作品艺术性不强,笔触和构图让人觉得与真实的绘画有差距,所以长久以来,AI绘画一直“籍籍无名”。
当图像风格迁移技术还在挣扎于输出作品的审美问题时,图文预训练模型的出现,加速了AI绘画的崛起。
“依托图文预训练模型,只要输入一句话或者上传一幅风格明显的图片,算法就能将图像特征和文字特征‘对齐’。生成的绘画作品的内容特征和上传图片的内容相似,艺术性也比图像风格迁移技术生成的图片强很多。”董未名举例,比如支撑图文预训练模型的可对比语言—图像预训练(CLIP)算法,就是利用图文特征“对齐”的能力,再结合已有的生成模型,实现“以图生图”或者“图+文”生图。
不过,董未名坦言,图文预训练模型的推广也存在一些争议,有部分人认为,该模型在训练前期,需要用大量的图形处理器(GPU)进行数据训练,耗电量大、成本很高,而该模型的应用场景却不够清晰。但也有人认为,也许该模型未来可以打造为通用的人工智能模型,用它完成更多的算法作业,只是这还需要时间的验证。
诚然没有一项技术是完美的,这也为人类探究更先进的技术提供了无限动力。当下最流行的扩散模型便是其中之一。
“目前最新的AI绘画技术采用的就是扩散模型,这种模型可以把一个随机采样的噪声输入模型,然后尝试通过去噪来生成图像。”董未名表示,扩散模型也存在弱点,由于模型对图片内容识别的能力不足,或者难以完全理解识别文字的意义,以及训练数据的偏差,有时便会生成“四不像”的作品。此外,扩散模型生成图片的速度比较慢,目前还达不到实时生成图片。
互联网治理、元宇宙或潜藏应用前景
AI绘画目前的应用场景,更多聚焦于社交软件。近期在国内社交网络“火出天际”的AI绘画软件主要集中在小程序及App。随着AI绘画小程序的火爆,短视频平台抖音也迅速上线了AI绘画特效。同时,此前腾讯上线了“QQ小世界AI画匠”活动,百度也推出了首款AI艺术和创意辅助平台“文心一格”。
有了AI,人人都可以是艺术家。AI绘画的出现,恰如瑞士艺术家保罗·克利所言:“艺术不是再现可见,而是使不可见成为可见。”“AI现在已经完美实现了这一目标,人们可以通过机器计算来绘制出很多现实中见不到的场景。”董未名畅想,不远的将来,AI绘画或许还将展现更丰富的应用场景。
“现在网络上充斥着很多不良内容,这些内容为了逃避监管经常以绘画的形式出现,而当前很多内容识别模型对真实图片识别得很准确,但缺乏不良内容艺术作品的相关训练数据,所以对不良内容识别不准确。也许可以用AI绘画技术,积累不良内容艺术作品的数据,并用以训练识别模型,以提升互联网内容的安全监管能力和识别的准确率。”董未名建议。
在董未名看来,作为一种艺术呈现形式,AI绘画也将在元宇宙、设计、文旅等行业催生新的商业模式。例如AI绘画目前在AI辅助创作、短视频、影视制作和元宇宙等方面都有布局,因为这些赛道都离不开创意,AI绘画可以帮助创作者通过简单的特征输入,实现对其创意的预览,甚至可以直接进行创作。
不过,董未名并不讳言,当下AI绘画仍然存在版权争议问题。AI绘画的核心是模型,而训练模型需要使用大量图像、文本数据。对于未经授权的图片,经过运算之后所生成的图像版权归属尚难界定。“有的画家风格特别明显,如果用画家的画去训练算法模型生成作品,那最后的版权属于谁呢?”董未名提出的问题,正是多数AI绘画作品所面临的现实问题。
AI绘画掀起了一场资本的群体狂欢,希望有一天它能走出“照猫画虎”的尴尬,真正服务艺术创作、创造更多价值。(科技日报记者 金凤)
隐匿意识:苏醒的征兆?******
隐匿意识:苏醒的征兆?
撰文 扬·克拉森(Jan Claassen) 布赖恩·L.埃德洛(Brian L.Edlow) 翻译 臧迪
昏迷病人无法对外界刺激做出反应,看上去早已失去了意识。但科学家发现他们大脑深处潜藏着隐匿的意识,这很可能是他们能否苏醒甚至康复的关键。
1.神秘的昏迷
一个医疗小组围在玛丽亚·马祖尔克维奇(Maria Mazurkevich)的病床四周,所有的目光都聚焦在她身上——而她却什么都没做。7月里炎热的一天,30岁的马祖尔克维奇被哥伦比亚大学纽约长老会医院收治入院。在入院前数日,她在家中突然丧失了意识。起因是大脑血管破裂,出血区域对她大脑的关键区域造成巨大压迫。彼时,医院神经重症监护室的医护小组正在寻找能表明马祖尔克维奇可以听到他们的任何迹象。她当时还需要机械呼吸机辅助呼吸,生命体征平稳,但没表现出任何具备意识的迹象。
马祖尔克维奇的父母也在她的病床边问道:“我们能和女儿说话吗?她听到我们说话了吗?”但她好像什么都不知道。在两位作者中,克拉森医生是马祖尔克维奇医疗小组的成员。当他要求马祖尔克维奇睁开眼睛、举起两根手指或者动动脚趾时,她一动不动。她的双眼也不会跟随视觉线索移动。然而,她的亲人仍认定她还“在那里”。
马祖尔克维奇确实“在”。医疗小组给她做了脑电图(EEG)——通过在头部放置传感器来监测大脑的电活动,同时要求她“持续开合右手”,然后“停止开合右手”。尽管马祖尔克维奇的手没有任何动作,但在两种命令下,她的大脑活动模式表现出了差异。大脑的反应清楚地表明,她察觉到了这些指令,并发现这两种指令是不同的。此后大约过了一周,她的身体开始跟上大脑的步伐。伴随着细微的反应,马祖尔克维奇开始渐渐苏醒过来。不到一年,她几乎完全康复了,身体和认知能力都没有出现重大缺陷。现在,她已经成为一名药剂师。
2.隐匿的意识
马祖尔克维奇的经历展示了“隐匿意识”(covert consciousness)的存在:一种大脑能在一定程度上表现出理解外部世界、身体却没有反应的状态。当医生使用先进的脑成像方法或复杂的脑电活动监测技术,对表现为昏迷或其他无反应状态的病人进行评估时,高达15%~20%的病人能表现出具备隐匿意识的迹象。但多数能探测到隐匿意识的技术和方法,直到近期才得到完善。
这些方法正在改变我们对昏迷和其他意识障碍疾病的理解。而我们在哥伦比亚大学的研究也表明,对于早期就发现拥有隐匿意识的病人,最终能完全恢复意识和认知功能的可能性更高。如果是在几十年前,这些发现可能会让绝大多数神经科医生和神经科学家大吃一惊。由此可见,识别这种隐藏的意识状态,以及研发如何与处在这种状态的病人交流的方法极为重要。
昏迷病人的标准定义为无意识、无法被唤醒、没有任何知觉或与外界环境互动的迹象。与处于深度睡眠中的人相比,由严重脑损伤导致昏迷的病人可能看起来并没有差别,只是大多数昏迷的病人不能自主呼吸,需要依靠呼吸机和人工气道的辅助。
一些人认为陷入昏迷很容易恢复,或者反之,认为昏迷后,人就进入了一种“活死人”状态——这两种极端的认知都是错误的。对于这种现象,电影、小说等作品对于昏迷的通俗描述或许应该承担一部分责任。例如,在电影《杀死比尔》中,乌玛·瑟曼饰演的新娘突然从长期昏迷中醒来,在没有任何喂养管辅助进食的情况下,她看起来营养充足、状态良好,在数小时内就完全恢复了体力。然而,现实远比电影情节更具挑战性,昏迷病人漫长的康复之路,总是伴随着各种频发的医疗并发症、身体机能退化等问题。他们恢复的进程在缓慢地小步前进,但也不得不走上许多回头路。严重脑损伤后昏迷的病人通常需要留置胃管以获取营养,接受气管切开术以通过颈部的人工气道呼吸,而后还要经历数周至数月的康复阶段。但身体恢复的过程总是多变且不可预测,即使对于像马祖尔克维奇一样最终恢复生活自理能力的人来说,也是如此。另一方面,对昏迷病人过于悲观的看法也是不准确的,人们可能会认为所有这类病人都注定无法从昏迷中苏醒,直到最终离世,或者他们即使活下来也会伴有严重残疾。但对于一些病人而言,即便经历了长时间昏迷,他们仍有可能恢复意识、沟通能力甚至生活自理能力。
随着时间的推移,医学界对昏迷和意识的看法已经发生改变。在20世纪60年代,神经内科和神经外科医生注意到,一些昏迷的病人睁开了眼睛,但没有表现出与周围环境的交互。许多此类病人一直保持这种状态直至离世,这使得一些临床医生认为,一旦以这种方式失去意识,就不可能再恢复。
然而,在20世纪90年代,关于“永久性”植物状态的病人恢复意识的报道开始出现在医学文献中。不同于昏迷,在植物状态下的病人可以睁闭双眼,但他们仍然无法做出自主反应。这些报道推动神经重症监护和康复医学领域发展出了更精细的分类,比如微意识状态。这一状态的特征是具备非言语反应,比如用眼睛追踪物体,或间歇性遵从指令。医生发现,病人的预后与所处的这些状态有关。例如,从植物状态转变为微意识状态的病人进一步康复的可能性更大。
在重症监护室,能及早发现并预测意识恢复往往是生死攸关的问题。因为通常家属需要在病人受伤后的10~14天内决定继续还是停止生命维持治疗——此时外科手术是支持长期辅助呼吸和临床营养的必要治疗方法。此外,对于隐匿意识的诊断还可能会影响照护目标、疼痛管理、临床医生和家属的床旁诊疗操作和护理行为、抑郁和焦虑管理等相关的临床决策。
3.理解和诊断
那么对于临床医生和病人家属,要如何理解隐匿意识呢?我们可以从闭锁综合征的视角来了解一些概念。闭锁综合征的病人可能保留了正常或接近正常的认知,但无法支配身体执行大多数运动动作。这一病症说明了仅基于运动功能去判断意识、思维能力和情绪表现的局限性。1966年,神经病学家弗雷德·普拉姆和杰罗姆·波斯纳在他们的专著《昏迷和木僵的诊断》(The Diagnosis of Stupor and Coma)中创造了术语“闭锁”。他们将大仲马的经典作品《基督山伯爵》中的诺瓦蒂埃·德·维尔福描述为“一具有着灵动双眸的尸体”。在临床实践中,闭锁综合征的病人通常无法移动他们的四肢,但许多人可以稳定地控制他们的眼球上下移动,从而响应口头指令。一些病人也能眨眼或者做出其他细微的面部运动。
以闭锁状态生活的体验,被《ELLE》杂志的编辑让-多米尼克·博比生动地描绘了出来。1995年,让-多米尼克·博比突发中风,中风阻断了从大脑运动皮层到脊髓和四肢的信号传递,也导致他失去了说话和移动四肢的能力。此后,他开始用眼球的移动来与他的语言治疗师交流,并撰写了一本回忆录——《潜水钟与蝴蝶》(于1997年出版)。这本书捕捉到了闭锁综合征病人可能会经历的恐惧、挫折和希望。值得一提的是,一些处于闭锁综合征状态的病人曾述说自己的生活很有意义。
而隐匿意识状态的病人完全丧失了外在的运动反应,远甚于闭锁综合征的病人。但这并不意味着他们也丧失了内心世界。2006年,美国西安大略大学的神经科学家阿德里安·M.欧文和同事检测了一名有严重创伤性脑损伤的年轻女性,该病人拟诊为植物状态。医疗团队使用功能性磁共振成像(fMRI)扫描对她进行了评估,该技术是通过追踪大脑中的血液动力反应来显示脑中的激活区域。在扫描过程中,临床医生要求她想象自己正在打网球或正走过自己的房间。令欧文和同事惊讶的是,这位女士的大脑活跃程度与健康志愿者相当。而对比网球任务与步行任务,她的大脑活动模式也表现出两种不同的状态,这表明她可以有意识地改变自己的大脑活动模式。
此后,临床医生在世界各地的病人中发现并确认了隐匿意识的存在,而这些病人有着不同类型的脑损伤。2017年,麻省总医院重症监护室接收了一批严重脑损伤病人,他们看起来对外界毫无知觉,但临床医生却在他们身上同样发现了隐匿意识。这表明隐匿意识不仅会发生在病人昏迷数周之后,也可能发生在近期受伤的急性期病人身上。为了诊断隐匿意识状态,临床医生使用不同的行为任务,比如要求病人开合双手,或者想象自己正在游泳,同时他们借助脑电图或功能性磁共振成像记录病人在执行这些任务时的脑响应。尽管使用的方法有所不同,但世界各地的多个研究小组已经能再现这些脑响应。具有隐匿意识的病人在被要求移动身体部位或想象做某项活动时,可以有意地改变他们的大脑模式。但从表象上看,他们的身体并没有表现出任何试图完成指示运动的迹象。
然而,我们对这种认知功能超过运动表达的状态仍然知之甚少,而脑电图和功能性磁共振成像技术也都有局限性。这些方法可能无法在一些后来恢复意识的病人中检测到有意的大脑活动。同时,这两种技术还可能受到镇静药物的干扰,而镇静药物是保障大多数危重病人安全或舒适的前提。此外,功能性磁共振成像通常需要一个专门的机房。这意味着,想要做磁共振扫描,就需要将身体状况不稳定的病人从重症监护病房转移到机房中,这一过程很可能会置他们于危险之中。还有一个问题是,磁共振成像的重复测量过程并不容易,因此它只能提供短时间内病人意识水平的快照。脑电图的设备倒是可以经常放在病床旁进行检测,它能在不同的时间内捕捉意识水平的快照——但是这种方法也有不足。重症监护室里其他医疗设备产生的电子噪声会影响脑电图读取到的信号,导致测试反映的是伪迹而不是真实脑活动。
尽管这两种方法仍然需要改进,但已有充分的证据表明它们可以用来诊断隐匿意识,它们也已经在美国(2018年)和欧洲(2020年)的临床指南中得到认可。如我们研究小组在2019年发表的工作所展示的(2022年也再度证实),如果能在病人脑损伤后的早期探测到隐匿意识的存在,就可以预测病人在随后也能出现意识恢复的表现。预测还可以具体到行为的恢复、长期功能的恢复以及恢复的速度。而在此类研究突飞猛进的基础上,一群科学家于2019年共同发起了“昏迷治愈行动”。这是一个由神经重症监护学会牵头的国际合作项目,旨在引导医疗资源和公众关注这一疾病,达成研发促进意识恢复新疗法的目标。
神经病学家正尝试开发一种测试手段,用来判断哪些病人可能处于隐匿意识状态,从而为选出的病人做进一步的脑电图和功能性磁共振检测。虽然世界各地的实验室正在努力开发这种筛查方法,但进展缓慢。这是因为隐匿意识出现的结构和功能性机制尚不明确,临床医生无法明确具体需要寻找些什么。最近的研究表明,脑损伤切断了丘脑——一个在身体和大脑之间传递运动信号和感觉信息的区域——与负责高级认知功能的大脑皮层之间的联系,这可能是造成这种情况的原因。然而,导致病人运动功能障碍、同时却具有隐匿意识的,可能并非单一类型的损伤,而是多部位出现的多种损伤的组合。严重脑损伤病人的意识水平会经常波动,也使得检测隐匿意识的临床工作进一步复杂化。这种意识水平的波动意味着单次评估可能会遗漏重要的信号,因此病人可能需要接受多次测试。
4.与昏迷者沟通
基于最近有关隐匿意识的发现,研究人员正试图借助脑机接口设备与这些病人重新建立联系并进行沟通。当医生要求病人在电脑屏幕上移动鼠标光标时,这些设备可以记录病人大脑的电活动。通过“训练”,计算机将“学习”识别病人试图向左、向右、向上或向下移动光标时脑中产生的生理信号。一旦训练完成,脑机接口设备就可以通过识别大脑模式来帮助病人用意念控制光标。这些病人甚至可以用这种方法来选择字母,实现拼写出单词。
显然,脑机接口设备将是隐匿意识病人与外部世界沟通的理想途径。但若想使用这种技术,还需要克服巨大的挑战,特别是对那些急性脑损伤病人而言。这些病人的持续注意能力可能已受到损伤,因此长时程的脑机接口训练通常不太可行。此外,重症监护室繁忙嘈杂的环境也不是进行脑机接口训练的理想场地。回到本文开篇描述的案例,尽管马祖尔克维奇具有隐匿意识,而且她最终恢复情况极好,但她在当时也没能激活脑机接口,实现与医疗团队或家人的沟通。
事实上,隐匿意识病人与外界的沟通也可以通过功能性磁共振成像技术实现。几年前,美国加利福尼亚大学洛杉矶分校的认知心理学家马丁·蒙蒂曾研究过一组无行为反应的病人,他尝试用磁共振成像法判断他们是否具备隐匿意识。蒙蒂想探究的是,通过识别不同的功能性磁共振激活模式,判断病人是不是可以准确地回答出“是”或“否”。这项工作需要实时地分析成像数据,因此需要协调大量不同种类的技术。参考欧文在2006年的研究,蒙蒂也让病人想象自己正在打网球或者正走过自己的公寓。不同之处在于,蒙蒂并非单纯地寻找大脑活动的信号,他更想知道病人对问题的理解能力是否好到可以做出准确的应答。他告诉病人,如果一个问题的答案为“是”,那么就想象自己正在打网球;如果答案为“否”,那么就想象正走过自己的家。最终,蒙蒂在研究对象中识别出一位能使用这种方案进行稳定交流的病人——他创建了一种大脑活动模式用于回答“是”,另一种模式用于回答“否”。尽管对于这一方案能否扩展到更广泛的应用还存在疑问,但他的研究表明,与处于隐匿意识状态的病人进行沟通是可能的。
若想进一步改善与隐匿意识病人的沟通,需要在床旁使用可靠的工具来识别他们。目前,许多研究团队正在开发更先进的沟通技术,比如脑电图技术,因为它更容易纳入重症监护室的临床常规中。而在使用脑机接口设备时,也可以结合大脑活动信号之外的生物信号,比如心率,这样就可以通过算法解码病人控制计算机的意图,提高识别的准确性。
对隐匿意识的诊断和探索,除了能解决救护危重病人这一紧迫的问题外,还具有探索人类心智的潜力。意识是我们之所以为人这种体验的根本,但在隐匿意识状态下,意识与行为却是分离的。那么隐匿意识病人的内在精神生活是什么呢?可以说,对隐匿意识的检测从根本上影响了我们对个体人格和自主性的抽象理解。目前,我们还无法通过脑机接口与隐匿意识病人进行深入交流。而迄今为止,那些恢复了沟通能力的隐匿意识病人在之后接受采访时,都表示不记得有隐匿意识的经历。比如,马祖尔克维奇并不能回忆起她在重症监护室昏迷那段时间里的任何事情。因此在很大程度上,隐匿意识的经历仍然是一个谜。
但不管隐匿意识的发生机制如何神秘,医生都必须利用所有可用的技术和资源,在那些似乎没有任何反应的病人身上寻找是否有意识存在,这是对医生的道德约束,它并不神秘。在“昏迷治愈行动”的引导下,增加获取这些技术和资源的机会已是医学界的一个基本目标和挑战。有了这些工具,我们可以期待一个所有隐匿意识病人都能为自己发声的未来。
(本文译者臧迪是复旦大学附属华山医院神经外科的博士生,研究方向为意识缺失状态的神经基础、意识障碍的神经影像诊断与神经调控治疗)
(图文由《环球科学》杂志社供稿)
《光明日报》( 2023年01月12日 14版)
(文图:赵筱尘 巫邓炎)