草图理解与应用

平面草图是人们表达自身想法的最简单快捷的方式之一。与彩色自然图像不同,草图图像仅由黑白两色和稀疏线条构成, 因此让计算机去理解草图的内容以及其背后传达的思想是当前一个极具挑战性的问题。 目前实验室专注于使用机器学习和深度学习的方法, 去解决草图的理解问题(比如草图的语义理解、实例分割) 及其应用的相关问题(比如草图的自动着色、草图的自动合成、草图到自然图像的合成等)。


Language-based Colorization of Scene Sketches

简介: 此工作首次提出用户通过语言指令的人机交互方式实现场景草图自动涂色, 并在此基础上设计与构建了场景级草图自动涂色系统。同时,此工作也首次提出并实现针对场景草图, 基于语言指令的指定目标多实例分割算法,为场景级草图的理解提供了一种有效的解决方法。

ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH Asia 2019) (*oral)
[论文] [代码]

SketchyScene: Richly-Annotated Scene Sketches

简介: 此工作构建了一个大规模的场景草图数据集,并改进现有模型架构来进行语义理解分割实验,作为研究基准。 同时,此工作提出一种专门用于草图数据的背景忽略训练策略,能大幅度提升神经网络对草图的理解能力。

European Conference on Computer Vision (ECCV), 2018
[论文] [代码]

非真实感渲染

非真实感渲染旨在利用计算机模拟现实中存在的各种不同艺术形式的绘制风格(铅笔、水彩、卡通、国画和油画等)。 实验室专注于研究结合传统方法与深度学习方法,探索各种不同艺术形式的非真实感渲染算法。 其中,彩铅画是一种特殊形式的非真实感渲染方式,如何准确地表达出彩铅画中独特的色彩特性和纹理效果, 从而使生成出的风格兼顾真实感与美观性,是一个具有较大挑战性的问题。


PencilArt: A Chromatic Penciling Style Generation Framework

Chengying Gao, Mengyue Tang, Xiangguo Liang, Zhou Su, Changqing Zou

Computer Graphics Forum (CGF), 2018
[论文]

颜色复原与颜色迁移

颜色复原指将灰度图像自动转化为彩色图像。当前颜色复原问题受到很多研究者的关注,因为其应用场景很广, 比如可以将黑白老照片、年代久远的黑白电影转化为带有颜色的影像,使经典作品以更生动的形象展现在我们面前。 目前实验室专注于使用深度学习的方式从大量数据中学习颜色转化的方法。
颜色迁移指将目标颜色色调迁移到给定的原始图像,同时保持整体图像的合理性。颜色迁移问题能应用到艺术创作等领域中。 实验室目前专注于使用数字图像处理和数据统计分析的混合方法来解决此问题。


An edge-refined vectorized deep colorization model for grayscale-to-color images

Zhuo Su, Xiangguo Liang, Jiaming Guo, Chengying Gao, Xiaonan Luo

Neurocomputing, 2018
[论文]

L0 Gradient-Preserving Color Transfer

Dong Wang, Changqing Zou, Guiqing Li, Chengying Gao, Zhuo Su, Ping Tan

Computer Graphics Forum (CGF), 2017
[论文]

图像修复

Data-Driven Image Completion for Complex Object

Chengying Gao, Yanmei Luo, Hefeng Wu*, Dong Wang

Signal Processing: Image Communication, 2017
[论文]

基于稀疏结构的复杂物体修复

高成英,徐仙儿,罗燕媚,王栋

计算机学报,2019

Back to top