糟糕！结构高度从50m改为100m了。AI：5秒完成新结构方案 | 发明专利：融合文本和图像数据的建筑结构AI设计方法

开发了一种文本-图像数据融合生成图像的算法。用户以文本方式输入结构高度、设防烈度等要求，AI就可以自动生成符合相应文本要求和建筑平面要求的结构方案。

2分钟小视频，简介新发明专利：融合文本和图像数据的神经网络及其建筑结构的设计方法

发明名称：融合文本和图像数据的神经网络及其建筑结构的设计方法

发明人：陆新征；廖文杰；郑哲

专利号：ZL 202110274380.8

申请时间：2021/03/15

1

专利概述

智能化结构设计是智能建造的重要内容。同时，在设计过程中，结构师往往希望计算机能智能地根据设计需求（例如高度、设防烈度等）进行设计更改，生成符合设计师想法的新设计。

本团队2020年5月提出了基于建筑方案进行结构方案设计的发明专利StructGAN（详见：用人工智能进行结构方案设计| 发明：基于对抗生成网络的剪力墙结构布置方法）。在此基础上，团队进行了文本-图像多模态数据融合与图像生成的算法开发，该算法名为txtimg2img。更新后的智能设计框架如图1所示，典型的设计效果如图2所示。可见，AI可以根据设计需求智能化的进行设计调整，随着结构高度和设防烈度的提高，剪力墙的数量和长度也随之增加。这是因为我们设计的算法，可以让AI自动的将结构方案中构件的数量和面积，与结构的设计需求建立关联。

2

文本-图像多模态数据融合的生成网络

算法的核心改进为多模态数据融合的图像生成网络，如图3所示。生成器左端分别为文本和图像-特征编码提取模块，随后将尺寸一致的文本和图像特征张量进行数据融合，进一步对融合特征进行特征深度提取和转化，进而生成符合建筑设计图与对应设计文本要求的结构设计图像。

3

操作步骤

专利的主要操作步骤如图4所示，后续将进行详细的操作介绍。

3.1 步骤S101（获取设计条件文本并编码）

获取基本结构设计条件的自然语言文本描述，抽取文本关键属性并进行数字化编码，典型文本特征提取与编码过程如图5所示。

3.2 步骤S102（获取建筑设计图像并编码）

提取建筑设计图纸中的关键元素，并对关键元素进行不同颜色填充处理，生成待输入图像特征，典型设计图纸特征初步提取过程如图6所示。

3.3 步骤S103-pre（生成对抗网络模型训练）

收集大量的结构设计数据及其对应的设计条件，采用步骤S101和S102的特征初步提取方法，构建训练与测试数据集；随后基于该数据集对对抗生成网络模型进行训练（图7），直至设计效果稳定。采用本发明提出的性能评价方法，对该对抗生成网络模型进行评价，评估合格后可开展应用。

3.4 步骤S103（剪力墙结构设计图纸生成）

基于步骤S103-pre训练好的对抗生成网络模型，将步骤S101和S102中得到的文本特征与建筑特征图输入，便可直接得到结构设计图（耗时约1s）。

4

典型案例

采用该方法，我们对多个建筑设计进行了案例的应用验证，部分典型结果如图8所示。可以看到，本方法能根据不同的以文本形式描述的结构设计要求，生成相应的结构设计结果，文本能够较好的指导结构设计过程。

案例1

建筑户型图

设计要求：7度50m （红色部分为AI设计的剪力墙）

设计要求：7度100m（红色部分为AI设计的剪力墙）

设计要求：8度100m（红色部分为AI设计的剪力墙）

案例2

建筑户型图

设计要求：7度50m （红色部分为AI设计的剪力墙）

设计要求：7度100m（红色部分为AI设计的剪力墙）

设计要求：8度100m（红色部分为AI设计的剪力墙）

案例3

建筑户型图

设计要求：7度50m （红色部分为AI设计的剪力墙）

设计要求：7度100m（红色部分为AI设计的剪力墙）

设计要求：8度100m（红色部分为AI设计的剪力墙）

5

总结

本专利开发了一种文本-图像数据融合生成图像的算法，通过文本和图像数据特征的提取与编码，将编码后数据进行特征融合、深度特征提取和特征转化，生成符合文本与初始图像描述的新设计。基于该方法，可以实现文本指导设计，实现人类需求在设计中的进一步体现。