廣聯(lián)達(dá)行業(yè) AI 大模型

白皮書

AI+

引言

AI 大模型正在催生新一輪技術(shù)創(chuàng)新與產(chǎn)業(yè)變革，也將為建筑等傳統(tǒng)行業(yè)數(shù)字化轉(zhuǎn)型

和高質(zhì)量發(fā)展帶來(lái)新動(dòng)能。當(dāng)前市場(chǎng)以基礎(chǔ)大模型為主，通識(shí)能力強(qiáng)，但缺少行業(yè)專業(yè)知

識(shí)。使用大模型賦能千行百業(yè)，是下一階段的發(fā)展重點(diǎn)。高質(zhì)量的行業(yè) AI 大模型，必須

具備專業(yè)化、低成本、高可靠性的特點(diǎn)，以解決行業(yè)痛點(diǎn)問題。

行業(yè) AI 大模型，通常是基于通用大模型調(diào)整而來(lái)，是很多企業(yè)提高模型專業(yè)度的有

效選擇，也是國(guó)家落地 “人工智能 +” 的最后一公里。而決定大模型所產(chǎn)生的影響大小，

其核心因素在于 “知識(shí)密度”，知識(shí)密度越高的行業(yè)或場(chǎng)景，受影響會(huì)越大，比如建筑行

業(yè)的設(shè)計(jì)、交易、計(jì)劃、安全等環(huán)節(jié)。

1

廣聯(lián)達(dá)建筑行業(yè) AI 大模型——AecGPT，面向行業(yè)級(jí)應(yīng)用，覆蓋建筑行業(yè)中規(guī)劃、設(shè)

計(jì)、交易、成本、施工、運(yùn)維及綜合管理 7 個(gè)領(lǐng)域，在繼承通用大模型能力的基礎(chǔ)上，通

過將行業(yè)專業(yè)知識(shí)通過億級(jí) Token 進(jìn)行知識(shí)增強(qiáng)，覆蓋了數(shù)十萬(wàn)份高質(zhì)量行業(yè)數(shù)據(jù)，具

備自主決策、分析處理、輔助生成等專業(yè)能力。

基于建筑行業(yè) AI 大模型 AecGPT，我們還構(gòu)建了包括 AI 設(shè)計(jì)大模型、AI 算量大模型、

AI 斑馬進(jìn)度大模型、AI 物資管理大模型、AI 工程交易大模型、AI 施工安全大模型、AI 教

育大模型等具體場(chǎng)景的 AI 大模型及其落地應(yīng)用，將賦能相關(guān)的業(yè)務(wù)領(lǐng)域?qū)崿F(xiàn)效率提高和

價(jià)值升級(jí)。例如，基于 AI 智能設(shè)計(jì)大模型的 AI 原生驅(qū)動(dòng)設(shè)計(jì)平臺(tái) Concetto，能夠通過

智能化的生成設(shè)計(jì)和數(shù)字化的決策支持，推動(dòng)高效設(shè)計(jì)和創(chuàng)新、提升設(shè)計(jì)合理性和價(jià)值。

在 AI 算量方面，公路算量產(chǎn)品核心業(yè)務(wù)包含工程量復(fù)核 + 多維臺(tái)賬生成，應(yīng)用 AI 算量大

模型后，數(shù)十億體量的項(xiàng)目算量周期從 3 個(gè)月縮減到 2 周內(nèi)。在 AI 施工進(jìn)度方面，AI 斑

馬進(jìn)度突破了施工組織設(shè)計(jì)文檔智能解析。AI 物資管理方面的應(yīng)用包含 AI 進(jìn)場(chǎng)檢測(cè)、AI

無(wú)人稱重、AI 出場(chǎng)風(fēng)控等，物資管理 AI 產(chǎn)品的核心業(yè)務(wù)能實(shí)現(xiàn)無(wú)人化智能管控和無(wú)感止損。

在 AI 工程交易方面則突破了 AI 交易技術(shù)標(biāo)智能評(píng)審。在 AI 施工安全方面，高效實(shí)現(xiàn)了安

全措施管理的閉環(huán)。AI 教育的典型產(chǎn)品——天天項(xiàng)上 APP，是項(xiàng)目經(jīng)理成長(zhǎng)的伴侶。

隨著技術(shù)的不斷普及，行業(yè) AI 將變成社會(huì)的基礎(chǔ)生產(chǎn)要素，行業(yè) AI 大模型作為新質(zhì)

生產(chǎn)力的基礎(chǔ)，不僅推動(dòng)建筑業(yè)、農(nóng)業(yè)、制造業(yè)等傳統(tǒng)產(chǎn)業(yè)的轉(zhuǎn)型升級(jí)，也在推動(dòng)新興產(chǎn)

業(yè)的快速發(fā)展，持續(xù)為社會(huì)經(jīng)濟(jì)的高質(zhì)量發(fā)展注入新的動(dòng)力。

2

目錄

01 行業(yè) AI 大模型是 AI+ 落地的必經(jīng)之路

1.1 大模型引領(lǐng)：智能時(shí)代的革命浪潮

1.1.1 大模型為什么能引領(lǐng)這一技術(shù)變革

1.1.2 通用大模型具備的特點(diǎn)

1.2 發(fā)展 AI 行業(yè)大模型的必要性與特點(diǎn)

1.2.1 發(fā)展行業(yè) AI 大模型的必要性

1.2.2 行業(yè) AI 大模型的特點(diǎn)

02 行業(yè) AI 大模型介紹

2.1 行業(yè) AI 大模型分級(jí)構(gòu)建概述

2.2 AecGPT 語(yǔ)言大模型

2.2.1 數(shù)據(jù)收集

2.2.2 訓(xùn)練過程

2.2.3 結(jié)果評(píng)估

2.2.4 效果展示

2.3 AecGPT-V 多模態(tài)大模型

2.3.1 數(shù)據(jù)收集

2.3.2 訓(xùn)練過程

2.3.3 效果展示

2.4 行業(yè)大模型實(shí)現(xiàn)方式

2.4.1 引導(dǎo) : 提示詞工程

007

008

008

010

010

011

015

020

017

017

017

018

020

021

022

022

023

023

3

03 行業(yè) AI 大模型場(chǎng)景落地

3.1 行業(yè) AI 大模型分級(jí)構(gòu)建方式

3.2 建筑行業(yè)全場(chǎng)景 AI 大模型應(yīng)用

3.2.1 AI 設(shè)計(jì)

3.2.2 AI 算量

3.2.3 AI 工程交易

3.2.4 AI 進(jìn)度管理

3.2.5 AI 物資管理

3.2.6 AI 安全管理

3.2.7 AI 教育

3.2.8 AI 客服

04 展望未來(lái)，行業(yè)大模型的機(jī)遇與挑戰(zhàn)并存

編寫團(tuán)隊(duì)

2.4.2 外掛 : 檢索增強(qiáng)生成

2.4.3 優(yōu)化 : 精調(diào)

2.4.4 原生 : 增量預(yù)訓(xùn)練

2.4.5 多種方式組合

2.5 行業(yè) AI 開發(fā)工具鏈：行業(yè) AI 平臺(tái)

2.5.1 平臺(tái)概述

2.5.2 平臺(tái)優(yōu)勢(shì)

2.5.3 應(yīng)用流程

2.5.4 平臺(tái)架構(gòu)

037

027

030

034

035

037

038

039

039

047

066

047

051

075

077

054

058

062

069

072

046

4

01

行業(yè) AI 大模型

是 AI+ 落地的必經(jīng)之路

5

2022 年 11 月 30 日，OpenAI 發(fā)布了創(chuàng)世性的聊天問答工具 ChatGPT，這是一款具有里程

碑意義的大語(yǔ)言模型（LLM）應(yīng)用工具。ChatGPT 迅速贏得了用戶的廣泛關(guān)注，僅 5 天時(shí)間，用

戶數(shù)就突破了百萬(wàn)大關(guān)，并在短短兩個(gè)月內(nèi)達(dá)到了億級(jí)規(guī)模，這一增長(zhǎng)速度刷新了歷史記錄，使

其成為有史以來(lái)增長(zhǎng)最快的應(yīng)用程序之一。ChatGPT 的廣泛流行標(biāo)志著人工智能大模型時(shí)代的開

啟，預(yù)示著 AI 向更高級(jí)別的通用人工智能（AGI）的快速發(fā)展。盡管目前對(duì) “大模型” 還沒有一

個(gè)統(tǒng)一的定義，但它們通常指的是基于 Transformer 架構(gòu)構(gòu)建的大語(yǔ)言模型，廣義上也包括了能

夠處理語(yǔ)言、聲音、圖像和視頻等多種模態(tài)數(shù)據(jù)的多模態(tài)大模型，技術(shù)架構(gòu)也涵蓋了如 Stable

Diffusion 等。

1.1 大模型引領(lǐng)：智能時(shí)代的革命浪潮

6

人工智能（AI）大模型正成為新一輪技術(shù)革命和產(chǎn)業(yè)變革的驅(qū)動(dòng)力，為工業(yè)、金融、教育等

關(guān)鍵行業(yè)提供了數(shù)字化轉(zhuǎn)型的新動(dòng)能，促進(jìn)這些行業(yè)的高質(zhì)量發(fā)展。

AI 大模型的崛起正在深刻地重塑著各個(gè)行業(yè)的未來(lái)格局。

1.1.1 AI 大模型為何能夠引領(lǐng)技術(shù)變革

1）AI 大模型通過 \" 大數(shù)據(jù) + 大算力 + 強(qiáng)算法 \" 的路徑顯著增強(qiáng)了通用性和泛化性，推動(dòng)人

工智能從以專用小模型定制訓(xùn)練為主的 \" 手工作坊時(shí)代 \"，邁入以通用大模型預(yù)訓(xùn)練為主的 \" 工業(yè)

化時(shí)代 \"。

2）大模型能夠從大量訓(xùn)練數(shù)據(jù)中學(xué)習(xí)高效特征表示方法，訓(xùn)練出有巨大參數(shù)量的神經(jīng)網(wǎng)絡(luò)模

型，包括視覺預(yù)訓(xùn)練大模型、自然語(yǔ)言處理預(yù)訓(xùn)練大模型、多模態(tài)預(yù)訓(xùn)練大模型等。

3）大模型可以作為基礎(chǔ)設(shè)施，通過行業(yè)預(yù)訓(xùn)練和場(chǎng)景微調(diào)，快速產(chǎn)出滿足實(shí)際應(yīng)用需求的部

署模型，大幅降低 AI 開發(fā)的門檻和成本。

4）以 OpenAI 的 ChatGPT-3.5 為代表的大語(yǔ)言模型，展現(xiàn)出極強(qiáng)的推理、思維鏈等能力，

讓人類看到了通用人工智能的曙光；多模態(tài)大模型不僅能處理單一數(shù)據(jù)類型，還可以在不同數(shù)據(jù)

類型間建立聯(lián)系和融合，為解決復(fù)雜問題提供支持。

5）大模型正在重構(gòu)現(xiàn)有的商業(yè)模式，未來(lái)將形成模型即服務(wù)的 MaaS 生態(tài)。大模型能夠?yàn)楦?/p>

行業(yè)應(yīng)用賦能，加快社會(huì)各領(lǐng)域數(shù)字化轉(zhuǎn)型、智能化發(fā)展，帶來(lái)全社會(huì)的生產(chǎn)效率提升。

1.1.2 通用大模型具備的特點(diǎn)

在大模型技術(shù)興起之前，人工智能的發(fā)展主要圍繞著為特定應(yīng)用場(chǎng)景定制的深度學(xué)習(xí)算法模

型這些模型的能力通常局限于它們所訓(xùn)練的數(shù)據(jù)類型，因此只能解決特定的單一問題。

但隨著大模型技術(shù)的突破，人工智能領(lǐng)域迎來(lái)了新的發(fā)展階段，這些大模型具備了跨領(lǐng)域的學(xué)

習(xí)能力和處理多種任務(wù)的通用智能，因此被廣泛稱為 “通用大模型”。

學(xué)術(shù)界中的一些專家，例如著名的斯坦福人工智能學(xué)者李飛飛，進(jìn)一步將這種具有廣泛適用性

的模型稱為 “基礎(chǔ)模型” 或 “基座模型”，這一叫法反映了這些模型在人工智能領(lǐng)域中的重要地位，

它們?yōu)檫M(jìn)一步的廣泛應(yīng)用提供了堅(jiān)實(shí)的基礎(chǔ)和強(qiáng)大的支持能力。

具體而言，通用大模型具備如下特點(diǎn)：

1）參數(shù)規(guī)模大

大模型之所以在性能上能夠?qū)崿F(xiàn)質(zhì)的飛躍，很大程度上得益于其龐大的參數(shù)規(guī)模，這一點(diǎn)與 “規(guī)

模定律”（Scaling Law）緊密相關(guān)。這一定律揭示了模型性能與其規(guī)模、所處理的數(shù)據(jù)集的

7

廣度以及訓(xùn)練過程中所需的計(jì)算資源之間存在著密切的冪律關(guān)系。換言之，隨著這些要素的

指數(shù)級(jí)增長(zhǎng)，模型的性能也會(huì)相應(yīng)地實(shí)現(xiàn)線性提升，這被形象地概括為 “規(guī)模帶來(lái)奇跡”。

對(duì)于 “規(guī)?！?一詞，并沒有統(tǒng)一的定義，它更多地體現(xiàn)了一種相對(duì)性。相較于傳統(tǒng)深度學(xué)習(xí)

模型的參數(shù)數(shù)量，其范圍通常在數(shù)萬(wàn)至數(shù)億之間，而大模型則至少擁有億級(jí)別的參數(shù)，一些模型

的參數(shù)量甚至已經(jīng)達(dá)到了萬(wàn)億的量級(jí)。以 OpenAI 的 GPT 系列為例，從 GPT-1 的 1.1 億參數(shù)到

GPT-3 的 1750 億參數(shù)，再到 GPT-4 的非官方預(yù)計(jì)參數(shù)量高達(dá) 1.8 萬(wàn)億，這一躍遷不僅標(biāo)志著參

數(shù)規(guī)模的顯著擴(kuò)大，也預(yù)示著大模型在處理復(fù)雜問題，尤其是在自然語(yǔ)言處理（NLP）領(lǐng)域，將

釋放出更加驚人的潛力和效率。

2）泛化能力強(qiáng)

大模型之所以能夠靈活應(yīng)對(duì)各種新穎未見的數(shù)據(jù)和任務(wù)，主要?dú)w功于其基于注意力機(jī)制的先

進(jìn)設(shè)計(jì)，這種設(shè)計(jì)賦予了它們處理多樣化信息的強(qiáng)大能力。

在經(jīng)過大量且多樣的非結(jié)構(gòu)化數(shù)據(jù)的預(yù)訓(xùn)練之后，大模型能夠吸收并掌握廣泛的通用知識(shí)與

技能，這使得它們?cè)诒姸嗖煌膽?yīng)用場(chǎng)景和任務(wù)中都能夠發(fā)揮出色的性能，無(wú)論是文本創(chuàng)作、語(yǔ)

言理解、語(yǔ)言翻譯、數(shù)學(xué)問題求解、邏輯推理還是持續(xù)的對(duì)話交互，它們都能夠游刃有余。

與傳統(tǒng)的深度學(xué)習(xí)模型相比，大模型不需要針對(duì)特定任務(wù)準(zhǔn)備大量的訓(xùn)練樣本，它們甚至能

夠在僅有少量樣本的條件下，快速適應(yīng)并提升在新任務(wù)上的表現(xiàn)。以 OpenAI 的 GPT-4 為例，它

在參與的多項(xiàng)標(biāo)準(zhǔn)化考試中，如法律、經(jīng)濟(jì)、歷史、數(shù)學(xué)、閱讀和寫作等科目，成績(jī)超過了大部

分人類考生，這證明了大模型的泛化能力極為強(qiáng)大，這種能力讓大模型在面對(duì)未知任務(wù)和數(shù)據(jù)時(shí)，

能夠展現(xiàn)出類似人類的廣泛適用性和智能水平。

3）多模態(tài)支持

大模型通過其先進(jìn)的架構(gòu)，能夠同時(shí)處理包括文本、圖像、音頻在內(nèi)的多種模態(tài)數(shù)據(jù)，這一

點(diǎn)與傳統(tǒng)的深度學(xué)習(xí)模型通常只能處理單一類型的數(shù)據(jù)相比，展現(xiàn)了顯著的優(yōu)勢(shì)。它們利用技術(shù)

如擴(kuò)展的編碼器和解碼器、交叉注意力機(jī)制以及遷移學(xué)習(xí)，實(shí)現(xiàn)了對(duì)跨模態(tài)數(shù)據(jù)的深入理解、有

效檢索和創(chuàng)新生成。

多模態(tài)大模型（LMMs）的認(rèn)知能力更為全面，交互體驗(yàn)更加豐富，這大大擴(kuò)展了人工智能在

處理復(fù)雜任務(wù)時(shí)的應(yīng)用邊界，并成為了實(shí)現(xiàn)通用人工智能的關(guān)鍵步驟。以 OpenAI 的 Sora 模型為

例，它的推出引領(lǐng)了全球多模態(tài)大模型發(fā)展的新趨勢(shì)。這種模型能夠理解和生成多種媒介的數(shù)據(jù)，

如文本、圖像和音頻，這不僅增強(qiáng)了其在多樣化場(chǎng)景中的適用性，也顯著提高了其在現(xiàn)實(shí)世界任

務(wù)中的效率和效果。通過高效融合不同模態(tài)的數(shù)據(jù)，多模態(tài)大模型能夠?yàn)橛脩魩?lái)更加深入和個(gè)

性化的交互體驗(yàn)。

8

1.2.1 發(fā)展行業(yè) AI 大模型的必要性

1.2.1.1 大模型存在 “不可能三角” 問題

通用大模型在專業(yè)性、泛化性和經(jīng)濟(jì)性三個(gè)方面很難兼顧，存在 \" 不可能三角 \" 問題。

1）專業(yè)性與泛化性的矛盾

大模型專業(yè)性要求越高，需要針對(duì)特定領(lǐng)域的數(shù)據(jù)進(jìn)行更多訓(xùn)練，這可能造成過擬合而降低

泛化能力。反之，為了提高泛化性，需要采用更多樣化的訓(xùn)練數(shù)據(jù)，但這會(huì)降低模型在特定領(lǐng)域

的專業(yè)性。

2）泛化性與經(jīng)濟(jì)性的矛盾

大模型泛化性要求越高，需要更多樣化的大規(guī)模訓(xùn)練數(shù)據(jù)集，模型參數(shù)量也會(huì)增加，這意味

著訓(xùn)練和使用成本的上升，同時(shí)可能會(huì)降低模型對(duì)特定問題的專業(yè)能力。

3）專業(yè)性與經(jīng)濟(jì)性的矛盾

為了提高專業(yè)性，需要采用更大的模型和更多的參數(shù)，但這會(huì)增加算力資源的消耗和成本。

相反，為了降低成本，需要采用更小的模型或更少的參數(shù)，但這又會(huì)降低模型的性能表現(xiàn)。

總之，通用大模型以發(fā)展通識(shí)能力為主要目標(biāo)，更側(cè)重泛化性，在專業(yè)性和經(jīng)濟(jì)性方面很難完全

滿足具體行業(yè)或機(jī)構(gòu)的特定需求，存在 \" 功能強(qiáng)大但成本高昂 \" 的問題。這就是它們面臨的 \" 不可

能三角 \" 困境。

1.2.1.2 行業(yè)對(duì)大模型的內(nèi)生需求

在企業(yè)機(jī)構(gòu)應(yīng)用大模型的過程中，主要關(guān)注兩個(gè)核心因素：競(jìng)爭(zhēng)力的提升和安全性的保障。

1）競(jìng)爭(zhēng)力的提升

一些企業(yè)機(jī)構(gòu)致力于將數(shù)據(jù)資產(chǎn)轉(zhuǎn)化為競(jìng)爭(zhēng)優(yōu)勢(shì)，為此，他們積極尋找性能卓越的模型，并

通過行業(yè)專業(yè)數(shù)據(jù)或私有數(shù)據(jù)進(jìn)行定制化優(yōu)化。然而，主流的通用大模型如 GPT-4 多為閉源，通

常以 Web、APP 或 API 的形式提供服務(wù)，這極大地限制了定制化調(diào)整的空間。

2）安全性的保障

廣義上來(lái)講，行業(yè) AI 大模型可以定義為：采用大模型技術(shù)，針對(duì)特定數(shù)據(jù)和任務(wù)進(jìn)行定制化

訓(xùn)練或優(yōu)化，形成具有行業(yè)專知和技能的大模型及其應(yīng)用。

對(duì)于行業(yè) AI 大模型，國(guó)內(nèi)外的叫法各不相同。在國(guó)外，稱之為企業(yè) AI（Enterprise AI）或垂

直人工智能（Vertical AI），而國(guó)內(nèi)則叫作行業(yè) AI 大模型或領(lǐng)域大模型。本報(bào)告統(tǒng)稱為 “行業(yè) AI

大模型”。

1.2 發(fā)展行業(yè) AI 大模型的必要性與特點(diǎn)

9

安全性是企業(yè)機(jī)構(gòu)使用大模型時(shí)的底線要求。大模型不僅處理企業(yè)機(jī)構(gòu)的私有數(shù)據(jù)，還與業(yè)

務(wù)流程緊密集成，比如 Copilot 模式下。

隨著大模型使用的深入，安全和可控性問題變得尤為重要。通用大模型通?；诠性品?wù)，

引發(fā)了對(duì)私有數(shù)據(jù)和敏感信息安全性的擔(dān)憂。已有報(bào)告指出，有公司在使用 ChatGPT 期間發(fā)生

了內(nèi)部資料泄露事件，包括代碼上傳和會(huì)議記錄等。此外，用于訓(xùn)練通用大模型的數(shù)據(jù)和參數(shù)對(duì)

企業(yè)機(jī)構(gòu)來(lái)說(shuō)通常是不透明的，這影響了企業(yè)和機(jī)構(gòu)對(duì)模型的信任度。

因此，各行業(yè)對(duì)大模型的內(nèi)在需求不僅在于提升競(jìng)爭(zhēng)力，還有對(duì)數(shù)據(jù)安全和可控性的高度重視。

企業(yè)在采用大模型時(shí)，需要平衡這兩方面的需求，確保技術(shù)應(yīng)用在增強(qiáng)競(jìng)爭(zhēng)力的同時(shí)，不出現(xiàn)數(shù)

據(jù)安全性和隱私保護(hù)方面的問題。

1.2.1.3 行業(yè) AI 大模型代表了人工智能與行業(yè)深度融合的關(guān)鍵路徑

通用大模型雖然功能強(qiáng)大，但與特定行業(yè)或機(jī)構(gòu)的具體需求之間往往存在一定的差異。為了

解決這一問題，行業(yè)特定的大模型——行業(yè) AI 大模型應(yīng)運(yùn)而生，它們能夠橋接技術(shù)與需求之間的

差距，助力各行各業(yè)快速實(shí)現(xiàn)大模型的應(yīng)用。

首先，行業(yè) AI 大模型具有高性價(jià)比的優(yōu)勢(shì)，能夠在保持較小參數(shù)量的同時(shí)，通過成本較低的

再訓(xùn)練或微調(diào)，實(shí)現(xiàn)接近通用大模型的性能。目前，參數(shù)量在十億到百億級(jí)別的行業(yè) AI 大模型成

為主流選擇，與動(dòng)輒千億參數(shù)量的通用大模型相比，它們?cè)陂_發(fā)成本方面具有明顯的優(yōu)勢(shì)。

其次，行業(yè) AI 大模型支持專業(yè)定制，可以基于開源模型進(jìn)行開發(fā)，根據(jù)特定需求調(diào)整模型結(jié)

構(gòu)和參數(shù)，以更好地滿足個(gè)性化的應(yīng)用需求。通過模型即服務(wù)（MaaS）的模式，企業(yè)和機(jī)構(gòu)可以

從多種模型中快速選擇并使用合適的模型，包括廠商已經(jīng)開發(fā)的行業(yè) AI 大模型的初始版本。

最后，行業(yè) AI 大模型的數(shù)據(jù)安全性更高，可控性更強(qiáng)。它們可以采用私有化部署的方式，使

機(jī)構(gòu)能夠更加安心地使用自有數(shù)據(jù)來(lái)提升應(yīng)用效果，減少對(duì)數(shù)據(jù)安全的擔(dān)憂。

人工智能的終極愿景在于深入行業(yè)應(yīng)用、造福人類。模型開發(fā)和服務(wù)企業(yè)若想在未來(lái)大模型

領(lǐng)域競(jìng)爭(zhēng)中占據(jù)一席之地，必須深入理解用戶需求、緊密貼合實(shí)際場(chǎng)景，并充分利用數(shù)據(jù)資源。

對(duì)于企業(yè)機(jī)構(gòu)使用者來(lái)說(shuō)，為有效地應(yīng)用大模型，需要他們平衡專業(yè)性、數(shù)據(jù)保護(hù)、技術(shù)迭

代和成本效益等多方面因素。因此，基于特定行業(yè)背景的大模型，發(fā)展定制化的專屬模型成為必

經(jīng)之路。

1.2.2 行業(yè) AI 大模型的特點(diǎn)

相比較于通用大模型，行業(yè)大模型具有以下特點(diǎn)：

1）行業(yè)大模型更具專業(yè)性和針對(duì)性

10

行業(yè) AI 大模型通過專門針對(duì)某一行業(yè)的數(shù)據(jù)進(jìn)行訓(xùn)練和優(yōu)化，從而在該領(lǐng)域的語(yǔ)言理解、模

式識(shí)別、決策支持等方面展現(xiàn)出卓越的專業(yè)性和深度。這種經(jīng)過定制化學(xué)習(xí)的能力，賦予了行業(yè)

AI 大模型對(duì)行業(yè)術(shù)語(yǔ)、專業(yè)知識(shí)和復(fù)雜流程的深刻洞察力，使其在處理行業(yè)特定任務(wù)時(shí)，如風(fēng)險(xiǎn)

評(píng)估、市場(chǎng)分析、客戶服務(wù)等，能夠提供更加精準(zhǔn)、高效的解決方案。

此外，行業(yè) AI 大模型在適應(yīng)行業(yè)規(guī)范、遵循法規(guī)要求以及整合行業(yè)最佳實(shí)踐方面也具有明顯

優(yōu)勢(shì)，能夠確保其輸出結(jié)果不僅技術(shù)上先進(jìn)，而且業(yè)務(wù)上實(shí)用、合規(guī)。因此，行業(yè) AI 大模型在特

定任務(wù)上的表現(xiàn)不僅優(yōu)于通用模型，更能為企業(yè)帶來(lái)實(shí)質(zhì)性的業(yè)務(wù)價(jià)值和競(jìng)爭(zhēng)優(yōu)勢(shì)。

2）行業(yè) AI 大模型是通用大模型的上層建筑

行業(yè) AI 大模型往往是在通用大模型的基礎(chǔ)之上發(fā)展而來(lái)。通用大模型的廣泛知識(shí)基礎(chǔ)和泛化

能力，為行業(yè) AI 大模型提供了豐富的知識(shí)儲(chǔ)備和優(yōu)化的底層基礎(chǔ)，可以說(shuō)通用大模型是行業(yè) AI 大

模型的有力基石?；谕ㄓ么竽Ｐ烷_發(fā)行業(yè) AI 大模型的技術(shù)路線，不僅節(jié)省了從零開始訓(xùn)練大模

型所需的大量數(shù)據(jù)和算力資源，而且提高了開發(fā)和應(yīng)用行業(yè) AI 大模型的效率。

此外，通過對(duì)通用大模型進(jìn)行提示詞工程（PE）、檢索增強(qiáng)生成（RAG）、微調(diào)或預(yù)訓(xùn)練等技

術(shù)手段，可以使其更好地適應(yīng)特定行業(yè)的數(shù)據(jù)和任務(wù)，形成具有行業(yè)特性的大模型版本。目前工

業(yè)界的許多行業(yè) AI 大模型，如金融、法律、教育、醫(yī)學(xué)等領(lǐng)域的專有模型，大多是基于主流開源

大模型進(jìn)行構(gòu)建的。

3）行業(yè) AI 大模型是一個(gè)涵蓋模型開發(fā)和應(yīng)用的廣泛概念

與傳統(tǒng)的通用大模型不同，行業(yè) AI 大模型更注重特定領(lǐng)域的專業(yè)能力。實(shí)際上，行業(yè) AI 大模

型不僅僅是一個(gè)獨(dú)立的模型，更多地是基于通用大模型進(jìn)行調(diào)整和優(yōu)化，以適應(yīng)特定行業(yè)的應(yīng)用

需求。

4）本質(zhì)上是行業(yè)解決方案的新時(shí)代產(chǎn)物

行業(yè) AI 大模型主要面向企業(yè)端客戶，他們通常具有不同的業(yè)務(wù)流程和數(shù)據(jù)模式，因此核心在

于提供一套特定行業(yè)的綜合解決方案。

與通用大模型相比，行業(yè) AI 大模型更能深入解決特定行業(yè)的問題，因?yàn)樗鼈兛梢葬槍?duì)具體的

業(yè)務(wù)場(chǎng)景和數(shù)據(jù)特點(diǎn)進(jìn)行定制化開發(fā)和優(yōu)化。這種定制化不僅涉及模型本身的調(diào)整，還可能包括

與特定行業(yè)知識(shí)的結(jié)合，以實(shí)現(xiàn)更高的準(zhǔn)確性和效率。

行業(yè) AI 大模型的實(shí)現(xiàn)通常建立在通用大模型的基礎(chǔ)之上，通過進(jìn)一步的訓(xùn)練或優(yōu)化來(lái)適應(yīng)特

定行業(yè)的需求。此外，行業(yè) AI 大模型還強(qiáng)調(diào)數(shù)據(jù)安全和隱私保護(hù)，支持私有化部署，使企業(yè)能夠

更安全地使用自身的數(shù)據(jù)來(lái)提升應(yīng)用效果。

總的來(lái)說(shuō)，行業(yè) AI 大模型的未來(lái)發(fā)展將更加注重與行業(yè)深度融合，提供更加個(gè)性化、高效

11

且安全的智能服務(wù)，幫助企業(yè)實(shí)現(xiàn)智能化升級(jí)，并解決實(shí)際業(yè)務(wù)問題。隨著技術(shù)的進(jìn)步和市場(chǎng)的

需求，預(yù)計(jì)會(huì)有更多的定制化、行業(yè)化的大模型實(shí)現(xiàn)商業(yè)落地，為用戶帶來(lái)更加豐富和深化的應(yīng)

用場(chǎng)景。

12

13

02

廣聯(lián)達(dá)

行業(yè) AI 大模型介紹

所謂的垂直領(lǐng)域模型，是通過在預(yù)訓(xùn)練數(shù)據(jù)中加入特定領(lǐng)域的數(shù)據(jù)，占比通常在 10% 至 15%

左右，從而訓(xùn)練出面向該行業(yè)的專用大模型。

廣聯(lián)達(dá)行業(yè) AI 大模型的構(gòu)建，同樣遵循該模型分級(jí)模式，依托于開源基礎(chǔ)大模型，覆蓋數(shù)十

萬(wàn)份高質(zhì)量行業(yè)數(shù)據(jù)，搭建出 L1 級(jí)行業(yè)大語(yǔ)言模型 AecGPT，多模態(tài)大模型 AecGPT-V，擴(kuò)散生

成模型 AecDiffusion，在 L1 的基礎(chǔ)上又衍生出服務(wù)于下游不同細(xì)分任務(wù)的 L2 級(jí)場(chǎng)景大模型，分

別有：AI 設(shè)計(jì)大模型，AI 算量大模型，AI 斑馬進(jìn)度大模型，AI 物資管理大模型，AI 交易大模型，

AI 安全大模型，和 AI 教育大模型。

2.1 行業(yè) AI 大模型分級(jí)構(gòu)建概述

14

通用大模型

文本

教育

金融

客服 設(shè)計(jì) 施工運(yùn)維 開發(fā)

醫(yī)療

法律

建筑

傳媒

廣告

游戲

······

圖像 代碼 語(yǔ)音 視頻 多模態(tài)

行業(yè) 大模 型

營(yíng)銷 辦公 ······

場(chǎng) 景 大模 型

企業(yè)應(yīng)用

L1

L0

L2

······

行業(yè)數(shù)據(jù)

場(chǎng)景數(shù)據(jù)

企業(yè)數(shù)據(jù)

圖 大模型的構(gòu)建分級(jí)

建筑行業(yè) AI 大模型 AecGPT，覆蓋建筑行業(yè)的規(guī)劃、設(shè)計(jì)、交易、成本、施工、運(yùn)維及綜合

管理等 7 個(gè)領(lǐng)域，億級(jí) Token 行業(yè)知識(shí)增強(qiáng)，具有自動(dòng)化、分析決策、輔助生成等專業(yè)能力。

AecGPT 覆蓋億級(jí)行業(yè)高質(zhì)量中文語(yǔ)料，包含行業(yè)通識(shí)及廣聯(lián)達(dá)多年來(lái)積累沉淀的專家經(jīng)驗(yàn)

數(shù)據(jù)。

廣聯(lián)達(dá)建筑行業(yè) AI 大模型具備以下核心能力：

15

建筑行業(yè)AI

核心能力

分析與決策

基于數(shù)據(jù)洞察的分析與決策

AI交易：基于數(shù)據(jù)分析，自主評(píng)標(biāo)

生成

理解并生成專業(yè)內(nèi)容

AI進(jìn)度：理解項(xiàng)目意圖，輔助人工進(jìn)

行項(xiàng)目信息提取、搭載領(lǐng)域知識(shí)輔

助計(jì)劃編制、計(jì)劃多維分析與動(dòng)態(tài)

調(diào)優(yōu)

自動(dòng)化

自動(dòng)化處理重復(fù)性工作

AI基建算量：讓10億體量項(xiàng)目工程量復(fù)

核提量工作從3個(gè)月縮減到2周內(nèi)

圖 建筑行業(yè) AI 核心能力

16

廣聯(lián)達(dá)建筑大模型 AecGPT 是在國(guó)內(nèi)開源的通用基座大模型基礎(chǔ)上，在預(yù)訓(xùn)練階段加入了

7000 萬(wàn) Token 以上的建筑領(lǐng)域語(yǔ)料進(jìn)行二次增訓(xùn)，使模型對(duì)建筑領(lǐng)域知識(shí)體系有完整的吸收與

理解，之后再通過千萬(wàn)條高質(zhì)量的建筑領(lǐng)域指令數(shù)據(jù)進(jìn)行了 SFT 和 RLHF。

2.2.1 數(shù)據(jù)收集

構(gòu)建了 12 類行業(yè) + 產(chǎn)線評(píng)估集，覆蓋多個(gè)行業(yè)權(quán)威考試、行業(yè)常用工程文檔、行業(yè)規(guī)范、行

業(yè)法律法規(guī)。

2.2.2 訓(xùn)練過程

大型語(yǔ)言模型（LLM）的訓(xùn)練是一個(gè)復(fù)雜的過程，通常包括三個(gè)階段：

1）預(yù)訓(xùn)練階段

這是訓(xùn)練流程的起點(diǎn)，需要收集大量文本數(shù)據(jù)（達(dá)到 TB 級(jí)別），選擇或設(shè)計(jì)合適的模型架構(gòu)

（如 Transformer），訓(xùn)練分詞器來(lái)處理文本數(shù)據(jù)，進(jìn)行數(shù)據(jù)預(yù)處理，然后使用這些數(shù)據(jù)訓(xùn)練模型。

預(yù)訓(xùn)練通常采用自監(jiān)督學(xué)習(xí)方法，如掩碼語(yǔ)言模型（MLM）或因果語(yǔ)言模型（CLM），使模型學(xué)

習(xí)預(yù)測(cè)句子中的下一個(gè)詞或填補(bǔ)缺失的詞，從而獲得通用的語(yǔ)言知識(shí)。

2）指令微調(diào)階段

在預(yù)訓(xùn)練的基礎(chǔ)上，使用特定任務(wù)的數(shù)據(jù)進(jìn)行微調(diào)，使模型能夠更好地適應(yīng)特定任務(wù)的需求。

這個(gè)階段可能包括使用人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)（RLHF），以優(yōu)化模型的輸出，使其更符合人類的

期望和偏好。

3）強(qiáng)化學(xué)習(xí)階段

根據(jù)數(shù)十萬(wàn)提示詞，利用前一階段訓(xùn)練的獎(jiǎng)勵(lì)模型，對(duì)有監(jiān)督微調(diào)模型對(duì)用戶提示詞補(bǔ)全結(jié)

果的質(zhì)量進(jìn)行評(píng)估，并與語(yǔ)言模型建模目標(biāo)綜合得到更好的效果。

AecGPT 的訓(xùn)練主要圍繞以下三個(gè)階段進(jìn)行：

? 增量預(yù)訓(xùn)練

? 有監(jiān)督學(xué)習(xí) SFT

? RLHF

2.2.3 結(jié)果評(píng)估

AecGPT 在行業(yè)評(píng)估集上能力普遍高于 GPT4，并且保持了良好的通用能力。

2.2 AecGPT 語(yǔ)言大模型

17

AECGPT

AECGPT Knowledge and

Capability Evaluation

(Reasoning)

427

89

489

175

222

68

-

- 15

(Question Answ ering)

- 501

RAG +

274

98

681

(Gener ativ e)

- General Capability

(Commonsense Reasoning)

CMMLU

C-Eval

MMLU

Mathematical Question

GSM8K

(Code Generation) humaneval

mbpp

3

RAG Retrieval-Augmented Generation Benchmark

Long-text Information Extraction

Needle In A Haystack

LEval Exact Match

LEval Gen

圖 AecGPT 評(píng)估結(jié)果

多模態(tài)大模型作為深度學(xué)習(xí)領(lǐng)域的前沿技術(shù)，通過結(jié)合文本、圖像、音頻和視頻等多種數(shù)據(jù)

輸入，展現(xiàn)出強(qiáng)大的信息處理和理解能力。這類模型利用先進(jìn)的模態(tài)融合技術(shù)，如模態(tài)融合層和

注意力機(jī)制，實(shí)現(xiàn)不同模態(tài)間的有效整合；同時(shí)，跨模態(tài)表示學(xué)習(xí)技術(shù)，例如共享編碼器和模態(tài)

特定的注意力，使得模型能夠?qū)W習(xí)到不同模態(tài)間的共享表示。

多模態(tài)大模型的預(yù)訓(xùn)練方法，通過在大規(guī)?？缒B(tài)數(shù)據(jù)上進(jìn)行訓(xùn)練，學(xué)習(xí)到通用的跨模態(tài)表示，

進(jìn)而在特定任務(wù)上進(jìn)行微調(diào)，以適應(yīng)具體需求。模型規(guī)模和計(jì)算資源是多模態(tài)大模型的另一重要

考量因素，因?yàn)槎嗄B(tài)大模型通常需要更大的模型規(guī)模和更強(qiáng)的計(jì)算資源來(lái)支持訓(xùn)練和推理。

在應(yīng)用領(lǐng)域，多模態(tài)大模型已經(jīng)在多模態(tài)情感分析、問答系統(tǒng)、推薦系統(tǒng)、翻譯以及智能輔

助等方面展現(xiàn)出廣泛的應(yīng)用潛力。隨著技術(shù)的進(jìn)步和應(yīng)用領(lǐng)域的不斷擴(kuò)展，多模態(tài)大模型預(yù)計(jì)將

在醫(yī)療健康、智能交通、智能制造等多個(gè)領(lǐng)域發(fā)揮重要作用。

此外，多模態(tài)大模型的發(fā)展也指向了從多模態(tài)到更多模態(tài)的擴(kuò)展，以及對(duì)數(shù)據(jù)集質(zhì)量提升的

需求。模型性能的持續(xù)提升和多模態(tài)學(xué)習(xí)方法的創(chuàng)新，將為多模態(tài)大模型帶來(lái)更高效、更準(zhǔn)確的

數(shù)據(jù)處理能力。隨著對(duì)具身智能的進(jìn)一步探索，多模態(tài)大模型有望在動(dòng)態(tài)多階段的任務(wù)中展現(xiàn)出

更大的應(yīng)用潛力。

18

2.3 AecGPT-V 多模態(tài)大模型

2.2.4 效果展示

近似自然語(yǔ)言理解

同類表述可以理解對(duì)應(yīng)含義：

1.在設(shè)計(jì)一個(gè)新建筑項(xiàng)目時(shí)，如何選擇建筑材料以最大限度地減少

對(duì)環(huán)境的影響？

2.在建筑項(xiàng)目的規(guī)劃階段，應(yīng)采取哪些措施來(lái)確保所使用的建筑材

料對(duì)環(huán)境的負(fù)面影響最??？

針對(duì)用戶的多樣化提問，可以理解處理其實(shí)際含義，給出正確答案

顯式信息抽取

結(jié)構(gòu)化語(yǔ)言理解-Markdown&HTML

原始表格 結(jié)構(gòu)化語(yǔ)言表達(dá)

AecGPT

提問：表格中成本最高的配件是？

回答：

根據(jù)表格中的數(shù)據(jù)，

成本最高的配件是

標(biāo)號(hào)為 H3 的配件，

其成本為 14.5。

AecGPT

原始文檔 關(guān)鍵信息抽取

上海某項(xiàng)目概念設(shè)

計(jì)任務(wù)書 .docx

圖 AecGPT 信息抽取及語(yǔ)義理解應(yīng)用效果

在評(píng)測(cè)多模態(tài)大模型時(shí)，需要使用一系列具有挑戰(zhàn)性的評(píng)測(cè)數(shù)據(jù)集，如 BoolQ、NaturalQuestions、TydiQA、XL Sum 和 VATEX 等，這些數(shù)據(jù)集能夠全面評(píng)估模型在不同任務(wù)上的性

能 。隨著多模態(tài)大模型技術(shù)的不斷進(jìn)步，它們?cè)诟鱾€(gè)領(lǐng)域的應(yīng)用將更加廣泛和深入，為解決現(xiàn)實(shí)

世界中的復(fù)雜問題提供強(qiáng)大的工具和方法。

廣聯(lián)達(dá)的 AecGPT-V 多模態(tài)大模型，是在其對(duì)建筑行業(yè)的深刻理解和長(zhǎng)期積累的基礎(chǔ)上，對(duì)

開源通用多模態(tài)大模型和建筑行業(yè)進(jìn)行的一次創(chuàng)新性結(jié)合和擴(kuò)展。通過對(duì) 133K Token 的高質(zhì)量

指令數(shù)據(jù)進(jìn)行全面參數(shù)微調(diào)，AecGPT-V 不僅繼承了原有模型的強(qiáng)大能力，還特別針對(duì)建筑行業(yè)

的專業(yè)需求進(jìn)行了優(yōu)化和增強(qiáng)。

AecGPT-V 在信息抽取方面表現(xiàn)出色，能夠準(zhǔn)確識(shí)別和理解文本內(nèi)容，包括但不限于工程圖

紙說(shuō)明、技術(shù)規(guī)范、項(xiàng)目管理文檔等。它的圖文理解能力同樣令人印象深刻，能夠?qū)D像內(nèi)容與

相關(guān)文本信息相結(jié)合，提供更為豐富和深入的洞察，這對(duì)于設(shè)計(jì)審核、施工監(jiān)督和項(xiàng)目管理等環(huán)

節(jié)尤為重要。

此外，AecGPT-V 實(shí)現(xiàn)了對(duì)傳統(tǒng) OCR（Optical Character Recognition）技術(shù)的超越和擴(kuò)展。

它不僅限于簡(jiǎn)單的字符識(shí)別，還能夠理解和處理更為復(fù)雜的場(chǎng)景，如圖紙中的符號(hào)識(shí)別、表格數(shù)

據(jù)的提取和分析等，極大地提升了信息處理的準(zhǔn)確性和效率。

隨著 AecGPT-V 在更多應(yīng)用場(chǎng)景中的落地，我們有理由相信，它將為建筑行業(yè)的智能化升級(jí)

貢獻(xiàn)更大的價(jià)值，為建筑行業(yè)的創(chuàng)新發(fā)展注入了新的活力。

2.3.1 數(shù)據(jù)收集

指令數(shù)據(jù)主要圍繞施工進(jìn)度所處的分部分項(xiàng)施工階段的圖文描述來(lái)收集。

2.3.1.1 數(shù)據(jù)構(gòu)建

19

施工階段 數(shù)據(jù)量

地基與基礎(chǔ) 27

主體結(jié)構(gòu) 21

裝飾裝修 7

圖中顯示的工地似乎處于地基與基礎(chǔ)工程中的

地下防水階段，并正在進(jìn)行防水工作中的筏板

基礎(chǔ)防水工作。我是根據(jù)以下幾點(diǎn)來(lái)判斷的：

1. 地面已經(jīng)被平整，并且鋪設(shè)了黑色的防水卷

材。

2. 周圍的土墻已經(jīng)被支撐起來(lái)，這通常在挖

掘和澆筑基礎(chǔ)之后進(jìn)行，以確保土壤不會(huì)塌陷。

3. 現(xiàn)場(chǎng)的工人似乎正在進(jìn)行一些收尾工作，

比如檢查或清理地面。

4. 沒有鋼筋或混凝土結(jié)構(gòu)，說(shuō)明鋼筋綁扎和

混凝土澆筑等工序尚未開始。

5. 周圍的圍墻和其他臨時(shí)結(jié)構(gòu)表明這個(gè)地點(diǎn)

已經(jīng)被圍起來(lái)進(jìn)行施工。

綜上所述，這個(gè)工地剛完成地下室防水，可能

正準(zhǔn)備進(jìn)入下一個(gè)施工階段，例如鋼筋綁扎、

模板搭建等。

圖中顯示的工地似乎處于基礎(chǔ)施工的后期階段。這個(gè)

階段通常包括完成地基和基礎(chǔ)結(jié)構(gòu)的建設(shè)。我是根據(jù)

以下幾點(diǎn)來(lái)判斷的：

1. 地面已經(jīng)被平整，并且看起來(lái)已經(jīng)進(jìn)行了混凝土澆

筑。地面上的線條可能表明這是混凝土板的接縫，這

是為了控制混凝土收縮時(shí)的裂縫。

2. 周圍的土墻已經(jīng)被支撐起來(lái)，這通常在挖掘和澆

筑基礎(chǔ)之后進(jìn)行，以確保土壤不會(huì)塌陷。

3. 現(xiàn)場(chǎng)的工人似乎正在進(jìn)行一些收尾工作，比如檢

查或清理地面。

4. 沒有明顯的重型施工設(shè)備，這通常意味著大規(guī)模

的挖掘和澆筑工作已經(jīng)完成。

5. 周圍的圍墻和其他臨時(shí)結(jié)構(gòu)表明這個(gè)地點(diǎn)已經(jīng)被

圍起來(lái)進(jìn)行施工。

綜上所述，這個(gè)工地可能正準(zhǔn)備進(jìn)入下一個(gè)施工階段，

例如立柱、梁的施工或建筑物本體的建造。

問法 1：請(qǐng)問，根據(jù)圖中所示，建筑施工已 經(jīng)進(jìn)行到了哪個(gè)階段？你是依據(jù)什么標(biāo)準(zhǔn) 來(lái)做出這一判斷的？

GPT4V結(jié)果 GPT4V預(yù)標(biāo)注+專家修正后的描述

訓(xùn)練數(shù)據(jù)構(gòu)造方法

1.利用GPT4V生成55張圖片的初始識(shí)別結(jié)果，并找業(yè)務(wù)專家修改

2.利用GPT4 生成施工階段的多種問法，防止模型過擬合，每張圖片一種問法?？偣矘?gòu)造55個(gè)不同問法且不同圖片的問答對(duì)。

問法2：請(qǐng)問圖中建筑的施工進(jìn)度達(dá)到了 哪個(gè)階段？能否說(shuō)明你的評(píng)估依據(jù)是什么？

圖 訓(xùn)練數(shù)據(jù)收集

實(shí)際上這只是做好了地基墊層，墊層上鋪設(shè)了防水卷材，防水卷材

是黑色的。接下來(lái)，它才要開始進(jìn)行底板施工，包括綁鋼筋，支模版，

和澆筑。

2.3.2 訓(xùn)練過程

多模態(tài)大模型的訓(xùn)練是一個(gè)涉及結(jié)構(gòu)設(shè)計(jì)、數(shù)據(jù)預(yù)處理、預(yù)訓(xùn)練、微調(diào)、評(píng)測(cè)和多模態(tài)融合

等多個(gè)環(huán)節(jié)的復(fù)雜流程，需要綜合考慮模型性能、計(jì)算資源和訓(xùn)練效率。

綜合考量，我們選擇有監(jiān)督學(xué)習(xí)的指令微調(diào)手段，在特定任務(wù)的數(shù)據(jù)上進(jìn)行微調(diào)，以適應(yīng)具

體任務(wù)需求，微調(diào)過程中，模型可以根據(jù)任務(wù)反饋進(jìn)一步調(diào)整跨模態(tài)表示。

2.3.3 效果展示

20

2.3.1.2 訓(xùn)練數(shù)據(jù)格式

{\"id\": 0,

\"image\": \"00206.jpg\",

\"conversations\": [

{

\"from\": \"human\",

\"value\": \"<image> 你將看到一張建筑施工設(shè)計(jì)的圖片。你的任務(wù)是從圖片中提取以下信息：

1.圖名或圖紙名稱： 圖名或圖紙名稱位于圖紙底部的表格內(nèi)，表示整張圖紙的名稱，一般以” 圖 “或” 表 “結(jié)尾。

2.題目：題目位于圖紙的最上方且居中，一般字號(hào)較大、或字體加粗，用于概述整張圖紙的內(nèi)容。

3.圖號(hào)或表號(hào)：圖號(hào)或表號(hào)是圖紙的編號(hào)，一般位于圖紙的右上角、右下角或底部的表格內(nèi)，為一串由字母、數(shù)字、文字和 \"-\"組成的編碼，如”S3-4-4\"

4.頁(yè)碼：頁(yè)碼一般出現(xiàn)在圖紙的右上角、右下角或底部的表格內(nèi)，代表當(dāng)前圖紙是整套圖紙中的第幾頁(yè)，偶爾用 \"2/5\"表示當(dāng)前圖紙的頁(yè)碼為 “2”。

無(wú)法提取到的信息以空字符串代替。將信息提取的結(jié)果以 json 格式返回，不要輸出多余信息。

嚴(yán)格按照以下格式返回結(jié)果：

{\"圖名或圖紙名稱\": \"示例圖名或圖紙名稱\", \"題目\": \"示例題目\", \"圖號(hào)或表號(hào)\": \"示例圖號(hào)或表號(hào)\", \"頁(yè)碼\": \"示例頁(yè)碼\"}\"

},

{

\"from\": \"gpt\",

\"value\": \"{\" 圖名或圖紙名稱\": \"55m鋼箱組合梁上部結(jié)構(gòu)工程數(shù)量表\", \"題目\": \"55m簡(jiǎn)支鋼箱組合梁橋上部結(jié)構(gòu)主要工程材料數(shù)量表(半幅)\", \"圖號(hào)或表號(hào)\":

\"GXZHL-01\", \"頁(yè)碼\": \"1\"}\" }]}

{ \"id\": 0,

\"image\": \"38_29_1.jpg\",

\"conversations\": [

{

\"from\": \"human\",

\"value\": \"<image>

你將看到一張圖片。你的任務(wù)是從圖片中提取以下信息：

1.姓名

2.專業(yè)

3.學(xué)歷等級(jí)

無(wú)法提取到的信息以空字符串代替。將信息提取的結(jié)果以 json 格

式返回，不要輸出多余信息。

嚴(yán)格按照以下格式返回結(jié)果：

{\"姓名\": \"提取到的關(guān)于姓名的內(nèi)容或空字符串\", \"專業(yè)\": \"提取到的

關(guān)于專業(yè)的內(nèi)容或空字符串\", \"學(xué)歷等級(jí)\": \"提取到的關(guān)于學(xué)歷等級(jí)

的內(nèi)容或空字符串\"}

},

{

\"from\": \"gpt\",

\"value\": \"{\" 姓名\": \"蔡建梅\", \"專業(yè)\": \"道路與橋梁工程\", \"

學(xué)歷等級(jí)\": \"本科\"}\"

}]}

{\"id\": 0,

\"conversations\": [

{

\"from\": \"human\",

\"value\": \"請(qǐng)問圖中的工人都戴安全帽？請(qǐng)用一

個(gè)詞或一句話簡(jiǎn)要回答。\"},

{

\"from\": \"gpt\",

\"value\": \"圖中工人都戴了安全帽\"}],

\"image\": \"0100.jpg\"},

卡證類

圖名圖號(hào)

安全帽

房建圖紙理解——微調(diào)前后對(duì)比

question：圖中青色框中的文字是什么？

base model：圖中青色框中的文字是 “kzz”。

lora model： KZ2

question:圖中粉紅色邊框內(nèi)的構(gòu)件截面尺寸是多少？

base model： 粉紅色邊框內(nèi)的構(gòu)件，標(biāo)記為 “KZ4a”，其尺寸為150毫米寬

和500毫米高。

lora model: 尺寸標(biāo)注為(500+100,450+150)，采用分段標(biāo)注方式，其中橫

向尺寸為500和100，總寬度為600，縱向尺寸為450和150，總高度為600。

gt: 圖中構(gòu)件的截面尺寸采用分段標(biāo)注，標(biāo)注為(500+100,450+150)，橫向

尺寸為500和100兩部分，總寬度為600，縱向尺寸為450和150兩部分，總

高度為600。

多模態(tài)大模型識(shí)別施工現(xiàn)場(chǎng)圖像

Qusetion:

安全帽是什么顏色的？

Answer:

安全帽是白色的。

Qusetion:

請(qǐng)問圖中紅框中的的工人戴沒

戴安全帽？

Answer:

圖中的工人戴著安全帽。安全

帽是建筑工地的標(biāo)準(zhǔn)安全裝備，

用于保護(hù)工人的頭部免受墜落

物體的傷害。

Qusetion:

請(qǐng)問圖中紅框中的的工人戴沒戴

安全帽？

Answer:

圖中的工人是戴著安全帽的?？?/p>

以看到他們頭上都戴著安全帽，

這是在建筑工地工作時(shí)為了保護(hù)

頭部免受墜落物或意外傷害的必

要安全裝備。

Qusetion:

安全帽是什么顏色的？

Answer:

圖中的安全帽是橙色的。安全帽的

顏色通常是為了提高可見度，以確

保工人在施工現(xiàn)場(chǎng)容易被其他工人

或機(jī)械操作員看到，從而降低事故

風(fēng)險(xiǎn)。

圖 訓(xùn)練數(shù)據(jù)格式

圖 多模態(tài)大模型圖紙圖像理解應(yīng)用效果

00000000

0000000000

小紅帽

小紅帽

2.4.1.1 什么是提示詞工程

提示詞 Prompt，它是提供給大語(yǔ)言模型以執(zhí)行所需任務(wù)的自然語(yǔ)言文本。

一個(gè)完整的 Prompt 通常包含三部分：指令、輸入數(shù)據(jù)和輸出標(biāo)識(shí)符。指令是我們期待大語(yǔ)

言模型所需要完成的任務(wù)，輸入數(shù)據(jù)是需要大語(yǔ)言模型完成該任務(wù)所需的實(shí)際數(shù)據(jù)，而輸出標(biāo)識(shí)

符是大語(yǔ)言模型需要輸出的標(biāo)志。

2.4.1 引導(dǎo)：提示詞工程

在構(gòu)建和應(yīng)用行業(yè)大模型的過程中，由于不同的需求和目標(biāo)，技術(shù)實(shí)現(xiàn)的復(fù)雜性也存在顯著

差異。通過深入調(diào)研和總結(jié)，目前企業(yè)和機(jī)構(gòu)在將大模型適配到行業(yè)應(yīng)用時(shí)，主要采用了四種由

易到難、由簡(jiǎn)到繁的方法：提示詞工程、增強(qiáng)檢索與生成、有監(jiān)督的微調(diào)以及預(yù)訓(xùn)練。

在實(shí)際應(yīng)用中，企業(yè)和機(jī)構(gòu)很少單一地采用某一種方法，而是傾向于將它們結(jié)合起來(lái)使用，

以期達(dá)到最優(yōu)的效果。例如，要開發(fā)一個(gè)高效的智能問答系統(tǒng)，可能會(huì)同時(shí)利用優(yōu)化的提示詞、

增強(qiáng)的檢索與生成技術(shù)以及有監(jiān)督的微調(diào)策略，以確保系統(tǒng)的性能和準(zhǔn)確性。

2.4 行業(yè) AI 大模型實(shí)現(xiàn)方式

21

Zero-shot

Few-shot

COT

TOT

提示詞優(yōu)化

文本嵌入

Query 改寫

向量數(shù)據(jù)庫(kù)

重排序

提效手段

無(wú)監(jiān)督學(xué)習(xí)

自監(jiān)督學(xué)習(xí)

人類反饋強(qiáng)化學(xué)習(xí)

······

訓(xùn)練方法

代表技術(shù)

實(shí)現(xiàn)特點(diǎn)

快速探索應(yīng)用，如問答系統(tǒng)

快速迭代

只需優(yōu)化提示詞，就可以顯著

提升效果 生成準(zhǔn)確度要求高

動(dòng)態(tài)數(shù)據(jù)

大量的外部動(dòng)態(tài)知識(shí) 希望通用大模型更好的適配于

行業(yè)應(yīng)用

行業(yè)泛化

希望通用大模型有更好的泛化

能力

適用場(chǎng)景

實(shí)現(xiàn)方式 提示詞工程 檢索增強(qiáng)生成 微調(diào) 預(yù)訓(xùn)練

有監(jiān)督精調(diào) SFT

部分參數(shù)凍結(jié)

LoRA

······

微調(diào)手段

要求通用大模型準(zhǔn)確理解不同

任務(wù)

強(qiáng)理解能力

希望通用大模型的知識(shí)范圍更

加通用

大模型無(wú)需做調(diào)整

超輕量化的技術(shù)開發(fā)

依賴通用大模型的自身知識(shí)

一般與其他方式聯(lián)合使用

簡(jiǎn)單

大模型無(wú)需做調(diào)整

難度適中，性價(jià)比高

外部知識(shí)庫(kù)

使用最為廣泛

適中

對(duì)大模型做局部調(diào)整

較復(fù)雜，高質(zhì)量數(shù)據(jù)是關(guān)鍵

將行業(yè)知識(shí)注入到大模型

使用比較廣泛

較難

對(duì)大模型做全面調(diào)整

投入大，周期長(zhǎng)

大量學(xué)習(xí)和掌握行業(yè)專業(yè)知識(shí)

使用較少，主要聚集在幾家頭

部使用

難

私有知識(shí)

圖 行業(yè) AI 大模型實(shí)現(xiàn)

提示詞工程 Prompt Engineering，簡(jiǎn)稱 PE。它是一種通過不更新模型權(quán)重參數(shù)，引導(dǎo)大語(yǔ)

言模型行為朝著預(yù)期結(jié)果的方法，包括：提示詞拆分 (Prompt Decomposition)、提示鏈

（Prompt Chaining)、智能體（Agents）等工程方法?？偟膩?lái)說(shuō)，提示詞是實(shí)際輸入到 AI 系統(tǒng)中

的具體文本，用以引導(dǎo)模型的輸出。而提示工程則是一個(gè)更廣泛的概念，它不僅包括創(chuàng)建提示詞，

還涉及理解模型的行為、優(yōu)化提示以獲得更好的性能等內(nèi)容。

2.4.1.2 提示詞工程的常見方法

提示詞工程的一些常見方法有：

1）零次提示 （zero-shot）

零次提示是在提示詞中不添加任何示例，讓大語(yǔ)言模型根據(jù)自身知識(shí)完成該任務(wù)。例如圖提

供的 zero-shot Prompt：使大語(yǔ)言模型自行判斷 “施組的質(zhì)量在宏觀層面，對(duì)單棟樓的描述比較

欠缺，且解析出來(lái)的結(jié)果離能直接使用還有差距” 這個(gè)文本屬于中性、負(fù)面或正面哪一個(gè)類別。

2）少量提示（few-shot）

是在 prompt 中添加一個(gè)或多個(gè)示例，去幫助大語(yǔ)言模型更好的理解當(dāng)前任務(wù)，實(shí)現(xiàn)準(zhǔn)確的結(jié)

果輸出。

3）思維鏈（Chain-of-Thought）

它將推理過程分解為一系列較小的、相互關(guān)聯(lián)的步驟，幫助大語(yǔ)言模型正確執(zhí)行各個(gè)子任務(wù)，

最終匯總得到目標(biāo)結(jié)果。例如我們問了大模型這樣一個(gè)問題：

某招標(biāo)項(xiàng)目采用基于工程監(jiān)理質(zhì)量和費(fèi)用的方法選擇工程監(jiān)理單位。技術(shù)標(biāo)的權(quán)重為 90%，

商務(wù)標(biāo)的權(quán)重為 10%。技術(shù)標(biāo)的評(píng)審分為三個(gè)主要部分，各以百分制計(jì)分，分項(xiàng)權(quán)重分別為：公

司經(jīng)驗(yàn) 10%，實(shí)施方案 40%，人員配備 50%。商務(wù)標(biāo)評(píng)分時(shí)以最低投標(biāo)價(jià)為基數(shù)，計(jì)算其他投

標(biāo)書的折算分。有 A、B、C 三家公司參與競(jìng)標(biāo)，經(jīng)專家評(píng)審，三家的公司經(jīng)驗(yàn)分別為 90 分、80 分、

85 分，實(shí)施方案分別為 75 分，85 分，80 分，人員配備分別為 80 分，75 分，80 分。三家的商

務(wù)報(bào)價(jià)分別為 15 萬(wàn)、12 萬(wàn)、10.5 萬(wàn)。請(qǐng)根據(jù)上述信息和評(píng)標(biāo)標(biāo)準(zhǔn)，確定擬中標(biāo)單位。

這個(gè)問題涉及六個(gè)步驟：

22

滾滾長(zhǎng)江東逝水

將下述客戶使用的反饋評(píng)價(jià)文字分類為正面、中性或負(fù)面。

任務(wù)項(xiàng)拆解相對(duì)比較詳細(xì)，滿足總計(jì)劃使用，尤其是在投標(biāo)階

段需要快速的出一份邏輯正確的計(jì)劃。

評(píng)價(jià)分類：正面

Instructions 指令

輸入數(shù)據(jù)

輸出標(biāo)志符

Input data

Output Indicator

圖 提示詞工程

step1- 識(shí)別評(píng)標(biāo)標(biāo)準(zhǔn)：確定技術(shù)標(biāo)和商務(wù)標(biāo)的權(quán)重分配，以及技術(shù)標(biāo)內(nèi)部的分項(xiàng)權(quán)重。

step2- 收集并組織信息：獲取每家公司的技術(shù)標(biāo)評(píng)分（公司經(jīng)驗(yàn)、實(shí)施方案、人員配備）和

商務(wù)標(biāo)報(bào)價(jià)。

step3- 計(jì)算技術(shù)標(biāo)得分：根據(jù)每家公司的具體分?jǐn)?shù)和分項(xiàng)權(quán)重，計(jì)算出技術(shù)標(biāo)總得分。

step4- 計(jì)算商務(wù)標(biāo)得分：使用最低報(bào)價(jià)作為基準(zhǔn)，計(jì)算每家公司的商務(wù)標(biāo)得分。

step5- 綜合得分計(jì)算：將技術(shù)標(biāo)和商務(wù)標(biāo)的得分按權(quán)重加總，得到每家公司的綜合得分。

step6- 確定擬中標(biāo)單位：比較各公司綜合得分，確定得分最高的公司作為擬中標(biāo)單位。

這個(gè)問題需要大語(yǔ)言模型直接理解整個(gè)過程，并歸納出問題的最終答案較為困難。

因此，我們可以通過添加 “讓我們逐步思考” 這樣的指令送給大語(yǔ)言模型。使它內(nèi)部對(duì)當(dāng)前任務(wù)

進(jìn)行拆解，逐步推理作答。這種方法屬于 zero-shot-cot，是一種簡(jiǎn)單的解決復(fù)雜邏輯推理類任

務(wù)的方法。

4）鏈?zhǔn)教崾荆╬rompt chaining）

它可以完成很復(fù)雜的任務(wù)，大語(yǔ)言模型可能無(wú)法僅用一個(gè)非常詳細(xì)的提示完成這些任務(wù)。在

鏈?zhǔn)教崾局?，提示鏈?duì)模型生成的回答執(zhí)行轉(zhuǎn)換或其他處理，直到達(dá)到期望結(jié)果。除了提高性能，

鏈?zhǔn)教崾具€有助于提高大語(yǔ)言模型應(yīng)用的透明度，增加控制性和可靠性。這意味著你可以更容易

地定位模型中的問題，分析并改進(jìn)需要提高的不同階段的性能。例如：當(dāng)前任務(wù)是根據(jù)大型文本

文檔回答問題，想要更好的閱讀大文本文檔，可以設(shè)計(jì)兩個(gè)不同的 Prompt，Prompt 1 負(fù)責(zé)提取

和問題相關(guān)的引文，Prompt 2 則將提取的引文結(jié)果作為輸入來(lái)回答給定問題。也就是創(chuàng)建了兩個(gè)

不同的 Prompt 來(lái)共同執(zhí)行文檔問答任務(wù)。

23

你是一個(gè)很有幫助的助手。你的任務(wù)是是從文檔中

提取與問題相關(guān)的引文，由 #### 分隔。請(qǐng)使用

<quotes></quotes〉輸出引文列表。如果沒有找到

相關(guān)引文，請(qǐng)回應(yīng) “未找到相關(guān)引文！”。####｛｛文

檔｝｝####。用戶問題是：｛問題｝

Prompt1 Prompt2

根據(jù)從文檔中提取的相關(guān)引文（由＜

quotes></quotes＞分隔，請(qǐng)對(duì)用戶問題進(jìn)

行回答，確保答案準(zhǔn)確、語(yǔ)言簡(jiǎn)潔流暢。用

戶問題是：｛問題｝

圖 鏈?zhǔn)教崾?/p>

2.4.1.3 提示詞工程如何構(gòu)建

在實(shí)際構(gòu)建提示詞的過程中，可以參考這個(gè)萬(wàn)能提示詞公式，來(lái)幫助我們構(gòu)建優(yōu)質(zhì)的提示詞，

從而更好的利用大語(yǔ)言模型解決問題。

一個(gè)完整的提示詞由四部分構(gòu)成：人為賦予大語(yǔ)言模型的角色、問題背景、需要具體解決的

問題（目標(biāo)或需求）、補(bǔ)充要求。

首先，需要賦予大語(yǔ)言模型一個(gè)特定的角色，以便它能更專業(yè)的回答你的問題。

然后，需要提供盡可能詳細(xì)的背景信息，以便大語(yǔ)言模型更好地理解你的問題。

接著，需要簡(jiǎn)明扼要的描述你的任務(wù)目標(biāo)或需求，提出的需求越明確，模型的回復(fù)便更有價(jià)值。

最后，可以添加一些額外的補(bǔ)充要求，它可以是對(duì)用戶需求的更明確限定，也可以是對(duì)模型

回復(fù)格式的具體要求。

24

1. 賦予角色：對(duì)大語(yǔ)言模型賦予一個(gè)特定的角色，以便它能更專業(yè)的回答你的問題。

2. 背景或現(xiàn)狀：提供盡可能詳細(xì)的背景信息，以便它更好地理解你的問題，并為你提供更準(zhǔn)確的答案。

3. 目標(biāo)或需求：簡(jiǎn)明扼要的描述你的任務(wù)目標(biāo)或需求，提出的需求越明確，獲得的答案更有價(jià)值。

4. 補(bǔ)充要求：可以是對(duì)用戶需求的更明確限定，也可以是對(duì)模型回復(fù)格式的具體要求。

提示詞 = 賦予角色 ＋背景或現(xiàn)狀＋目標(biāo)或需求＋補(bǔ)充要求

對(duì) ChatGPT 賦予一個(gè)

特定的角色，以便它能

更專業(yè)的回答你的問題。

（選填） （必填） （必填） （選填）

提供盡可能詳細(xì)的背微信息，

以便它更好地理解你的問題，

并為你捉供更準(zhǔn)確的答案。

告訴 ChatGPT 你要的簾求

是什么，提出的常求越明

確，獲得的答案更有價(jià)值。

告訴 ChatGPT，它回答

能要注意什么，或你想

讓它以什么形式來(lái)回你。

日?qǐng)?bào)撰寫小助手-Prompt

你是一個(gè)文檔撰寫助手，我需要根據(jù)每天的工作產(chǎn)出額外花費(fèi)一些精力總結(jié)生成一份

日?qǐng)?bào)文檔。請(qǐng)你根據(jù)我的工作產(chǎn)出為我生成一份日?qǐng)?bào)。要求潤(rùn)色我的工作成果并為我

制定明日工作計(jì)劃。結(jié)果需要以列表的形式呈現(xiàn)。我的主要工作產(chǎn)出是：{content)

用戶輸入

你是一名熟練SQL語(yǔ)言的碼農(nóng)，我在項(xiàng)目中開發(fā)了一些關(guān)于XX任務(wù)的SQL代碼，請(qǐng)

仔細(xì)理解我的代碼并給出對(duì)應(yīng)的優(yōu)化建議及示例。我給出的代碼是：{code}

SQL代碼優(yōu)化小助手-Prompt

用戶輸入

賦予角色

背景或現(xiàn)狀

目標(biāo)或需求

補(bǔ)充要求

圖 構(gòu)建提示詞工程

圖 構(gòu)建提示詞示例

25

2.4.2 外掛：檢索增強(qiáng)生成

2.4.2.1 什么是檢索增強(qiáng)生成

2023 年是大語(yǔ)言模型爆發(fā)元年，OpenAI GPT 系列模型的能力讓人嘆為觀止，大語(yǔ)言模型

在自然語(yǔ)言領(lǐng)域的表現(xiàn)都遠(yuǎn)超以往任何模型。但是大語(yǔ)言模型也存在很多不足。

1）知識(shí)的局限性

模型自身的知識(shí)完全源于它的訓(xùn)練數(shù)據(jù)，知識(shí)是靜態(tài)的，封閉的，有限的。

2）幻覺問題

大模型有時(shí)候會(huì)一本正經(jīng)的胡說(shuō)八道，尤其是在自身不具備某一方面的知識(shí)或是不擅長(zhǎng)的場(chǎng)

景。

3）數(shù)據(jù)的安全性

對(duì)于企業(yè)來(lái)說(shuō)，數(shù)據(jù)安全至關(guān)重要，沒有企業(yè)愿意承擔(dān)數(shù)據(jù)泄露的風(fēng)險(xiǎn)，將自身的私域數(shù)據(jù)

上傳至第三方平臺(tái)進(jìn)行訓(xùn)練。

針對(duì)上述問題，檢索增強(qiáng)生成 RAG 是一個(gè)有效的解決方案。

檢索增強(qiáng)生成，主要包括構(gòu)建索引、檢索和生成幾個(gè)環(huán)節(jié)，通過為大模型提供外部知識(shí)源，

使其能夠生成準(zhǔn)確且符合上下文的答案。

對(duì)比不使用 RAG 和使用 RAG 架構(gòu)，最終的回復(fù)會(huì)有很大的差異：

深中通道已于今年 6 月竣備通車。這

個(gè)重大基建項(xiàng)目相較于幾年前建成的港

珠澳大橋，在設(shè)計(jì)和施工中有了哪些關(guān)

鍵技術(shù)突破和工藝工法的創(chuàng)新改進(jìn)？

問題：深中通道已于今年 6 月竣備通車。

該重大基建項(xiàng)目相較于幾年前建成的港

珠澳大橋，在設(shè)計(jì)和施工中有了哪些關(guān)

鍵技術(shù)突破和工藝工法的創(chuàng)新改進(jìn)？

請(qǐng)基于以下資料回答上述問題：

片段 1：

片段 2：

由于我的知識(shí)截止日期是 2023 年，

具體的技術(shù)創(chuàng)新和改進(jìn)可能需要查

閱最新的資料和新聞報(bào)道

片 段 1：Engineering marvel to

smooth flow of traffic, wealth

across Pearl River Delta

片 段 2：Chinas Shen -

zhen-Zhongshan Link in full swing

as record-breaking subsea tunnel

completes construction

深中通道相較于早期的港珠澳大橋

（HZMB），在設(shè)計(jì)和施工方面實(shí)現(xiàn)了多個(gè)

技術(shù)創(chuàng)新和改進(jìn)：

1、水下沉管隧道結(jié)構(gòu)形式創(chuàng)新：...

2、水下沉管隧道安裝導(dǎo)航技術(shù)創(chuàng)新：...

圖 檢索增強(qiáng)生成

26

2.4.2.2 檢索增強(qiáng)生成的技術(shù)原理

檢索增強(qiáng)生成，主要包括知識(shí)掛載、知識(shí)檢索和大模型生成三個(gè)環(huán)節(jié)，如果按照細(xì)粒度拆分，

還可以拆分成十個(gè)細(xì)小的環(huán)節(jié)，如下圖。

針對(duì)用戶的知識(shí)文件，首先進(jìn)行切分處理，對(duì)切分后的數(shù)據(jù)進(jìn)行向量化處理，最后將向量化

后的知識(shí)入庫(kù)。

針對(duì)用戶的問題，首先進(jìn)行向量化，再到向量數(shù)據(jù)庫(kù)中進(jìn)行檢索，將檢索到的知識(shí)點(diǎn)和提示

詞一起送到大模型服務(wù)中，大模型會(huì)基于檢索到的信息進(jìn)行回復(fù)。

檢索增強(qiáng)生成的整個(gè)架構(gòu)流程：

2.4.2.3 檢索增強(qiáng)生成的應(yīng)用場(chǎng)景

1）場(chǎng)景一：快速更新的領(lǐng)域知識(shí)，如產(chǎn)品介紹。

2）場(chǎng)景二：要求可信可控輸出，如法律法規(guī)和行業(yè)標(biāo)準(zhǔn)有關(guān)的問答。

3）場(chǎng)景三：長(zhǎng)文檔關(guān)鍵信息檢索查詢，如施組文檔解析。

4）場(chǎng)景四：已有成熟數(shù)據(jù)庫(kù)或知識(shí)圖譜等數(shù)據(jù)。

5）場(chǎng)景五：有數(shù)據(jù)隱私保密要求的領(lǐng)域，如公共服務(wù)行業(yè)。

4、用戶提問

向量數(shù)據(jù)庫(kù)

用戶

知識(shí)文件

2、文本向量化

Embedding model

數(shù)據(jù)處理

3、向量入庫(kù)

6、向量檢索

10、回答問題

應(yīng)用

5、問題向量化

7、召回相似知識(shí)點(diǎn)

8、引入prompt

1、文本切塊

掛載知識(shí)

知識(shí)點(diǎn)向量化檢索

LLM生成

大模型服務(wù)

9、LLM生成答案

圖 檢索增強(qiáng)生成技術(shù)原理

27

2.4.2.2 檢索增強(qiáng)生成的實(shí)際案例

當(dāng)然，除了這些應(yīng)用場(chǎng)景，RAG 還有很多其他潛在的應(yīng)用場(chǎng)景。

AecPilot 是一款Copilot應(yīng)用產(chǎn)品，通過檢索的方式來(lái)增強(qiáng)大模型的能力。用戶上傳一個(gè)文檔，

然后會(huì)有一個(gè)解析的過程，解析完成后，用戶可以針對(duì)這個(gè)文檔進(jìn)行提問，然后 AecPilot 會(huì)基于

解析后的內(nèi)容進(jìn)行檢索和回復(fù)。

場(chǎng)景 1 ：快速更新

的領(lǐng)域知識(shí)，如產(chǎn)

品介紹

場(chǎng)景 2 ：可信 &可

控輸出，如法律法

規(guī)和行業(yè)標(biāo)準(zhǔn)

場(chǎng)景 4 ：已經(jīng)有

成熟 SQL 數(shù)據(jù)、

知識(shí)圖譜等

場(chǎng)景 3 ： 長(zhǎng)文檔

關(guān)鍵信息檢索查

詢，如施組解析

場(chǎng)景 5 ：有數(shù)據(jù)隱

私保密要求的領(lǐng)域，

如公共服務(wù)行業(yè)

xxxxxxxx

xxxx

xxxxxxxx xxxxxxxx

xxxxxxxx xxxxxxxx

xxxx

xxxx

xxxx

xxxx

xxxx

xxxxxxxxxx

xxxx

圖 檢索增強(qiáng)生成典型應(yīng)用場(chǎng)景

圖 AecPilot

2.4.2.5 檢索增強(qiáng)生成的發(fā)展趨勢(shì)和展望

28

上圖左側(cè)是傳統(tǒng)的 RAG 架構(gòu)。

進(jìn)階版 RAG：在傳統(tǒng) RAG 的基礎(chǔ)上，衍生出了進(jìn)階版 RAG（上圖中），比傳統(tǒng) RAG 增加了

檢索前和檢索后優(yōu)化。

模塊化 RAG：通過模塊之間編排（上圖右），RAG 系統(tǒng)的設(shè)計(jì)和構(gòu)建變得更加便利，更容易

定位到有問題的環(huán)節(jié)。模塊化 RAG 已經(jīng)成為構(gòu)建 RAG 應(yīng)用的新標(biāo)準(zhǔn)范式。

2.4.3 優(yōu)化：精調(diào)

2.4.3.1 什么是有監(jiān)督精調(diào)

目標(biāo)：讓大模型具備基礎(chǔ)的問答能力，實(shí)現(xiàn)人類的指令對(duì)齊。

數(shù)據(jù)：?jiǎn)柎饘?duì)數(shù)據(jù)，使用下游問題與匹配的回答來(lái)構(gòu)建問答對(duì)，讓模型獲得目標(biāo)問題的回復(fù)

能力。

2.4.3.2 有監(jiān)督精調(diào)存在的問題

1）模型過擬合

大語(yǔ)言模型參數(shù)量極大，當(dāng)前主流的模型參數(shù)在 70 億，140 億，320 億，甚至 720 億到千億

級(jí)別的大模型，模型對(duì)語(yǔ)言數(shù)據(jù)可以快速擬合記憶，導(dǎo)致同等體量的數(shù)據(jù)在小規(guī)模參數(shù)量上模型

過擬合，無(wú)法泛化。

圖 檢索增強(qiáng)生成的發(fā)展趨勢(shì)和展望

29

在 P-tuning 微調(diào)中，引入了 virtual Token 這一概念，添加在我們所問的問題前方。

舉個(gè)例子來(lái)解釋，假如我們所問的問題是一個(gè)數(shù)學(xué)問題，那模型將會(huì)在它所知道的所有知識(shí)

中去尋找目標(biāo)答案，也就是說(shuō)在龐大的知識(shí)中去尋找所有數(shù)學(xué)相關(guān)的知識(shí)，然后盡量的告訴我們

一個(gè)正確的答案，這對(duì)模型來(lái)說(shuō)比較難。那如果可以使 用 virtual Token 的方法引入一個(gè)提示，

通過這個(gè)提示告訴模型，我們所問的問題具體是哪一個(gè)數(shù)學(xué)問題，或者是哪一類數(shù)學(xué)問題，這樣

一來(lái)，模型就會(huì)縮小它的搜索空間，因此可以在更少的知識(shí)空間中更精準(zhǔn)的找到我們所需的正確

答案。

2）P-tuning V2 微調(diào)

相比于 P-tuning 微調(diào)，P-tuning V2 微調(diào)在模型的每一層中引入了 prompt，也就是 virtual

Token 這樣的一個(gè)結(jié)構(gòu)，因此，模型可以逐級(jí)的去細(xì)分我們所問的問題，以盡量的找出更精準(zhǔn)的

答案與更好的回復(fù)，進(jìn)而提升模型最終的表現(xiàn)能力。

2）模型的訓(xùn)練效率問題

在有監(jiān)督學(xué)習(xí)調(diào)整整個(gè)模型訓(xùn)練參數(shù)的過程之中，存在所需更新的參數(shù)量太大、耗時(shí)巨大、

模型參數(shù)量巨大等問題，導(dǎo)致顯存占用極高，設(shè)備資源要求極高，無(wú)法滿足下游細(xì)分任務(wù)的迭代

需求與成本需求。

為此，業(yè)界提出了不同的解決方案，例如使用輕量化微調(diào)的方法 如 LoRA 微調(diào)，p-tuning 微

調(diào)，以及部分凍結(jié)的方法來(lái)實(shí)現(xiàn)下游任務(wù)的匹配和降低訓(xùn)練資源的要求。

2.4.3.3 輕量化微調(diào)的幾種方法

1）P-tuning 微調(diào)

圖 P-tuning 微調(diào)

圖 P-tuning V2 微調(diào)

30

3）LoRA 微調(diào)

LoRA 微調(diào)可以說(shuō)是當(dāng)前應(yīng)用范圍最廣、效果最好的微調(diào)方法之一。

LoRA 微調(diào)可以有效的降低所需要更新的參數(shù)量，同時(shí)盡量的避免模型過擬合，更重要的是

可以最大程度的保留模型原有的能力。

在 LoRA 微調(diào)中，會(huì)引入 “低秩矩陣” 這一概念，這是 LoRA 微調(diào)的核心。

首先我們會(huì)凍結(jié)原有的模型權(quán)重 W0，意味著我們不去對(duì)原有的模型權(quán)重 W0 做更新，此時(shí)不

會(huì)產(chǎn)生一個(gè) Delta W 的參數(shù)的修改；作為替代的是，LoRA 會(huì)使用兩個(gè)更小的矩陣 B 和 A 來(lái)近似

原本所需要更新的 Delta W。于是，在 B 與 A 這兩個(gè)更小的矩陣中，模型所需要更新的參數(shù)量變

為 2R 乘以 d，而模型原先所需要更新的 Delta W 值為 d 乘 d ，不難看出，這一操作可以有效的

降低模型所需要更新的參數(shù)量，同時(shí)模型并沒有更新原有的模型權(quán)重 W0， 可以最大的保持模型原

有的能力。

由此，我們可以在盡量少更新參數(shù)量的情況之下，讓模型適應(yīng)下游任務(wù)，同時(shí)保留模型原有

的表現(xiàn)能力。

4）QLoRA 微調(diào)

相比于 LoRA 微調(diào)，QLoRA 微調(diào)所做的最大改變是使用更小尺寸的數(shù)據(jù)來(lái)加載我們的模型。

圖 LoRA 微調(diào)

圖 QLoRA 微調(diào)

31

在 QLoRA 出現(xiàn)之前，我們加載模型會(huì)使用 16bit 的數(shù)據(jù)來(lái)進(jìn)行模型的加載，因此模型所占的

顯存空間相對(duì)較大；而在 QLoRA 中，我們使用 4bit 的數(shù)據(jù)來(lái)加載我們的模型，模型尺寸縮小為

原來(lái)的 1/4 ，可以進(jìn)一步的節(jié)省顯存資源；同時(shí)，基于 LoRA 微調(diào)的旁路方法，不去更新整個(gè)模

型的權(quán)重，而是更新 B 和 A 矩陣，由此進(jìn)一步的節(jié)省微調(diào)所需要的計(jì)算和算力資源。

5）部分凍結(jié)的微調(diào)方法

上圖是 AecGPT 的模型架構(gòu)，是一種 Decoder-only 結(jié)構(gòu)的模型，其主要由 N 個(gè)

transformer 模型塊構(gòu)成，因此我們可以考慮使用部分權(quán)重參數(shù)凍結(jié)的方法來(lái)微調(diào)我們的模型。

我們會(huì)復(fù)用模型的主要權(quán)重，不對(duì)模型所有層的權(quán)重進(jìn)行調(diào)整，盡量保留和復(fù)用模型的知識(shí)，而

針對(duì)下游任務(wù)去微調(diào)部分層。

在 transformer 模型中，淺層結(jié)構(gòu)學(xué)習(xí)更基礎(chǔ)的信息表征，例如字、詞、含義；深層結(jié)構(gòu)學(xué)

習(xí)更復(fù)雜的表征，例如上下文中的含義、句子段落級(jí)別的含義，那么只要對(duì)不同層微調(diào)，就可以

實(shí)現(xiàn)不同層級(jí)表征的調(diào)整，同時(shí)保留不需要調(diào)整的層的權(quán)重，復(fù)用模型的能力。

具體該微調(diào)哪些層呢？其實(shí)，只去調(diào)整具有更高層級(jí)抽象含義的層，也就是調(diào)整更靠后的層，就

夠了。

通過部分權(quán)重調(diào)整的方式，可以降低資源消耗，以及對(duì)算力的要求，同時(shí)可以加速迭代速度，

降低模型過擬合的可能性。在實(shí)際任務(wù)中，可以根據(jù)具體的需求資源以及實(shí)際的下游任務(wù)來(lái)選擇

適合的微調(diào)方法，實(shí)現(xiàn)對(duì)下游任務(wù)的適應(yīng)。

圖 部分凍結(jié)微調(diào)

2.4.4 原生：增量預(yù)訓(xùn)練

在大模型的訓(xùn)練過程中，主要包含以下幾個(gè)訓(xùn)練階段：

第一階段：預(yù)訓(xùn)練階段

在這一階段，模型主要去學(xué)習(xí)文本數(shù)據(jù)中的知識(shí)，獲得詞匯的表征含義，學(xué)會(huì)句子段落級(jí)別

的含義內(nèi)容；這一階段主要的學(xué)習(xí)數(shù)據(jù)是龐大的，文本數(shù)據(jù)通常包含 trillion 級(jí)的 Token 字符。

第二階段：有監(jiān)督學(xué)習(xí)階段

這一階段，也就是我們所說(shuō)的微調(diào)階段。在這一階段，我們的主要目標(biāo)是讓模型具備基礎(chǔ)的

問答能力，實(shí)現(xiàn)人類的指令對(duì)齊。這一階段所使用的數(shù)據(jù)主要是問答對(duì)數(shù)據(jù)，使用下游問題與相

應(yīng)匹配的回答來(lái)構(gòu)建問答對(duì)，讓模型獲得目標(biāo)問題的回復(fù)能力。

第三個(gè)階段：人類反饋強(qiáng)化學(xué)習(xí)階段

在這一階段，模型主要是學(xué)會(huì)人類語(yǔ)言風(fēng)格，讓模型回答接近人類對(duì)話，提升模型回復(fù)的幫

助性與有效性，來(lái)進(jìn)一步提升指令對(duì)齊的表現(xiàn) ；這一階段所使用的數(shù)據(jù)主要是經(jīng)過評(píng)分的回答數(shù)據(jù)，

用于訓(xùn)練獎(jiǎng)勵(lì)模型之后服務(wù)于 PPO 算法。

2.4.4.1 什么是預(yù)訓(xùn)練

大模型在預(yù)訓(xùn)練的過程中，主要是學(xué)習(xí)文本數(shù)據(jù)中的知識(shí)，獲得詞匯的表示含義，學(xué)會(huì)句子段

落級(jí)別的含義內(nèi)容；所學(xué)的數(shù)據(jù)主要是基于龐大的文本數(shù)據(jù)，通常包含 Trillion 級(jí)，也就是萬(wàn)億級(jí)

的 Token 字符；所學(xué)的內(nèi)容主要是包含法律法規(guī)、專利文件、書本、網(wǎng)絡(luò)信息等等，基本上涵蓋

了整個(gè)互聯(lián)網(wǎng)上的所有文本信息。

預(yù)訓(xùn)練過程中，模型的學(xué)習(xí)主要是基于下一個(gè) Token 的預(yù)測(cè)來(lái)實(shí)現(xiàn)模型的訓(xùn)練。

32

圖 預(yù)訓(xùn)練

上圖中，使用 ‘這是一個(gè)測(cè)試’ 作為模型的輸入，那么模型在輸入 ‘這’ 的時(shí)候，它預(yù)測(cè)的下

一個(gè)字符應(yīng)該是 ‘是’，在輸入 ‘這是’ 的時(shí)候，它會(huì)預(yù)測(cè)下一個(gè)字符應(yīng)該是 ‘一’，從而實(shí)現(xiàn)對(duì)整

句話的預(yù)測(cè)。

2.4.4.2 預(yù)訓(xùn)練與繼續(xù)預(yù)訓(xùn)練

在預(yù)訓(xùn)練的過程中，我們主要是使用海量的數(shù)據(jù)，從零構(gòu)建大模型，讓模型基于下一個(gè)

Token 預(yù)測(cè)進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)模型對(duì)詞匯句子段落級(jí)別的語(yǔ)義學(xué)習(xí)，又叫完全預(yù)訓(xùn)練。

模型所需的數(shù)據(jù)量與運(yùn)算資源極其龐大，一般基于 Trillion，也就是萬(wàn)億級(jí)的 Token 進(jìn)行訓(xùn)練，

需要上千 GPU 集群進(jìn)行長(zhǎng)達(dá)數(shù)月的訓(xùn)練學(xué)習(xí)。

優(yōu)勢(shì)是，預(yù)訓(xùn)練可以根據(jù)自己的需求，從零定制自己的目標(biāo)模型，獲得最好的目標(biāo)表現(xiàn)；劣勢(shì)是，

預(yù)訓(xùn)練構(gòu)建的難度極大，成本極高，當(dāng)前主要由頭部公司來(lái)實(shí)現(xiàn)這一步。

而繼續(xù)預(yù)訓(xùn)練中，我們可以從底層為模型注入相關(guān)領(lǐng)域知識(shí)，模型可以重新學(xué)習(xí)相關(guān)領(lǐng)域的

詞匯表達(dá)語(yǔ)句與段落級(jí)別的表達(dá)，主要服務(wù)于垂直領(lǐng)域模型的構(gòu)建。

在數(shù)據(jù)量上，繼續(xù)預(yù)訓(xùn)練一般基于 Billion 級(jí)別的 Token，也就是十億級(jí)，是遠(yuǎn)遠(yuǎn)小于預(yù)訓(xùn)練

階段的。在運(yùn)算資源上，通常使用 8 卡 GPU，可以在幾十至幾百小時(shí)內(nèi)完成繼續(xù)預(yù)訓(xùn)練，而不需

要千卡集群，長(zhǎng)達(dá)數(shù)月來(lái)完成預(yù)訓(xùn)練的任務(wù)。

在繼續(xù)預(yù)訓(xùn)練中，繼續(xù)預(yù)訓(xùn)練的成本是大幅低于完全預(yù)訓(xùn)練的，但相比于微調(diào)而言，依舊是

需要一定的計(jì)算資源與數(shù)據(jù)量。

2.4.5 多種方式組合

案例：廣聯(lián)達(dá) AI 行業(yè)大模型

行業(yè) AI 大模型是在通用大模型基礎(chǔ)上增強(qiáng)了模型的垂類領(lǐng)域知識(shí)，能更好地適配和解決垂類

任務(wù)或問題。前文提到的預(yù)訓(xùn)練、微調(diào)、檢索增強(qiáng)生成和提示詞工程都是可以增強(qiáng)垂類知識(shí)的方法，

但效果與投入成正比。方案選型上需要綜合考量該垂類的知識(shí)豐富度、數(shù)據(jù)的動(dòng)態(tài)性、復(fù)雜度和

投入產(chǎn)出比。

廣聯(lián)達(dá)建筑大模型 AecGPT 是在國(guó)內(nèi)開源的通用基座大模型基礎(chǔ)上，在預(yù)訓(xùn)練階段加入了

7000 萬(wàn) Token 以上的建筑領(lǐng)域語(yǔ)料進(jìn)行二次增訓(xùn)，使模型對(duì)建筑領(lǐng)域知識(shí)體系有完整的吸收與

理解，之后再通過千萬(wàn)條高質(zhì)量的建筑領(lǐng)域指令數(shù)據(jù)進(jìn)行了 SFT 和 RLHF。

而廣聯(lián)達(dá) AecPilot 和 AI 一體機(jī)，就是結(jié)合了建筑大模型 AecGPT，RAG 以及提示詞工程等

多種方式組合而成，是實(shí)際案例。

33

1）為什么從預(yù)訓(xùn)練開始？

建筑領(lǐng)域是一個(gè)高度專業(yè)化和多學(xué)科交叉的領(lǐng)域，涉及工程學(xué)、物理學(xué)、材料科學(xué)、環(huán)境科

學(xué)等多個(gè)學(xué)科的知識(shí)。建筑技術(shù)不斷發(fā)展，結(jié)構(gòu)設(shè)計(jì)、施工技術(shù)、智能建筑系統(tǒng)等，每種技術(shù)都

有其特定的應(yīng)用和要求。

以上因素決定了，單一的指令微調(diào)無(wú)法覆蓋所有建筑領(lǐng)域知識(shí)和任務(wù)，僅僅依靠通用的大模

型做檢索增強(qiáng)生成和優(yōu)化提示詞，很難讓模型具備較好的建筑領(lǐng)域理解能力。

2）為什么需要針對(duì)建筑領(lǐng)域做 SFT 和 RLHF ？

建筑項(xiàng)目必須遵守各種地方、國(guó)家和國(guó)際的法律法規(guī)以及建筑標(biāo)準(zhǔn)，這些法規(guī)和標(biāo)準(zhǔn)經(jīng)常更

新，增加了復(fù)雜性。另外，建筑項(xiàng)目通常涉及多個(gè)利益相關(guān)者，包括業(yè)主、設(shè)計(jì)師、承包商、供

應(yīng)商等，需要協(xié)調(diào)各方的需求和期望，因此只有通過針對(duì)建筑領(lǐng)域特定的 SFT 和 RLHF，才能滿

足建筑領(lǐng)域細(xì)分場(chǎng)景的針對(duì)性需求、專業(yè)風(fēng)格和偏好需要等。此外，從合法合規(guī)角度，對(duì)于用戶

提出的一些問題需要拒絕回答。

3）為什么需要 RAG ？

通用大模型的創(chuàng)新性往往來(lái)自于它的幻覺，但不同于寫作，文案生成等場(chǎng)景，建筑場(chǎng)景對(duì)法

律法規(guī)以及規(guī)范中的規(guī)定，數(shù)值等的時(shí)效性和準(zhǔn)確性有很高的要求，需要通過檢索增強(qiáng)生成 RAG

提供更加實(shí)時(shí)且可靠的信息，同時(shí)依賴 RAG 可以有效降低大模型的幻覺。

總之，在專業(yè)、合規(guī)、實(shí)時(shí)和準(zhǔn)確的基礎(chǔ)要求下，廣聯(lián)達(dá) AI 行業(yè)大模型選擇從預(yù)訓(xùn)練階段進(jìn)

行二次增量訓(xùn)練開始，經(jīng)過有監(jiān)督學(xué)習(xí) SFT 和 DPO 強(qiáng)化學(xué)習(xí)，在實(shí)際推理階段又整合內(nèi)部建筑

領(lǐng)域知識(shí)庫(kù)輔助大模型生成，一舉實(shí)現(xiàn)在建筑場(chǎng)景任務(wù)中效果遠(yuǎn)超通用大模型。

34

圖 廣聯(lián)達(dá)建筑行業(yè)大模型

同步發(fā)布多尺寸模型

AecGPT4-7B-Chat

AecGPT4-72B-Chat

滿足不同場(chǎng)景速度與性能需求

高速場(chǎng)景下，有限部署資

源，可使用7B模型

高性能要求，多部署資源，

可使用72B模型

Magpie自引導(dǎo)數(shù)據(jù)生成

挖掘模型內(nèi)涵數(shù)據(jù)

數(shù)據(jù)與模型原始訓(xùn)練數(shù)據(jù)分布保持一致

提升數(shù)據(jù)質(zhì)量

數(shù)據(jù)分片優(yōu)化

復(fù)合長(zhǎng)度數(shù)據(jù)樣本，獲得更長(zhǎng)上下文訓(xùn)練

基于分片數(shù)據(jù)，實(shí)現(xiàn)知識(shí)隔離，保持模型能力

基于分片策略，訓(xùn)練數(shù)據(jù)多樣性進(jìn)一步增加，

樣本量進(jìn)一步增加

對(duì)比AecGPT3，增加RLHF階段

采用直接策略優(yōu)化（Direct Preference Optimization)

算法對(duì)模型進(jìn)行人類偏好對(duì)齊

提升了模型輸出質(zhì)量，增加了模型回答完整度，獲得更

好表現(xiàn)

多尺寸同步發(fā)布

訓(xùn)練數(shù)據(jù)進(jìn)一步增量

RLHF階段補(bǔ)齊

數(shù)據(jù)重構(gòu)優(yōu)化

AecGPT4

預(yù)訓(xùn)練階段

由約5千3百萬(wàn)大幅提升至約2億3千萬(wàn)

有監(jiān)督學(xué)習(xí)：

由約8千5百萬(wàn)提升到1億2千萬(wàn)

4）有什么需要注意的關(guān)鍵點(diǎn)？

一是通用大模型還無(wú)法勝任 ‘通用’ 二字，對(duì)于下游細(xì)分任務(wù)場(chǎng)景，通用大模型無(wú)法一步到位滿足需求，

仍然需要人為干預(yù)，進(jìn)行過程中的業(yè)務(wù)拆解，然后讓大模型逐步解決，各個(gè)擊破；二是從目前來(lái)看，通

用大模型還無(wú)法做到開箱即用，它需要與各個(gè)場(chǎng)景沉淀的行業(yè)小模型搭配使用，才能將價(jià)值發(fā)揮到極致。

35

2.5.1 平臺(tái)概述

行業(yè) AI 大模型的應(yīng)用不僅僅局限于提供模型和工具，更關(guān)鍵的是提供全面的服務(wù)支持。這意

味著廠商需要為客戶提供定制化服務(wù)，幫助他們根據(jù)自身的業(yè)務(wù)需求進(jìn)行模型的微調(diào)，以滿足特

定的應(yīng)用場(chǎng)景。廣聯(lián)達(dá)行業(yè) AI 平臺(tái)，使企業(yè)能夠通過簡(jiǎn)單的操作界面，選擇基礎(chǔ)模型、訓(xùn)練數(shù)據(jù)

和微調(diào)方法，高效完成模型的訓(xùn)練和優(yōu)化。

廣聯(lián)達(dá)行業(yè) AI 平臺(tái)（以下簡(jiǎn)稱 “平臺(tái)”）是服務(wù)企業(yè)和行業(yè)客戶的一站式 AI 開發(fā)及服務(wù)運(yùn)行

平臺(tái)。降低大模型應(yīng)用開發(fā)門檻，加速企業(yè)AI開發(fā)效率。平臺(tái)不僅提供AecGPT建筑行業(yè)AI大模型，

還提供了各種 AI 開發(fā)工具和整套開發(fā)環(huán)境，方便開發(fā)者輕松使用和開發(fā)行業(yè) AI 應(yīng)用。支持?jǐn)?shù)據(jù)

管理、模型精調(diào)以及推理服務(wù)部署的一站式 AI 定制服務(wù)，助力行業(yè) AI 應(yīng)用需求落地。

平臺(tái)核心覆蓋的 AI 應(yīng)用場(chǎng)景包括：

1）領(lǐng)域知識(shí)檢索

基于平臺(tái)已有的建筑行業(yè)領(lǐng)域知識(shí)庫(kù)，進(jìn)行行業(yè)知識(shí)查詢。

場(chǎng)景：建筑行業(yè)法律法規(guī)查詢、行業(yè)標(biāo)準(zhǔn)規(guī)范查詢、行業(yè)知識(shí)問答、產(chǎn)品數(shù)據(jù)庫(kù)查詢等。

2）對(duì)話溝通

針對(duì)用戶需求，以對(duì)話溝通的形式快速應(yīng)答，提升服務(wù)效率及客戶體驗(yàn)。

場(chǎng)景：智能客服、產(chǎn)品答疑助手、項(xiàng)目經(jīng)理助手。

3）分析處理

根據(jù)用戶需求，結(jié)合已有數(shù)據(jù)，智能分析并生成結(jié)構(gòu)化數(shù)據(jù)、解決方案等。

生成類場(chǎng)景：數(shù)據(jù)報(bào)表生成、解決方案生成、問答對(duì)生成。

內(nèi)容分析類場(chǎng)景：文章摘要、關(guān)鍵詞提取、文本內(nèi)容分析等。

2.5 行業(yè) AI 開發(fā)工具鏈：行業(yè) AI 平臺(tái)

36

4）內(nèi)容創(chuàng)作

根據(jù)用戶需求，生成相關(guān)的文本、圖像等。

文本生成類場(chǎng)景：產(chǎn)品描述、營(yíng)銷文案生成。

圖像生成類場(chǎng)景：建筑效果圖生成。

2.5.2 平臺(tái)優(yōu)勢(shì)

平臺(tái)憑借其在建筑領(lǐng)域的數(shù)據(jù)、模型、應(yīng)用工具等的打磨，以卓越的技術(shù)實(shí)力和深度定制化

能力脫穎而出。其核心優(yōu)勢(shì)在于以下幾點(diǎn)：

1）基礎(chǔ)強(qiáng)大、行業(yè)專用

平臺(tái)基于建筑領(lǐng)域大模型 AecGPT 開發(fā)，內(nèi)置千萬(wàn)級(jí)別的行業(yè)數(shù)據(jù)，采用多種推理與訓(xùn)練框

架作為底層支撐，并內(nèi)置大模型技術(shù)。用戶通過少量數(shù)據(jù)調(diào)整，可輕松獲得針對(duì)建筑領(lǐng)域的高精

度和高性能的大模型。

2）流程完善、發(fā)布便捷

平臺(tái)提供一站式服務(wù)，涵蓋數(shù)據(jù)集管理、模型訓(xùn)練、應(yīng)用開發(fā)、服務(wù)發(fā)布與監(jiān)管，通過可視

化界面實(shí)現(xiàn)模型全生命周期管理，簡(jiǎn)化從數(shù)據(jù)到服務(wù)的大模型實(shí)施過程，易于上手與理解。

3）安全可靠、一鍵啟用

平臺(tái)提供企業(yè)級(jí)服務(wù)，對(duì)推理內(nèi)容進(jìn)行審核與敏感詞過濾，確保安全可信。

4）插件豐富，能力多元

平臺(tái)集成了豐富的插件工具，可以極大地拓展 Agent 應(yīng)用的能力邊界。目前平臺(tái)已經(jīng)集成了

多種行業(yè)應(yīng)用插件，例如瀏覽器、多模態(tài)、文本生成、知識(shí)庫(kù)、大模型、文生圖。例如使用定制

AI 設(shè)計(jì)插件，進(jìn)行方案提取、概念圖生成等一系列應(yīng)用。

自定義插件：平臺(tái)也支持創(chuàng)建自定義插件。用戶可以將已有的 API 能力通過參數(shù)配置的方式

快速創(chuàng)建一個(gè)插件讓 Agent 調(diào)用。

5）專業(yè)多元的數(shù)據(jù)處理

平臺(tái)支持多種專業(yè)數(shù)據(jù)的處理，提供了簡(jiǎn)單易用的知識(shí)庫(kù)功能來(lái)管理和存儲(chǔ)數(shù)據(jù)，支持企業(yè)

Agent 應(yīng)用與用戶自己的數(shù)據(jù)進(jìn)行交互，無(wú)論是內(nèi)容量巨大的本地文件還是某個(gè)網(wǎng)站的實(shí)時(shí)信息，

都可以上傳到知識(shí)庫(kù)中。

內(nèi)容格式：知識(shí)庫(kù)支持添加文本格式、表格格式、照片格式的數(shù)據(jù)。

內(nèi)容上傳： 知識(shí)庫(kù)支持 PDF、word、txt、markdown，JSON 等多種數(shù)據(jù)文件格式，支持標(biāo)

書、施工組織、圖集、圖紙、行業(yè)法規(guī)等專業(yè)數(shù)據(jù)處理，用戶也可以直接在知識(shí)庫(kù)內(nèi)添加自定義數(shù)據(jù)。

37

6）面向工程本文分析提取的工作流搭建

平臺(tái)的 workflow 功能可以用來(lái)處理基于超長(zhǎng)工程文本（工程標(biāo)書、施工組織設(shè)計(jì)文件）邏輯

復(fù)雜，且有較高穩(wěn)定性要求的任務(wù)流。平臺(tái)提供了靈活可組合的節(jié)點(diǎn)包括大語(yǔ)言模型、LLM、自

定義代碼、判斷邏輯等，無(wú)論用戶是否有編程基礎(chǔ)，都可以通過拖拉拽的方式快速搭建一個(gè)工作流。

例如：創(chuàng)建一個(gè)智能評(píng)標(biāo)應(yīng)用，對(duì)百萬(wàn)字級(jí)別標(biāo)書進(jìn)行 AI 智能評(píng)審，輸出穩(wěn)定且快速；創(chuàng)建一個(gè)

進(jìn)度生成應(yīng)用，對(duì)數(shù)十萬(wàn)字的施工組織設(shè)計(jì)文件進(jìn)行信息提取并生成進(jìn)度信息。

2.5.3 平臺(tái)應(yīng)用流程

平臺(tái)使用流程極為便捷，核心包括 5 步，如圖所示分別是數(shù)據(jù)導(dǎo)入、數(shù)據(jù)標(biāo)注、模型訓(xùn)練、

應(yīng)用編排、應(yīng)用對(duì)接。該步驟旨在降低企業(yè)客戶上手門檻，針對(duì)具體應(yīng)用場(chǎng)景，可酌情跳過不必

要的步驟。

數(shù)據(jù)導(dǎo)入 數(shù)據(jù)標(biāo)注 模型訓(xùn)練

應(yīng)用編排 應(yīng)用對(duì)接

AI原生應(yīng)用

引擎

AI應(yīng)用

大模型

Agent編排中心

數(shù)據(jù)集管理 提詞工程PE

知識(shí)中心

單體Agent服務(wù)

AI資產(chǎn)中心

算力底座英偉達(dá) 華為昇騰

AI可信治理

群體Agent服務(wù)

檢索增強(qiáng)搜索RAG

模型接入 模型測(cè)評(píng) 模型微調(diào)

模型中心

AecGPT AecGPT-V AecDiffusion CV/NLP

數(shù)據(jù)工具 AI訓(xùn)練框架 AI推理框架 算力調(diào)度 GPU加速

公有云/私有云

AI算量 AI斑馬進(jìn)度 AI物資管理 AI交易 AI安全 AI教育 AI設(shè)計(jì)

2.5.4 平臺(tái)架構(gòu)

平臺(tái)架構(gòu)如下圖所示，行業(yè) AI 平臺(tái)集成了 AI 原生應(yīng)用引擎、大模型、算力底座三層功能。

圖 平臺(tái)架構(gòu)

圖 平臺(tái)應(yīng)用流程

38

2.5.4.1 AI 原生應(yīng)用引擎

AI 原生應(yīng)用引擎層包含三部分：Agent 編排中心、知識(shí)中心和模型中心，各自包含多個(gè)關(guān)鍵

技術(shù)組件，旨在構(gòu)建和管理大語(yǔ)言模型的應(yīng)用。以下是對(duì)每個(gè)中心及其包含的組件的詳細(xì)技術(shù)描述。

1）Agent 編排中心

Agent 編排中心負(fù)責(zé)協(xié)調(diào)和管理各種智能代理的服務(wù)，提供單體和群體代理的支持。

單體 Agent 服務(wù)：這個(gè)組件通過語(yǔ)義內(nèi)核為單個(gè)智能代理提供服務(wù)，能夠處理復(fù)雜的任務(wù)，

支持自然語(yǔ)言理解和任務(wù)的自動(dòng)化執(zhí)行。它利用語(yǔ)義搜索和上下文管理，使智能代理能夠準(zhǔn)確理

解和回應(yīng)用戶的需求。

群體 Agent 服務(wù)：與單體 Agent 不同，群體 Agent 服務(wù)能夠協(xié)調(diào)多個(gè)代理協(xié)同工作，實(shí)現(xiàn)

復(fù)雜任務(wù)的分布式處理和多代理間的通信與合作。它通過代理之間的角色分配和協(xié)作，提升任務(wù)

的處理效率和應(yīng)對(duì)復(fù)雜問題的能力。

2）知識(shí)中心

知識(shí)中心專注于知識(shí)的管理、提取和增強(qiáng)，為 Agent 提供強(qiáng)大的知識(shí)支撐。

數(shù)據(jù)集管理：這個(gè)組件負(fù)責(zé)大規(guī)模數(shù)據(jù)集的管理，利用 Fitz Lib 提供高效的數(shù)據(jù)管理功能，

包括數(shù)據(jù)的收集、存儲(chǔ)、預(yù)處理和檢索。數(shù)據(jù)集管理確保數(shù)據(jù)的完整性和一致性，為模型的訓(xùn)練

和推理提供高質(zhì)量的數(shù)據(jù)支持。

圖 Agent 編排頁(yè)面

39

提示詞工程 PE：是一個(gè)強(qiáng)大的提詞工程（Prompt Engineering）工具，支持生成式預(yù)訓(xùn)練模

型的提示生成和優(yōu)化。通過精確的提示設(shè)計(jì)，它能夠提高模型的生成質(zhì)量和任務(wù)的成功率，使智

能代理能夠更好地理解和執(zhí)行任務(wù)。

圖 平臺(tái)數(shù)據(jù)集管理功能

圖 平臺(tái) prompt 模板

40

檢索增強(qiáng)生成 RAG：RAG 即 Retrieval-Augmented Generation，結(jié)合檢索和生成技術(shù)，通

過引用外部知識(shí)庫(kù)的信息來(lái)生成答案或內(nèi)容，具有較強(qiáng)的可解釋性和定制能力，適用于問答系統(tǒng)、

文檔生成、智能助手等多個(gè)自然語(yǔ)言處理任務(wù)中。RAG 模型的優(yōu)勢(shì)在于通用性強(qiáng)、可實(shí)現(xiàn)即時(shí)的

知識(shí)更新，以及通過端到端評(píng)估方法提供更高效和精準(zhǔn)的信息服務(wù)。

3）模型中心

模型中心負(fù)責(zé)模型的接入、微調(diào)和評(píng)測(cè)，是平臺(tái)的核心計(jì)算引擎。

模型接入：該組件遵循 OpenAI 的接入規(guī)范，支持多種模型的無(wú)縫集成。它通過標(biāo)準(zhǔn)化的

API 接口，確保不同模型之間的兼容性和互操作性，方便平臺(tái)在各種應(yīng)用場(chǎng)景中靈活使用不同的模

型。

模型微調(diào)：支持對(duì)語(yǔ)言模型進(jìn)行二次訓(xùn)練和優(yōu)化。通過針對(duì)特定領(lǐng)域或任務(wù)的微調(diào)，能夠

顯著提高模型的應(yīng)用效果，確保模型能夠更好地適應(yīng)特定的業(yè)務(wù)需求。

模型評(píng)測(cè)：提供全面的模型評(píng)估和驗(yàn)證功能。它通過多維度的評(píng)測(cè)指標(biāo)，評(píng)估模型的性能

和效果，確保所選用的模型能夠滿足實(shí)際應(yīng)用的需求。

圖 平臺(tái)知識(shí)庫(kù)功能

41

2.5.4.2 大模型層

大模型層是平臺(tái)的核心技術(shù)支撐部分，確保大規(guī)模模型的高效訓(xùn)練、推理以及計(jì)算資源的有

效利用。該層包含多個(gè)關(guān)鍵組件，分別為數(shù)據(jù)工具、AI 訓(xùn)練框架、AI 推理框架、算力調(diào)度以及

GPU 加速。以下是對(duì)這些組件的詳細(xì)介紹：

1）數(shù)據(jù)工具

數(shù)據(jù)工具是大模型訓(xùn)練和推理的重要前置環(huán)節(jié)，提供了對(duì)數(shù)據(jù)的高效管理和處理能力。該工

具負(fù)責(zé)數(shù)據(jù)的預(yù)處理、清洗、增強(qiáng)等操作，確保輸入模型的數(shù)據(jù)高質(zhì)量且格式一致。它還能對(duì)不

同來(lái)源的數(shù)據(jù)進(jìn)行整合，提供一個(gè)統(tǒng)一的數(shù)據(jù)輸入接口，從而保證訓(xùn)練數(shù)據(jù)的多樣性和代表性。

2）AI 訓(xùn)練框架

AI 訓(xùn)練框架是支持大規(guī)模模型訓(xùn)練的核心組件。它提供了分布式訓(xùn)練、混合精度訓(xùn)練等先進(jìn)

技術(shù)，能夠充分利用多臺(tái)機(jī)器和 GPU 資源，加速模型訓(xùn)練過程。通過 AI 訓(xùn)練框架，開發(fā)者可以

定義復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，調(diào)整超參數(shù)，并進(jìn)行模型的迭代優(yōu)化?？蚣苓€支持訓(xùn)練的中斷恢復(fù)和

多種優(yōu)化算法，確保在訓(xùn)練大模型時(shí)的穩(wěn)定性和高效性。

3）AI 推理框架

AI 推理框架是模型部署和在線服務(wù)的關(guān)鍵技術(shù)組件。它支持高效的模型推理，能夠在用戶請(qǐng)

求時(shí)快速返回結(jié)果。推理框架優(yōu)化了模型的加載、執(zhí)行和輸出流程，支持批處理推理和異步推理，

以提高吞吐量。該框架還能夠根據(jù)需要自動(dòng)調(diào)整推理資源，確保在不同負(fù)載情況下的推理性能和

響應(yīng)速度。

圖 平臺(tái)模型中心頁(yè)面

42

4）算力調(diào)度

算力調(diào)度組件負(fù)責(zé)動(dòng)態(tài)管理和分配計(jì)算資源，以優(yōu)化大模型的訓(xùn)練和推理任務(wù)的執(zhí)行效率。

它能夠監(jiān)控當(dāng)前的算力資源使用情況，智能調(diào)度任務(wù)到適當(dāng)?shù)挠?jì)算節(jié)點(diǎn)上。算力調(diào)度還能根據(jù)任

務(wù)的緊急程度和優(yōu)先級(jí)進(jìn)行資源分配，確保高優(yōu)先級(jí)任務(wù)能夠及時(shí)得到處理，同時(shí)提高資源的整

體利用率。

5）GPU 加速

GPU 加速是大規(guī)模模型訓(xùn)練和推理不可或缺的技術(shù)。該組件利用 GPU 的并行計(jì)算能力，加

速矩陣運(yùn)算、卷積操作等深度學(xué)習(xí)中的核心計(jì)算過程。通過 GPU 加速組件，模型的訓(xùn)練和推理時(shí)

間能夠顯著減少，特別是在處理超大規(guī)模數(shù)據(jù)集和復(fù)雜模型時(shí)，該組件還支持多 GPU 并行計(jì)算，

進(jìn)一步提升計(jì)算效率。

綜上所述，大模型運(yùn)行層通過這些技術(shù)組件的協(xié)同作用，保障了大規(guī)模語(yǔ)言模型的高效訓(xùn)練

和推理能力，為智能應(yīng)用提供了堅(jiān)實(shí)的技術(shù)基礎(chǔ)。

2.5.4.3 算力硬件層

算力硬件層是基礎(chǔ)支撐部分，直接影響了大模型訓(xùn)練和推理的速度與效率。廣聯(lián)達(dá)行業(yè) AI 平

臺(tái)提供英偉達(dá) GPU 和華為昇騰算力硬件的配置及指導(dǎo)，確保模型應(yīng)用所需的計(jì)算能力。

43

03

行業(yè) AI 大模型

場(chǎng)景落地

根據(jù)應(yīng)用階段深度不同，可以將大模型的應(yīng)用劃分為三個(gè)階段：L0 基礎(chǔ)大模型、L1 行業(yè) AI

大模型及 L2 場(chǎng)景大模型。

L0 基礎(chǔ)大模型是指具備處理多種不同類型任務(wù)的 AI 模型，這些模型通常是通過大規(guī)模的數(shù)

據(jù)訓(xùn)練而成，能夠在多個(gè)領(lǐng)域和應(yīng)用中表現(xiàn)出良好的效能。它們利用大規(guī)模的無(wú)標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，

形成強(qiáng)大的泛化能力，能夠在不進(jìn)行微調(diào)或少量微調(diào)的情況下完成多場(chǎng)景任務(wù)。相當(dāng)于 AI 完成了

“通識(shí)教育”，具備了舉一反三的能力。廣聯(lián)達(dá)在 L0 層級(jí)集成開源基礎(chǔ)模型，包括自然語(yǔ)言大模型、

視覺大模型及多模態(tài)大模型。

L1 行業(yè) AI 大模型是在 L0 基礎(chǔ)大模型上進(jìn)行構(gòu)建，通過使用行業(yè)相關(guān)的數(shù)據(jù)進(jìn)行提示工程、

檢索增強(qiáng)生成、精調(diào)等方式，提高在該領(lǐng)域的性能和準(zhǔn)確度。這相當(dāng)于將原來(lái)基礎(chǔ)通用大模型打

造成為了特定領(lǐng)域的 “行業(yè)專家”，能夠提供更加精準(zhǔn)和專業(yè)的服務(wù)。廣聯(lián)達(dá)深耕建筑領(lǐng)域，打造

L1 層級(jí)建筑行業(yè) AI 大模型，覆蓋建筑行業(yè)相關(guān)政策法規(guī)、行業(yè)規(guī)范標(biāo)準(zhǔn)、建筑行業(yè)職業(yè)考試資料、

教材圖書等數(shù)十萬(wàn)份高質(zhì)量行業(yè)數(shù)據(jù)，億級(jí) Token 行業(yè)知識(shí)增強(qiáng)，從而可支撐在建筑多應(yīng)用的行

業(yè)能力要求，提供自動(dòng)化、分析與決策及生成等能力。

L2 場(chǎng)景大模型專注于特定任務(wù)或場(chǎng)景，使用任務(wù)相關(guān)的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練或微調(diào)，以提高在該

任務(wù)上的性能和效果。它們通常是為了解決具體的業(yè)務(wù)問題而定制化開發(fā)的，針對(duì)性更強(qiáng)，應(yīng)用

效果更優(yōu)。廣聯(lián)達(dá)基于建筑行業(yè) AI 大模型基礎(chǔ)上，覆蓋建筑行業(yè)的規(guī)劃、設(shè)計(jì)、交易、成本、施

工、運(yùn)維及綜合管理等 7 個(gè)領(lǐng)域的應(yīng)用場(chǎng)景打造多個(gè)場(chǎng)景大模型，滿足不同階段、不同應(yīng)用的 AI

要求，真正為建筑用戶帶來(lái)價(jià)值。

3.1 行業(yè) AI 大模型分級(jí)構(gòu)建方式

44

圖 建筑行業(yè) AI 大模型

基礎(chǔ)大模

型

行業(yè)大模型

場(chǎng)景大模型

解析&生成AI應(yīng)用

提詞

工程

檢索增

強(qiáng)生成

有監(jiān)督

精調(diào)

繼承開源基礎(chǔ)模型

覆蓋數(shù)十萬(wàn)份高質(zhì)量行業(yè)數(shù)據(jù)

行業(yè)

政策法規(guī)

行業(yè)

規(guī)范

建筑類

職業(yè)考試

AecGPT

AecGPT-V

AecDiffusio

n

教材

圖書

建筑行業(yè)AI大模型AecGPT，覆蓋建筑行業(yè)規(guī)劃、設(shè)計(jì)、交易、成本、施工、運(yùn)維及綜

合管理等7個(gè)領(lǐng)域，億級(jí)Token 行業(yè)知識(shí)增強(qiáng)，具有自動(dòng)化、分析決策、輔助生成等專業(yè)能力。

設(shè)計(jì)

算量 交易

進(jìn)度

物資

安全

L0

L2

L1

AI算量大模型

10億體量項(xiàng)目算量

從3個(gè)月縮減到2周內(nèi)

AI斑馬進(jìn)度大模型

AI分析生成工作項(xiàng)，

效率提升5倍，動(dòng)態(tài)策劃調(diào)優(yōu)，

效率提升10倍

AI物資管理大模型

材料進(jìn)出場(chǎng)AI自動(dòng)化管理，

實(shí)現(xiàn)混凝土無(wú)感止損1%，

鋼筋無(wú)感止損0.5%

AI交易大模型

工程建設(shè)招投評(píng)

全流程智能化

AI安全大模型

高效實(shí)現(xiàn)安全管理

PDCA閉環(huán)

AI教育大模型

天天項(xiàng)上，項(xiàng)目

經(jīng)理成長(zhǎng)伴侶

AI設(shè)計(jì)大模型

AI原生驅(qū)動(dòng)的設(shè)計(jì)平臺(tái)

——Concetto

建筑行業(yè)大模型 L2級(jí)場(chǎng)景大模型

廣聯(lián)達(dá)在建筑行業(yè) AI 大模型基礎(chǔ)上打造專業(yè)應(yīng)用場(chǎng)景，圍繞建筑規(guī)劃設(shè)計(jì)、交易、施工、運(yùn)維

等不同階段，涉及城市建設(shè)方、行業(yè)監(jiān)管方、工程咨詢方、設(shè)計(jì)方、施工方等多角色，打造 L2 級(jí) AI

業(yè)務(wù)應(yīng)用場(chǎng)景。典型場(chǎng)景總結(jié)如下圖：

3.2.1 AI 設(shè)計(jì)

在建筑設(shè)計(jì)領(lǐng)域，AI 技術(shù)的應(yīng)用正逐漸展現(xiàn)出其獨(dú)特的價(jià)值和重要性，尤其在提高設(shè)計(jì)效率、

優(yōu)化方案、降低成本等方面。廣聯(lián)達(dá)打造設(shè)計(jì)大模型，通過將設(shè)計(jì)相關(guān)的設(shè)計(jì)文本、設(shè)計(jì)圖紙及

模型等數(shù)據(jù)提供給大模型訓(xùn)練，訓(xùn)練模型對(duì)應(yīng)的規(guī)范提取、制定調(diào)用的能力，支撐設(shè)計(jì)的設(shè)計(jì)規(guī)

范檢索、智能排布及設(shè)計(jì)生成等多類場(chǎng)景應(yīng)用。

3.2 建筑行業(yè)全場(chǎng)景 AI 大模型應(yīng)用

45

圖 建筑行業(yè)全場(chǎng)景 AI 大模型應(yīng)用

圖 AecGPT 設(shè)計(jì)大模型

數(shù)據(jù)

據(jù)

AecGPT設(shè)計(jì)大模型 應(yīng)用

訓(xùn)練

據(jù)

推理

據(jù)

設(shè)計(jì)助手全輔助

總圖排布方案

靈感渲染 / 效果圖

成本實(shí)時(shí)估算

......

文本類

設(shè)計(jì)規(guī)范

設(shè)計(jì)任務(wù)書

建模指令

圖像類

設(shè)計(jì)風(fēng)格圖

排布圖

白模圖

模型類

3D模型

建模特征序列

文生圖

圖文生3D

任務(wù)書信息提取

規(guī)范檢索

指令調(diào)用

行業(yè)AI平臺(tái)

數(shù)據(jù)工程據(jù) 模型訓(xùn)練/部署據(jù) 應(yīng)用開發(fā)據(jù)

設(shè)計(jì)

施工

造價(jià)

教育 供采 金融 建設(shè)方 營(yíng)銷服

L2業(yè)務(wù)

全場(chǎng)景

交易 城市

L1行業(yè) 建筑行業(yè)大模型

大模型

基礎(chǔ)大模型

L0基礎(chǔ)

大模型

進(jìn)度管理

智能施組文檔解析

智能計(jì)劃生成

天天項(xiàng)上，項(xiàng)目經(jīng)理

成長(zhǎng)伴侶

算量

AI 圖紙識(shí)別

AI 一鍵算量

圖模一致智能對(duì)比

智能提量 AI 房建算量

AI 基建算量

AI 工業(yè)算量

設(shè)計(jì)算量一體化

物資管理

AI無(wú)人物資智能管控

無(wú)感止損

安全管理

AI安全管理

AI安全助手

勞務(wù)管理

智能人臉識(shí)別

無(wú)人考勤

供應(yīng)商尋源AI選品 智能項(xiàng)目風(fēng)險(xiǎn)檢測(cè) AI營(yíng)銷 智能客服助手

計(jì)價(jià)

智能造價(jià)編制

AI 估算

AI 概算

AI 預(yù)算（智能組價(jià)）

AI 結(jié)算

智能造價(jià)管控

計(jì)價(jià)數(shù)據(jù)提取

造價(jià)智能審核

智能結(jié)算建議

智能詢價(jià)

智能指標(biāo)參考

施工項(xiàng)目管理

合同管理

智能合同錄入

智能合同風(fēng)險(xiǎn)分析

智能合同生成

成本管理

智能成本測(cè)算

智能成本風(fēng)險(xiǎn)管控

智能成本數(shù)據(jù)提取

智能決策管理

AI信息采集

BI智能數(shù)據(jù)問答

資金管理

智能資金計(jì)劃管理

智能風(fēng)險(xiǎn)預(yù)測(cè)

任務(wù)管理

施工方案提取分析、生成

智能周月報(bào)、項(xiàng)目報(bào)告生成

智能指揮調(diào)度

項(xiàng)目策劃

智能項(xiàng)目定位

智能任務(wù)書解析

造價(jià)過程管理

智能項(xiàng)目管理

智能任務(wù)助手

智能任務(wù)分配

智能報(bào)告生成

智能決策管理

AI造價(jià)決策管理

AI指標(biāo)分析對(duì)比

AI全過程造價(jià)對(duì)比分析

AI建模

AI場(chǎng)地建模、AI靈感生成

AI智能排布

AI方案分析

AI方案圖生成

方案設(shè)計(jì)

AI車位布置

AI管線及末端排布

AI標(biāo)注

AI出圖

施工圖設(shè)計(jì) 施工圖設(shè)計(jì)審查

AI審圖

AI審圖

AI圖模一致審查

規(guī)范智能問答

施工深化設(shè)計(jì)

AI建模

AI圖紙識(shí)別

施工方案解析提取

智能清標(biāo)、評(píng)標(biāo)

招標(biāo)文件智能分析

投標(biāo)文件核查及分析

AI標(biāo)書生成

AecGPT AecGPT-V CV/NLP

自然語(yǔ)言大模型 視覺大模型 多模態(tài)大模型

3.2.1.2 AI 應(yīng)用亮點(diǎn)功能

? AI 靈感渲染

基于建筑體量快速生成高質(zhì)量效果圖，幫助激發(fā)設(shè)計(jì)師的設(shè)計(jì)靈感，賦能設(shè)計(jì)師的溝通匯報(bào)。

設(shè)計(jì)模型精確控制：深度結(jié)合 CONCETTO 建模體量，精準(zhǔn)控制、可控生成方案效果圖

豐富模板輕松上手：提供多業(yè)態(tài)、多風(fēng)格、提示詞庫(kù)快速生成，提供多編輯方式隨心修改

3.2.1.1 產(chǎn)品介紹

CONCETTO（廣聯(lián)達(dá)數(shù)維方案設(shè)計(jì)）是新一代 AI 驅(qū)動(dòng)的建筑方案設(shè)計(jì)產(chǎn)品，作為智能時(shí)代

的設(shè)計(jì)伙伴，正在重新定義建筑設(shè)計(jì)的未來(lái)，讓設(shè)計(jì)回歸創(chuàng)意、讓創(chuàng)意更精準(zhǔn)。CONCETTO 能

夠通過智能化的生成設(shè)計(jì)和數(shù)字化的決策支持，推動(dòng)高效設(shè)計(jì)和創(chuàng)新、提升設(shè)計(jì)合理性和價(jià)值。

內(nèi)置四大 AI 模塊，全面賦能設(shè)計(jì)工作流：AI 靈感渲染、AI 成本預(yù)估、AI 排布方案、AI 設(shè)計(jì)助手，

同時(shí)結(jié)合場(chǎng)地導(dǎo)入、直覺建模、設(shè)計(jì)分析、數(shù)模聯(lián)動(dòng)等設(shè)計(jì)功能，為方案設(shè)計(jì)師提供智能化的設(shè)

計(jì)支持。

46

圖 設(shè)計(jì)產(chǎn)品 CONCETTO

圖 CONCETTO 渲染

智能生成排布

輸入你的要求，批量生成總圖布局 /

功能分區(qū)，選最優(yōu)秀的方案深化

AI 靈感渲染器

效果圖一鍵生成可編輯模型

所想即所得，高效創(chuàng)作

伴隨式設(shè)計(jì)助手

基于規(guī)范文件進(jìn)行規(guī)范問答

對(duì)話式驅(qū)動(dòng)工具，快速串聯(lián)工作流

實(shí)時(shí)預(yù)估成本

基于 AI 訓(xùn)練的智能估算

邊設(shè)計(jì)邊計(jì)算，隨時(shí)掌握造價(jià)成本

CONCETTO

您的 AI 設(shè)計(jì)伙伴 讓設(shè)計(jì)回歸創(chuàng)意

? AI 成本實(shí)時(shí)預(yù)估

基于 2w+ 真實(shí)項(xiàng)目數(shù)據(jù)訓(xùn)練 AI 成本估算模型，秒級(jí)生成詳細(xì)估算清單，邊設(shè)計(jì)邊計(jì)算，隨

時(shí)掌握造價(jià)成本，且估算結(jié)果和概算階段誤差僅 15%。

? AI 排布方案

結(jié)合場(chǎng)地導(dǎo)入獲取用地信息、任務(wù)書提取獲取指標(biāo)要求，秒級(jí)生成 10+ 排布方案，并可挑選

最優(yōu)方案進(jìn)行深化編輯，讓設(shè)計(jì)更高效。目前已支持三個(gè) AI 排布場(chǎng)景：總圖排布、總圖優(yōu)化、功

能分區(qū)排布。

? AI 設(shè)計(jì)助手

從手繪到 CAD 到 3D 模型，工具學(xué)習(xí)成本越來(lái)越高，設(shè)計(jì)效率越來(lái)越低，大大縮減了創(chuàng)意時(shí)

長(zhǎng)。未來(lái)已至，通過對(duì)話式驅(qū)動(dòng)設(shè)計(jì)工具，快速串聯(lián)工作流，讓設(shè)計(jì)師的工作回歸創(chuàng)意。

47

圖 CONCETTO 成本預(yù)估

圖 CONCETTO 排布方案

3.2.1.3 經(jīng)典案例介紹

? 廣聯(lián)達(dá)北京延慶項(xiàng)目概念設(shè)計(jì)方案

該項(xiàng)目坐落于北京延慶區(qū)的林帶路與迎泉街的黃金交匯點(diǎn)，總建筑面積 45376 平方米，致力

于塑造一個(gè)集智慧創(chuàng)新、綠色生態(tài)于一體的企業(yè)總部。在設(shè)計(jì)過程中，上海原構(gòu)設(shè)計(jì)咨詢有限公

司的設(shè)計(jì)師攜手 CONCETTO，精心打磨每一個(gè)設(shè)計(jì)細(xì)節(jié)。

首先，設(shè)計(jì)師應(yīng)用 CONCETTO 的 AI 排布功能，根據(jù)任務(wù)書要求，迅速生成了一系列布局方案，

選中一個(gè)進(jìn)行了深化設(shè)計(jì)及指標(biāo)統(tǒng)計(jì)。隨后，應(yīng)用 AI 靈感渲染器，將設(shè)計(jì)方案生成多角度效果圖，

生動(dòng)展現(xiàn)了方案理念。同時(shí)，應(yīng)用 AI 估算功能對(duì)項(xiàng)目成本進(jìn)行了精準(zhǔn)預(yù)估，為項(xiàng)目的經(jīng)濟(jì)效益把

控提供了有力支撐。在建筑性能評(píng)估方面，進(jìn)行日照、視野、采光等多維度分析，全面評(píng)估建筑

的自然條件適應(yīng)性與舒適度，確保了設(shè)計(jì)方案的綠色生態(tài)特性。

最終，一個(gè)融合了智慧與美學(xué)、創(chuàng)新與實(shí)用的廣聯(lián)達(dá)北京延慶辦公樓設(shè)計(jì)方案，在設(shè)計(jì)師的

精心策劃與 CONCETTO 的 AI 技術(shù)輔助下，順利完成并進(jìn)行匯報(bào)。

48

圖 延慶項(xiàng)目示例 -AI 效果圖生成

圖 設(shè)計(jì)助手

49

圖 延慶項(xiàng)目示例 -AI 估算清單生成

圖 延慶項(xiàng)目示例 - 日照分析 圖 延慶項(xiàng)目示例 - 采光分析

圖 AecGPT 算量大模型

3.2.2 AI 算量

算量是施工造價(jià)領(lǐng)域中非常耗時(shí)的任務(wù)。通過對(duì)算量業(yè)務(wù)流程的解構(gòu)，我們可以將每個(gè)工作

環(huán)節(jié)中可自動(dòng)化的部分用 AI 替代，從而大幅縮短算量時(shí)間，提高工作效率。廣聯(lián)達(dá)打造的算量大

模型，將算量相關(guān)的工程圖紙、工程量表及工程文檔等數(shù)據(jù)訓(xùn)練至大模型中，通過模型的版面分析、

多模態(tài)能力及推理，支持不同圖紙、表格及文本提取等應(yīng)用場(chǎng)景的需求。

數(shù)據(jù)

據(jù)

AecGPT 算量大模型 AecGPT 應(yīng)用

行業(yè)AI平臺(tái)

數(shù)據(jù)工程據(jù) 模型訓(xùn)練/部署據(jù) 應(yīng)用開發(fā)據(jù)

訓(xùn)練

據(jù)

推理

據(jù)

表格識(shí)別

語(yǔ)義理解

工程量表

圖紙理解

圖像檢索

版面分析

隧道縱斷面識(shí)別

路基橫斷面識(shí)別

圖名圖號(hào)識(shí)別

樁基平立剖識(shí)別

.......

工程圖紙

工程文檔