近日，中國科學(xué)院空天信息創(chuàng)新研究院在《The Innovation Geoscience》刊登文章“Multimodal Artificial Intelligence Foundation Models: Unleashing the Power of Remote Sensing Big Data in Earth Observation”，該文被編輯部選為2024年第一期唯一Editorial發(fā)表。文章第一作者為遙感科學(xué)國家重點(diǎn)實(shí)驗(yàn)室研究員洪丹楓、共同一作為博士研究生李晨玉，通訊作者為研究員張兵。文章內(nèi)容是建立了人工智能（AI）與多模態(tài)遙感大數(shù)據(jù)的橋梁，創(chuàng)新了多模態(tài)AI大模型對地觀測的新范式，解鎖了遙感大數(shù)據(jù)的對地觀測能力。

　　隨著遙感數(shù)據(jù)量和種類均呈爆炸式增長，傳統(tǒng)的分析方法已無法滿足精細(xì)地物感知的需求，亟需提升與之相匹配的多模態(tài)遙感大數(shù)據(jù)處理與分析能力。當(dāng)前，以人工智能為核心的大模型技術(shù)迅猛發(fā)展，大模型能夠從遙感大數(shù)據(jù)中充分挖掘和提取信息，實(shí)現(xiàn)信息的“吃干榨凈”，為解決遙感大數(shù)據(jù)在信息提取和分析方面的不足，提供新的可能性。因此，發(fā)展多模態(tài)遙感AI大模型的對地觀測新范式已成為業(yè)內(nèi)共識和研究前沿。

　　研究團(tuán)隊為解決現(xiàn)有模型信息提取與分析的局限性、提高挖掘多模態(tài)遙感大數(shù)據(jù)的能力、信息深度挖掘不足與應(yīng)用同質(zhì)化的問題，以多模態(tài)AI大模型為核心，研發(fā)了高精度、全鏈路的多模態(tài)遙感大數(shù)據(jù)智能解譯系統(tǒng)（如圖所示）。

　　

 

　　多模態(tài)AI大模型賦能的多模態(tài)遙感大數(shù)據(jù)智能解譯系統(tǒng)

　　系統(tǒng)利用不同觀測平臺，獲取多模態(tài)遙感大數(shù)據(jù)，開發(fā)多模態(tài)AI大模型，充分利用各種模態(tài)數(shù)據(jù)，適配于各種地學(xué)應(yīng)用，進(jìn)一步應(yīng)用到實(shí)際用戶端，用戶的使用結(jié)果可反饋到載荷和平臺的驗(yàn)證和設(shè)計，實(shí)現(xiàn)一個可循環(huán)的全鏈路反饋機(jī)制。

　　系統(tǒng)的建立取決于幾個關(guān)鍵要素：一是整合大量多模態(tài)遙感大數(shù)據(jù)，二是具有高性能計算能力，三是集成遙感AI大模型。前兩個要素目前較易實(shí)現(xiàn)，但缺乏定制的多模態(tài)遙感AI大模型，從而無法減少遙感大數(shù)據(jù)與高性能計算能力之間的差距。

　　在歷經(jīng)了統(tǒng)計模型、物理模型、大數(shù)據(jù)時代后，我們正在向大模型時代邁進(jìn)。多模態(tài)AI大模型代表了遙感大數(shù)據(jù)智能分析的未來，其設(shè)計與提出解鎖了多模態(tài)遙感大數(shù)據(jù)在地學(xué)應(yīng)用中的巨大潛力和價值。這些模型能夠有效利用多模態(tài)遙感大數(shù)據(jù)的豐富性、多樣性，為解決對地觀測應(yīng)用的復(fù)雜性提供了一個強(qiáng)大的框架。向多模態(tài)大模型的轉(zhuǎn)變在優(yōu)化遙感大數(shù)據(jù)用于各種對地觀測目標(biāo)方面將取得突破性的進(jìn)展，標(biāo)志著該領(lǐng)域進(jìn)入了一個變革時代。

　　論文鏈接：https://www.the-innovation.org/article/doi/10.59717/j.xinn-geo.2024.100055