報(bào)告時(shí)間:4月9日(周三)上午9:30-11:00
報(bào)告地點(diǎn):8-1控制大廳三樓會(huì)議室
報(bào)告人:蘇航
主持人:徐國(guó)盛
報(bào)告內(nèi)容簡(jiǎn)介:?
物理信息驅(qū)動(dòng)的機(jī)器學(xué)習(xí)(PIML)通過(guò)深度融合物理規(guī)律的先驗(yàn)知識(shí)與數(shù)據(jù)驅(qū)動(dòng)方法,在偏微分方程(PDEs)求解領(lǐng)域展現(xiàn)出顯著優(yōu)勢(shì)。本報(bào)告圍繞物理信息驅(qū)動(dòng)的PDE求解方法,分別從算子設(shè)計(jì)、預(yù)訓(xùn)練模型構(gòu)建以及評(píng)測(cè)基準(zhǔn)建立三個(gè)方面展開(kāi)研究。首先,在算子設(shè)計(jì)方面,我們提出了通用神經(jīng)運(yùn)算符變換器(GNOT)和非均勻神經(jīng)運(yùn)算符(NUNO)。其中,GNOT創(chuàng)新性地采用基于Transformer結(jié)構(gòu)的掩碼重構(gòu)機(jī)制,并結(jié)合多編碼/解碼頭與通道注意力機(jī)制,可有效處理具有不同幾何結(jié)構(gòu)、分辨率和物理變量的多樣化數(shù)據(jù),靈活適應(yīng)不規(guī)則網(wǎng)格和多尺度場(chǎng)景。NUNO則針對(duì)非均勻數(shù)據(jù)分布的特性,提出了一種高效的算子學(xué)習(xí)方案。在預(yù)訓(xùn)練模型構(gòu)建方面,我們針對(duì)PDE數(shù)據(jù)集普遍存在的數(shù)據(jù)稀缺、軌跡較長(zhǎng)且維度變化大的現(xiàn)實(shí)挑戰(zhàn),設(shè)計(jì)了一種基于傅里葉注意力(Fourier??Attention)的自回歸去噪預(yù)訓(xùn)練策略,構(gòu)建了規(guī)模高達(dá)10億參數(shù)的偏微分方程基礎(chǔ)模型(PDE Foundation??Model),實(shí)現(xiàn)了在超過(guò)10個(gè)不同類(lèi)型PDE數(shù)據(jù)集、總計(jì)10萬(wàn)余條軌跡上的穩(wěn)定、高效預(yù)訓(xùn)練,并在典型應(yīng)用場(chǎng)景中取得了當(dāng)前業(yè)界領(lǐng)先(SOTA)的泛化性能。最后,我們建立了PINNacle評(píng)測(cè)基準(zhǔn),提供統(tǒng)一、公平的評(píng)測(cè)體系,以系統(tǒng)化地衡量不同物理信息神經(jīng)網(wǎng)絡(luò)(PINNs)方法在處理復(fù)雜PDE問(wèn)題時(shí)的效果,為科學(xué)機(jī)器學(xué)習(xí)方法的后續(xù)發(fā)展提供重要的技術(shù)支撐與規(guī)范化工具。
報(bào)告人簡(jiǎn)介:
蘇航,清華大學(xué)計(jì)算機(jī)系副研究員,入選WR青年拔尖人才,主要研究魯棒機(jī)器學(xué)習(xí)和具身決策等相關(guān)領(lǐng)域,發(fā)表CCF推薦A類(lèi)會(huì)議和期刊論文100余篇,谷歌學(xué)術(shù)論文引用15000余次,受邀擔(dān)任人工智能領(lǐng)域頂級(jí)期刊IEEE??TPAMI和Artificial??Intelligence的編委,IEEE生成式大模型安全工作組主席,獲得吳文俊人工智能自然科學(xué)一等獎(jiǎng),ICME鉑金最佳論文、MICCAI青年學(xué)者獎(jiǎng)和AVSS最佳論文等多個(gè)學(xué)術(shù)獎(jiǎng)項(xiàng),曾率隊(duì)在NeurIPS?2017對(duì)抗攻防等多個(gè)國(guó)際學(xué)術(shù)比賽中獲得冠軍。現(xiàn)任中國(guó)圖像圖形學(xué)會(huì)青工委執(zhí)委、曾任VALSE執(zhí)行AC委員會(huì)主席,NeurIPS21的領(lǐng)域主席(Area??Chair)、AAAI22 Workshop Co-Chair等。