近日,云從科技從容大模型在視覺領域再次取得重要進展,基于視覺基礎大模型的目標檢測器在檢測領域著名benchmark COCO數據集上從微軟研究院(MSR)、上海人工智能實驗室、智源人工智能研究院等多家知名企業與研究機構脫穎而出,刷新了世界紀錄。
云從科技從容大模型在COCO測試集上平均精度(以下簡稱mAP,mean Average Precision)達到0.662,位列榜單第一(見下圖)。在驗證集上,單尺度取得mAP 0.656的佳績,多尺度TTA后mAP達到0.662,均達到世界領先水平。
大數據結合自監督學習 打造視覺核心技術
以GPT為代表的大數據自監督預訓練已經在自然語言理解(NLP)領域取得了令人矚目的突破,視覺領域方面,大數據結合自監督學習的基礎模型訓練也有重要進展。
一方面,廣泛的視覺數據有助于模型學習通用的基礎特征。云從視覺基礎大模型,使用了超過20億的數據,包括大量無標簽數據集以及圖文多模態數據集,數據集的豐富多樣使得模型能夠提取到穩健的特征,大大降低了下游任務的開發成本。
另一方面,自監督學習不需要人工標注,使得海量的無標注數據訓練視覺模型成為可能。云從對自監督學習算法進行了多方面的改進,使其能更適用于檢測、分割等細粒度任務,在COCO檢測任務上取得好成績就是證明。
開放目標檢測+零次學習檢測能力 大幅降低研發成本
得益于視覺基礎模型優異性能,云從從容大模型能夠基于大規模圖文多模態數據訓練支持上千類別目標的零次學習(以下簡稱zero-shot)檢測,涵蓋能源、交通、制造等行業的各類目標。
從容大模型zero-shot能力在不同數據集上的表現
zero-shot能夠模仿人類的這個推理過程,利用過去的知識,在計算機中推理出新對象的具體形態,從而使得計算機具有識別新事物的能力。
如何理解zero-shot?假設我們已知驢子和馬的形態特征,又已知老虎和鬣狗都是有條紋的動物,熊貓和企鵝是黑白相間的動物,我們定義斑馬是黑白條紋相間的馬科動物。不看任何斑馬的照片,僅僅憑借推理,在動物園一眾動物中,我們也能夠找到斑馬。
云從視覺基礎大模型表現出很強的泛化性能,大大降低了下游任務所需的數據依賴與開發成本,同時zero-shot大幅提高了訓練開發效率,使得廣泛應用和快速部署成為可能。
近日,云從科技與重慶大學大數據與軟件學院聯合研發的編程智能體——CoSEFA(Code SEcurity and Fix Agent)被軟件工程領域頂尖會議ACM SIGSOFT軟件工程基礎國際會議(FSE 2025)正式錄用。
近日,ICCV2023 細粒度行為檢測挑戰賽(Open Fine Grained Activity Detection Challenge)順利結束,云從科技在行為分類賽道(以下簡稱OpenFAD23-ICCV23)中斬獲冠軍。
云從科技與上海交通大學聯合研究團隊的《基于擴散模型的音頻驅動說話人生成》成功入選會議論文,并于大會進行現場宣講,獲得多方高度關注。
周一到周五9:30-18:00(北京時間)
商務合作:business@cloudwalk.com
媒體合作:Media@cloudwalk.com
渠道合作:business_partner@cloudwalk.com
人才招聘:zhaopin@cloudwalk.com