論文の概要: A Roadmap for Big Model
- arxiv url: http://arxiv.org/abs/2203.14101v1
- Date: Sat, 26 Mar 2022 15:38:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-29 12:18:22.112919
- Title: A Roadmap for Big Model
- Title(参考訳): 大規模モデルのロードマップ
- Authors: Sha Yuan, Hanyu Zhao, Shuai Zhao, Jiahong Leng, Yangxiao Liang,
Xiaozhi Wang, Jifan Yu, Xin Lv, Zhou Shao, Jiaao He, Yankai Lin, Xu Han,
Zhenghao Liu, Ning Ding, Yongming Rao, Yizhao Gao, Liang Zhang, Ming Ding,
Cong Fang, Yisen Wang, Mingsheng Long, Jing Zhang, Yinpeng Dong, Tianyu Pang,
Peng Cui, Lingxiao Huang, Zheng Liang, Huawei Shen, Hui Zhang, Quanshi Zhang,
Qingxiu Dong, Zhixing Tan, Mingxuan Wang, Shuo Wang, Long Zhou, Haoran Li,
Junwei Bao, Yingwei Pan, Weinan Zhang, Zhou Yu, Rui Yan, Chence Shi, Minghao
Xu, Zuobai Zhang, Guoqiang Wang, Xiang Pan, Mengjie Li, Xiaoyu Chu, Zijun
Yao, Fangwei Zhu, Shulin Cao, Weicheng Xue, Zixuan Ma, Zhengyan Zhang,
Shengding Hu, Yujia Qin, Chaojun Xiao, Zheni Zeng, Ganqu Cui, Weize Chen,
Weilin Zhao, Yuan Yao, Peng Li, Wenzhao Zheng, Wenliang Zhao, Ziyi Wang,
Borui Zhang, Nanyi Fei, Anwen Hu, Zenan Ling, Haoyang Li, Boxi Cao, Xianpei
Han, Weidong Zhan, Baobao Chang, Hao Sun, Jiawen Deng, Juanzi Li, Lei Hou,
Xigang Cao, Jidong Zhai, Zhiyuan Liu, Maosong Sun, Jiwen Lu, Zhiwu Lu, Qin
Jin, Ruihua Song, Ji-Rong Wen, Zhouchen Lin, Liwei Wang, Hang Su, Jun Zhu,
Zhifang Sui, Jiajun Zhang, Yang Liu, Xiaodong He, Minlie Huang, Jian Tang and
Jie Tang
- Abstract要約: BMの全般的な進歩を整理し、フォローアップ研究を導く研究成果の欠如がある。
本稿では,BM技術そのものだけでなく,BM訓練やBM応用の前提条件についても述べる。
データ,知識,コンピュータシステム,並列学習システム,言語モデル,ビジョンモデル,マルチモーダルモデル,理論と解釈可能性,常識推論,信頼性とセキュリティ,ガバナンス,評価,機械翻訳,テキスト生成,対話,タンパク質研究の4分野に16のBM関連トピックを紹介する。
- 参考スコア(独自算出の注目度): 390.5862502865028
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid development of deep learning, training Big Models (BMs) for
multiple downstream tasks becomes a popular paradigm. Researchers have achieved
various outcomes in the construction of BMs and the BM application in many
fields. At present, there is a lack of research work that sorts out the overall
progress of BMs and guides the follow-up research. In this paper, we cover not
only the BM technologies themselves but also the prerequisites for BM training
and applications with BMs, dividing the BM review into four parts: Resource,
Models, Key Technologies and Application. We introduce 16 specific BM-related
topics in those four parts, they are Data, Knowledge, Computing System,
Parallel Training System, Language Model, Vision Model, Multi-modal Model,
Theory&Interpretability, Commonsense Reasoning, Reliability&Security,
Governance, Evaluation, Machine Translation, Text Generation, Dialogue and
Protein Research. In each topic, we summarize clearly the current studies and
propose some future research directions. At the end of this paper, we conclude
the further development of BMs in a more general view.
- Abstract(参考訳): ディープラーニングの急速な発展により、複数のダウンストリームタスクに対する大規模モデル(bms)のトレーニングがポピュラーなパラダイムになりつつある。
研究者は、多くの分野でBMとBMアプリケーションの構築において様々な成果を上げてきた。
現在、bmsの全体的な進歩を整理し、後続の研究を導く研究作業が不足している。
本稿では,bm技術自体だけでなく,bmによるbmトレーニングやアプリケーションに必要な前提条件についても取り上げ,bmレビューをリソース,モデル,キー技術,アプリケーションという4つの部分に分割する。
データ,知識,コンピュータシステム,並列学習システム,言語モデル,ビジョンモデル,マルチモーダルモデル,理論と解釈可能性,常識推論,信頼性とセキュリティ,ガバナンス,評価,機械翻訳,テキスト生成,対話,タンパク質研究の4分野に16のBM関連トピックを紹介する。
それぞれのトピックにおいて、現在の研究を明確に要約し、今後の研究方向性を提案する。
本稿の最後には,BMのさらなる開発について,より一般的な視点でまとめる。
関連論文リスト
- Multimodal Large Language Models to Support Real-World Fact-Checking [87.84266975165305]
MLLM(Multimodal large language model)は、膨大な情報処理において人間を支援する能力を持つ。
MLLMはすでにファクトチェックツールとして使用されていますが、その能力や制限については検討中です。
本稿では,現実のファクトチェックを容易にするために,現在のマルチモーダルモデルの能力を体系的に評価するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-06T11:32:41Z) - Large Multimodal Agents: A Survey [78.81459893884737]
大規模言語モデル(LLM)は、テキストベースのAIエージェントのパワーで優れたパフォーマンスを実現している。
LLMを利用したAIエージェントをマルチモーダルドメインに拡張することに焦点を当てた、新たな研究トレンドがある。
本総説は, この急速に発展する分野において, 今後の研究に有用な洞察とガイドラインを提供することを目的としている。
論文 参考訳(メタデータ) (2024-02-23T06:04:23Z) - Exploring the Reasoning Abilities of Multimodal Large Language Models
(MLLMs): A Comprehensive Survey on Emerging Trends in Multimodal Reasoning [44.12214030785711]
マルチモーダル大言語モデル(MLLM)のフロンティアを分類・記述し、既存のマルチモーダル推論の評価プロトコルについて概観する。
本稿では,MLLMの推論集約型タスクへの適用動向を紹介するとともに,現在の実践と今後の方向性について論じる。
論文 参考訳(メタデータ) (2024-01-10T15:29:21Z) - Large Language Models for Generative Information Extraction: A Survey [93.28676955662002]
情報抽出は、平易な自然言語テキストから構造的知識を抽出することを目的としている。
生成型大規模言語モデル(LLM)は、テキストの理解と生成において顕著な能力を示した。
LLMは生成パラダイムに基づいたIEタスクに対して実行可能なソリューションを提供する。
論文 参考訳(メタデータ) (2023-12-29T14:25:22Z) - A Survey on Deep Multi-modal Learning for Body Language Recognition and
Generation [5.8522989442606566]
ボディランゲージ(Body language, BL)とは、身体の動き、ジェスチャー、表情、姿勢によって表現される非言語コミュニケーションのこと。
深層マルチモーダル学習技術は,これらのBLの多様な側面を理解し解析する上で有望であることを示す。
いくつかの共通BLは、手話(SL)、キュードスピーチ(CS)、コスペーチ(CoS)、トーキングヘッド(TH)とみなされる。
論文 参考訳(メタデータ) (2023-08-17T08:15:51Z) - A scoping review on multimodal deep learning in biomedical images and
texts [29.10320016193946]
マルチモーダルディープラーニングは、バイオメディカルデータの分析と解釈に革命をもたらす可能性がある。
本研究では,5つのタスクにおけるマルチモーダル深層学習の現在の利用状況について検討した。
論文 参考訳(メタデータ) (2023-07-14T14:08:54Z) - Model-Driven Engineering for Artificial Intelligence -- A Systematic
Literature Review [1.9401781516795142]
本研究は,AI(MDE4AI)を支えるモデル駆動工学の分野における既存の知識体系について検討することを目的とする。
研究によると、AIにMDEを使うことはまだ初期段階にあり、広く使われているツールやメソッドは1つもない。
論文 参考訳(メタデータ) (2023-07-10T14:38:38Z) - A Survey on Multimodal Large Language Models [56.754753799607585]
マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために、脳として強力な大規模言語モデルを使用する。
MLLMの驚くべき創発的能力、例えば画像に基づくストーリーの作成やOCRのない数学推論は、伝統的な手法ではまれである。
論文 参考訳(メタデータ) (2023-06-23T15:21:52Z) - A Survey on User Behavior Modeling in Recommender Systems [36.797169604235954]
ユーザ・ビヘイビア・モデリング(UBM)は、リコメンデータ・システムで広く使われている、ユーザ関心の学習において重要な役割を担っている。
既存のUBM研究の系統分類を4つの方向に分類することができる。
既存の UBM ソリューションの適用価値に関する洞察を提供することを目標として,UBM 手法の産業的実践について詳しく述べる。
論文 参考訳(メタデータ) (2023-02-22T01:34:51Z) - Large-scale Multi-Modal Pre-trained Models: A Comprehensive Survey [69.03538086844516]
本稿では, 自然言語処理, コンピュータビジョン, 音声処理における従来のディープラーニング, 事前学習の成果を概観することにより, マルチモーダル事前学習の背景を紹介する。
次に,マルチモーダル事前学習モデル(MM-PTM)のタスク定義,課題,メリットを紹介し,データ,目的,ネットワークアーキテクチャ,知識強化事前学習に着目して,MM-PTMについて議論する。
論文 参考訳(メタデータ) (2023-02-20T15:34:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。