論文の概要: Foundation Models for Natural Language Processing -- Pre-trained
Language Models Integrating Media
- arxiv url: http://arxiv.org/abs/2302.08575v1
- Date: Thu, 16 Feb 2023 20:42:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-20 16:43:13.603323
- Title: Foundation Models for Natural Language Processing -- Pre-trained
Language Models Integrating Media
- Title（参考訳）: 自然言語処理の基礎モデル-メディアを統合する事前学習言語モデル
- Authors: Gerhard Paa{\ss} and Sven Giesselbach
- Abstract要約: ファンデーションモデルは自然言語処理のための事前訓練された言語モデルである。
画像処理やビデオ処理からロボット制御学習まで、幅広いメディアや問題領域に適用することができる。
本書は、ファンデーションモデルの研究および応用における技術の現状を概観する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This open access book provides a comprehensive overview of the state of the
art in research and applications of Foundation Models and is intended for
readers familiar with basic Natural Language Processing (NLP) concepts. Over
the recent years, a revolutionary new paradigm has been developed for training
models for NLP. These models are first pre-trained on large collections of text
documents to acquire general syntactic knowledge and semantic information.
Then, they are fine-tuned for specific tasks, which they can often solve with
superhuman accuracy. When the models are large enough, they can be instructed
by prompts to solve new tasks without any fine-tuning. Moreover, they can be
applied to a wide range of different media and problem domains, ranging from
image and video processing to robot control learning. Because they provide a
blueprint for solving many tasks in artificial intelligence, they have been
called Foundation Models. After a brief introduction to basic NLP models the
main pre-trained language models BERT, GPT and sequence-to-sequence transformer
are described, as well as the concepts of self-attention and context-sensitive
embedding. Then, different approaches to improving these models are discussed,
such as expanding the pre-training criteria, increasing the length of input
texts, or including extra knowledge. An overview of the best-performing models
for about twenty application areas is then presented, e.g., question answering,
translation, story generation, dialog systems, generating images from text,
etc. For each application area, the strengths and weaknesses of current models
are discussed, and an outlook on further developments is given. In addition,
links are provided to freely available program code. A concluding chapter
summarizes the economic opportunities, mitigation of risks, and potential
developments of AI.
- Abstract（参考訳）: このオープンアクセスブックは、基礎的自然言語処理(NLP)の概念に精通した読者を対象にした、基礎モデルの研究および応用における技術の現状の概要を包括的に提供している。
近年、NLPのトレーニングモデルのための革新的な新しいパラダイムが開発されている。
これらのモデルは、まずテキストドキュメントの大規模なコレクションで事前学習され、一般的な構文知識と意味情報を取得する。
そして、特定のタスクのために微調整され、しばしば超人的精度で解決される。
モデルが十分に大きい場合は、微調整なしで新しいタスクを解くようプロンプトで指示することができる。
さらに、画像やビデオ処理からロボット制御学習まで、さまざまなメディアや問題領域に適用することができる。
人工知能で多くのタスクを解くための青写真を提供するため、彼らはFoundation Modelsと呼ばれている。
基本NLPモデルに関する簡単な紹介の後、主訓練済み言語モデルBERT、GPT、シーケンス・ツー・シーケンス・トランスフォーマー、および自己注意と文脈に敏感な埋め込みの概念について述べる。
次に、事前学習基準の拡大、入力テキストの長さの増大、知識の追加など、これらのモデルを改善するための異なるアプローチについて議論する。
次に、約20のアプリケーション領域における最高のパフォーマンスモデルの概要を示す。例えば、質問応答、翻訳、ストーリー生成、ダイアログシステム、テキストからの画像生成などである。
各アプリケーション領域について,現在のモデルの強みと弱みを議論し,今後の展開を展望する。
さらに、無料で利用可能なプログラムコードへのリンクも提供される。
結論の章では、経済的な機会、リスク軽減、AIの潜在的な発展についてまとめている。
関連論文リスト
- Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳（メタデータ） (2023-07-25T17:59:18Z) - A Systematic Survey of Prompt Engineering on Vision-Language Foundation
Models [43.35892536887404]
プロンプトエンジニアリングは、新しいタスクにモデルを適応させるために、プロンプトとして知られるタスク固有のヒントで、トレーニング済みの大きなモデルを拡張することを含む。
本稿では,3種類の視覚言語モデルについて,最先端の研究の総合的な調査を行うことを目的とする。
論文 参考訳（メタデータ） (2023-07-24T17:58:06Z) - GPT4Image: Can Large Pre-trained Models Help Vision Models on Perception
Tasks? [51.22096780511165]
本稿では,大規模な事前学習モデルから抽出した知識を利用して,CNN や ViT などのモデルが拡張表現を学習するのを支援する新しい学習パラダイムを提案する。
我々は、詳細な記述を事前訓練されたエンコーダに入力し、画像の内容をエンコードするリッチなセマンティック情報でテキスト埋め込みを抽出する。
論文 参考訳（メタデータ） (2023-06-01T14:02:45Z) - An Overview on Language Models: Recent Developments and Outlook [32.528770408502396]
従来の言語モデル(CLM)は、因果的に言語シーケンスの確率を予測することを目的としている。
事前学習言語モデル(PLM)はより広範な概念をカバーし、因果逐次モデリングと下流アプリケーションのための微調整の両方に使用することができる。
論文 参考訳（メタデータ） (2023-03-10T07:55:00Z) - Foundation models in brief: A historical, socio-technical focus [2.5991265608180396]
ディープラーニングをスケールアップすることで、将来のAI開発には、ファンデーションモデルが破壊的になる可能性がある。
モデルは自然言語処理やコンピュータビジョンといった分野における様々なタスクにおいて最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-12-17T22:11:33Z) - An Overview on Controllable Text Generation via Variational
Auto-Encoders [15.97186478109836]
ニューラルベース生成モデリングの最近の進歩は、コンピュータシステムが人間と会話できるという期待を再燃させた。
変分自動エンコーダ(VAE)のような潜在変数モデル(LVM)は、テキストデータの分布パターンを特徴付けるように設計されている。
この概要は、既存の生成方式、テキスト変分自動エンコーダに関連する問題、および制御可能な生成に関するいくつかのアプリケーションについて概説する。
論文 参考訳（メタデータ） (2022-11-15T07:36:11Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z) - A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。
これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
論文 参考訳（メタデータ） (2021-10-01T08:51:58Z) - Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods
in Natural Language Processing [78.8500633981247]
本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。
入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
論文 参考訳（メタデータ） (2021-07-28T18:09:46Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳（メタデータ） (2020-10-05T20:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。