論文の概要: Do pretrained Transformers Learn In-Context by Gradient Descent?

• arxiv url: http://arxiv.org/abs/2310.08540v5
• Date: Mon, 3 Jun 2024 04:18:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 20:41:02.541505
• Title: Do pretrained Transformers Learn In-Context by Gradient Descent?
• Title（参考訳）: 事前学習したトランスフォーマーは、グラディエント・ディフレッシュによって文脈を学習するか?
• Authors: Lingfeng Shen, Aayush Mishra, Daniel Khashabi,
• Abstract要約: 本稿では,自然データを用いた言語モデル(LLaMa-7B)における文脈内学習(ICL)の出現について検討する。 ICL と Gradient Descent (GD) は言語モデルの出力分布を異なる方法で変更する。 これらの結果は、ICLとGDの同値性は未解決の仮説であり、さらなる研究が必要であることを示唆している。
• 参考スコア（独自算出の注目度）: 21.23795112800977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of In-Context Learning (ICL) in LLMs remains a remarkable phenomenon that is partially understood. To explain ICL, recent studies have created theoretical connections to Gradient Descent (GD). We ask, do such connections hold up in actual pre-trained language models? We highlight the limiting assumptions in prior works that make their setup considerably different from the practical setup in which language models are trained. For example, their experimental verification uses \emph{ICL objective} (training models explicitly for ICL), which differs from the emergent ICL in the wild. Furthermore, the theoretical hand-constructed weights used in these studies have properties that don't match those of real LLMs. We also look for evidence in real models. We observe that ICL and GD have different sensitivity to the order in which they observe demonstrations. Finally, we probe and compare the ICL vs. GD hypothesis in a natural setting. We conduct comprehensive empirical analyses on language models pre-trained on natural data (LLaMa-7B). Our comparisons of three performance metrics highlight the inconsistent behavior of ICL and GD as a function of various factors such as datasets, models, and the number of demonstrations. We observe that ICL and GD modify the output distribution of language models differently. These results indicate that \emph{the equivalence between ICL and GD remains an open hypothesis} and calls for further studies.
• Abstract（参考訳）: LLMにおけるインコンテキストラーニング(ICL)の出現は、部分的に理解されている驚くべき現象である。 ICLを説明するために、最近の研究はグラディエント・ディキスト(GD)と理論的なつながりを生み出している。 このような接続は、実際にトレーニング済みの言語モデルで保たれているのでしょうか? 我々は、事前の作業において、言語モデルが訓練される実践的なセットアップと、そのセットアップをかなり異なるものにする限定的な仮定を強調した。 例えば、実験的な検証では \emph{ICL objective} (ICLを明示的に訓練するモデル) を使用しており、これは野生の創発的ICLとは異なる。 さらに、これらの研究で用いられる理論的な手作り重量は、実際のLLMと一致しない性質を持つ。 実際のモデルの証拠も探しています。 ICLとGDは,実験の順序に異なる感度を持つ。 最後に、自然条件下でICL対GD仮説を探索し、比較する。 本研究では,自然データ(LLaMa-7B)に基づいて事前学習した言語モデルに関する包括的経験分析を行う。 3つのパフォーマンス指標の比較では,データセットやモデル,実演数など,さまざまな要因の関数として,ICLとGDの不整合挙動に着目した。 ICLとGDは言語モデルの出力分布を異なる方法で変更する。 これらの結果は、ICL と GD の間の 'emph{the equivalence") が依然として開仮説であり、さらなる研究を求めることを示唆している。

関連論文リスト

• Bayesian scaling laws for in-context learning [72.17734205418502]
  In-context Learning(ICL)は、言語モデルをトレーニング更新なしで複雑なタスクを実行するための強力なテクニックである。 我々は、ICCがベイズ学習者を近似し、ICCのための新しいベイズスケーリング法則のファミリーを開発することを示す。
  論文  参考訳（メタデータ） (2024-10-21T21:45:22Z)
• Probing Causality Manipulation of Large Language Models [12.46951388060595]
  大規模言語モデル(LLM)は、因果関係の問題を含む自然言語処理に様々な能力を示している。 本稿では、モデルに異なるショートカットを提供し、行動を観察し、因果操作を階層的に探索する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-26T16:00:41Z)
• Is In-Context Learning a Type of Gradient-Based Learning? Evidence from the Inverse Frequency Effect in Structural Priming [6.408190458163885]
  大規模言語モデル(LLM)は、文脈内学習(ICL)の創発的能力を示している。 我々は、ICLが勾配学習と機能的に等価であるかどうかを診断する新しい方法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T17:06:41Z)
• What Do Language Models Learn in Context? The Structured Task Hypothesis [89.65045443150889]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)と呼ばれるデモで提示されたインコンテキストの例から新しいタスクを学習する 一般的な仮説の一つは、タスク選択によるICLの説明である。 もう一つの一般的な仮説は、ICLはメタ学習の一形態である、すなわち、モデルが事前学習時に学習アルゴリズムを学習し、それを実演に適用する、というものである。
  論文  参考訳（メタデータ） (2024-06-06T16:15:34Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Exploring the Relationship between In-Context Learning and Instruction Tuning [18.186126518966017]
  In-Context Learning (ICL) と Instruction Tuning (IT) は、下流アプリケーションにLarge Language Modelsを採用する2つの主要なパラダイムである。 ICLでは、推論時に一連のデモが提供されるが、LLMのパラメータは更新されない。 ITでは、LLMのパラメータをトレーニング時にチューニングするために一連のデモが使用されるが、推論時にデモは使用されない。
  論文  参考訳（メタデータ） (2023-11-17T07:40:46Z)
• Dynamic Demonstrations Controller for In-Context Learning [51.3439660534631]
  In-Context Learning(ICL)は、自然言語処理(NLP)のための新しいパラダイムであり、大規模な言語モデルが少数の実演とテストインスタンスを入力として観察する。 これまでの研究では、ICLはデモの選択と順序に敏感であることが判明している。 デモ数を調整することでICLの性能を向上させる動的デモ制御器(D$2$Controller)を提案する。
  論文  参考訳（メタデータ） (2023-09-30T14:04:22Z)
• Investigating the Learning Behaviour of In-context Learning: A Comparison with Supervised Learning [67.25698169440818]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。 我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。 まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。 第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
  論文  参考訳（メタデータ） (2023-07-28T09:03:19Z)
• Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。