論文の概要: Do pretrained Transformers Really Learn In-context by Gradient Descent?

• arxiv url: http://arxiv.org/abs/2310.08540v2
• Date: Fri, 24 Nov 2023 20:24:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 14:03:43.008803
• Title: Do pretrained Transformers Really Learn In-context by Gradient Descent?
• Title（参考訳）: 事前学習されたトランスフォーマーは、勾配降下によってコンテキスト内学習を実際に行うのか?
• Authors: Lingfeng Shen, Aayush Mishra, Daniel Khashabi
• Abstract要約: In-Context Learningは暗黙的にグラディエント・Descent(GD)と等価か? 近年のいくつかの研究は、GDの力学と大規模言語モデルにおけるICLの創発的挙動の類似を描いている。 これらの研究は、言語モデルが訓練される現実的な自然言語設定からかけ離れている。 これらの結果は、ICLとGDの等価性はオープン仮説であり、微妙な考察を必要とし、さらなる研究を求めることを示唆している。
• 参考スコア（独自算出の注目度）: 23.869328709363035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Is In-Context Learning (ICL) implicitly equivalent to Gradient Descent (GD)? Several recent works draw analogies between the dynamics of GD and the emergent behavior of ICL in large language models. However, these works make assumptions far from the realistic natural language setting in which language models are trained. Therefore, such discrepancies between theory and practice necessitate further investigation to validate their applicability. We start by highlighting the assumptions in prior works that construct Transformer weights to simulate gradient descent. Their experiments with training Transformers on ICL objective, inconsistencies in the order sensitivity of ICL and GD, sparsity of the constructed weights, and sensitivity to parameter changes are some examples of mismatch from the real-world setting. Furthermore, we probe and compare the ICL vs. GD hypothesis in a natural setting. We conduct comprehensive empirical analyses on language models pretrained on natural data (LLaMa-7B). Our comparisons on various performance metrics highlight the inconsistent behavior of ICL and GD as a function of various factors such as datasets, models, and the number of demonstrations. We observe that ICL and GD modify the output distribution of language models differently. These results indicate that the equivalence between ICL and GD is an open hypothesis, requires nuanced considerations, and calls for further studies.
• Abstract（参考訳）: In-Context Learning (ICL) はグラディエント・Descent (GD) と暗黙的に等価か? 最近のいくつかの著作は、大きな言語モデルにおけるgdのダイナミクスと icl の創発的挙動の類似性を示している。 しかし、これらの作品は、言語モデルを訓練する現実的な自然言語設定から遠く離れている。 したがって、理論と実践の相違は、それらの適用性を検証するためにさらなる調査が必要である。 まず、勾配降下をシミュレートするTransformer重みを構成する事前の作業における仮定を強調します。 icl目的のトレーニングトランスフォーマ実験、iclとgdの順序感度の不一致、構築された重みのスパース性、パラメータ変化に対する感度など、現実世界の設定とミスマッチの例である。 さらに、自然条件下でICL対GD仮説を探索し、比較する。 本研究では,自然データ(LLaMa-7B)に基づく言語モデルに関する包括的実験分析を行った。 各種パフォーマンス指標の比較では,データセットやモデル,実演数など,さまざまな要因の関数として,ICLとGDの不整合挙動に着目した。 ICLとGDは言語モデルの出力分布を異なる方法で変更する。 これらの結果は、ICLとGDの等価性はオープン仮説であり、微妙な考察を必要とし、さらなる研究を求めることを示唆している。

関連論文リスト

• Bayesian scaling laws for in-context learning [72.17734205418502]
  In-context Learning(ICL)は、言語モデルをトレーニング更新なしで複雑なタスクを実行するための強力なテクニックである。 我々は、ICCがベイズ学習者を近似し、ICCのための新しいベイズスケーリング法則のファミリーを開発することを示す。
  論文  参考訳（メタデータ） (2024-10-21T21:45:22Z)
• Probing Causality Manipulation of Large Language Models [12.46951388060595]
  大規模言語モデル(LLM)は、因果関係の問題を含む自然言語処理に様々な能力を示している。 本稿では、モデルに異なるショートカットを提供し、行動を観察し、因果操作を階層的に探索する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-26T16:00:41Z)
• Is In-Context Learning a Type of Gradient-Based Learning? Evidence from the Inverse Frequency Effect in Structural Priming [6.408190458163885]
  大規模言語モデル(LLM)は、文脈内学習(ICL)の創発的能力を示している。 我々は、ICLが勾配学習と機能的に等価であるかどうかを診断する新しい方法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T17:06:41Z)
• What Do Language Models Learn in Context? The Structured Task Hypothesis [89.65045443150889]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)と呼ばれるデモで提示されたインコンテキストの例から新しいタスクを学習する 一般的な仮説の一つは、タスク選択によるICLの説明である。 もう一つの一般的な仮説は、ICLはメタ学習の一形態である、すなわち、モデルが事前学習時に学習アルゴリズムを学習し、それを実演に適用する、というものである。
  論文  参考訳（メタデータ） (2024-06-06T16:15:34Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Exploring the Relationship between In-Context Learning and Instruction Tuning [18.186126518966017]
  In-Context Learning (ICL) と Instruction Tuning (IT) は、下流アプリケーションにLarge Language Modelsを採用する2つの主要なパラダイムである。 ICLでは、推論時に一連のデモが提供されるが、LLMのパラメータは更新されない。 ITでは、LLMのパラメータをトレーニング時にチューニングするために一連のデモが使用されるが、推論時にデモは使用されない。
  論文  参考訳（メタデータ） (2023-11-17T07:40:46Z)
• Dynamic Demonstrations Controller for In-Context Learning [51.3439660534631]
  In-Context Learning(ICL)は、自然言語処理(NLP)のための新しいパラダイムであり、大規模な言語モデルが少数の実演とテストインスタンスを入力として観察する。 これまでの研究では、ICLはデモの選択と順序に敏感であることが判明している。 デモ数を調整することでICLの性能を向上させる動的デモ制御器(D$2$Controller)を提案する。
  論文  参考訳（メタデータ） (2023-09-30T14:04:22Z)
• Investigating the Learning Behaviour of In-context Learning: A Comparison with Supervised Learning [67.25698169440818]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。 我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。 まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。 第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
  論文  参考訳（メタデータ） (2023-07-28T09:03:19Z)
• Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。