論文の概要: Revisiting the Hypothesis: Do pretrained Transformers Learn In-Context
by Gradient Descent?
- arxiv url: http://arxiv.org/abs/2310.08540v4
- Date: Thu, 29 Feb 2024 18:47:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 18:33:13.600958
- Title: Revisiting the Hypothesis: Do pretrained Transformers Learn In-Context
by Gradient Descent?
- Title(参考訳): 事前学習されたトランスフォーマーは勾配降下によって文脈内学習をするか?
- Authors: Lingfeng Shen, Aayush Mishra, Daniel Khashabi
- Abstract要約: 言語モデルにおける文脈学習は、ほとんど理解されていない重要な現象である。
この接続は、実際にトレーニング済みのモデルで保留されているのでしょうか?
我々は、自然データに基づいて事前訓練された言語モデルに関する総合的な経験分析を行う。
- 参考スコア(独自算出の注目度): 23.869328709363035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The emergence of In-Context Learning (ICL) in LLMs remains a significant
phenomenon with little understanding. To explain ICL, recent studies try to
theoretically connect it to Gradient Descent (GD). We ask, does this connection
hold up in actual pre-trained models?
We highlight the limiting assumptions in prior works that make their context
considerably different from the practical context in which language models are
trained. For example, the theoretical hand-constructed weights used in these
studies have properties that don't match those of real LLMs. Furthermore, their
experimental verification uses ICL objective (training models explicitly for
ICL), which differs from the emergent ICL in the wild.
We also look for evidence in real models. We observe that ICL and GD have
different sensitivity to the order in which they observe demonstrations.
Finally, we probe and compare the ICL vs. GD hypothesis in a natural setting.
We conduct comprehensive empirical analyses on language models pre-trained on
natural data (LLaMa-7B). Our comparisons of three performance metrics highlight
the inconsistent behavior of ICL and GD as a function of various factors such
as datasets, models, and the number of demonstrations. We observe that ICL and
GD modify the output distribution of language models differently. These results
indicate that the equivalence between ICL and GD remains an open hypothesis and
calls for further studies.
- Abstract(参考訳): LLMにおける文脈学習(ICL)の出現は、ほとんど理解されていない重要な現象である。
iclを説明するために、近年の研究では勾配降下 (gd) と理論的に結びつけようとしている。
この接続は、実際にトレーニング済みのモデルで保たれるのか?
我々は,言語モデルを訓練する実践的文脈と,その文脈をかなり異なるものにする先行作業における制約仮定を強調した。
例えば、これらの研究で使われる理論的な手作りの重みは実際の llm と一致しない性質を持つ。
さらに、実験的な検証では、野生での創発的なiclと異なるicl目的(iclを明示的に訓練するモデル)を使用している。
実際のモデルの証拠も探しています。
iclとgdは,実演を観察する順序に対する感度が異なることが観察された。
最後に,自然環境下でのicl仮説とgd仮説を比較した。
自然データ(llama-7b)に基づいて事前学習した言語モデルについて,包括的実証分析を行う。
3つのパフォーマンス指標の比較では,データセットやモデル,実演数など,さまざまな要因の関数として,ICLとGDの不整合挙動に着目した。
ICLとGDは言語モデルの出力分布を異なる方法で変更する。
これらの結果は、ICLとGDの同値性は未解決の仮説であり、さらなる研究を求めていることを示している。
関連論文リスト
- The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。
LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。
以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2024-03-25T19:07:32Z) - Exploring the Relationship between In-Context Learning and Instruction
Tuning [18.186126518966017]
In-Context Learning (ICL) と Instruction Tuning (IT) は、下流アプリケーションにLarge Language Modelsを採用する2つの主要なパラダイムである。
ICLでは、推論時に一連のデモが提供されるが、LLMのパラメータは更新されない。
ITでは、LLMのパラメータをトレーニング時にチューニングするために一連のデモが使用されるが、推論時にデモは使用されない。
論文 参考訳(メタデータ) (2023-11-17T07:40:46Z) - In-context Learning and Gradient Descent Revisited [3.085927389171139]
トレーニングされていないモデルでさえ、ICLを提示していないにもかかわらず、同等のICL-GD類似度スコアが得られることを示す。
次に、ICLとGDのモデル全体にわたる情報の流れにおける大きな相違について検討し、これをレイヤ因果性(Layer Causality)と呼ぶ。
本稿では,階層因果関係を尊重する単純なGDに基づく最適化手法を提案する。
論文 参考訳(メタデータ) (2023-11-13T21:42:38Z) - Dynamic Demonstrations Controller for In-Context Learning [51.3439660534631]
In-Context Learning(ICL)は、自然言語処理(NLP)のための新しいパラダイムであり、大規模な言語モデルが少数の実演とテストインスタンスを入力として観察する。
これまでの研究では、ICLはデモの選択と順序に敏感であることが判明している。
デモ数を調整することでICLの性能を向上させる動的デモ制御器(D$2$Controller)を提案する。
論文 参考訳(メタデータ) (2023-09-30T14:04:22Z) - Investigating the Learning Behaviour of In-context Learning: A
Comparison with Supervised Learning [67.25698169440818]
大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。
我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。
まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。
第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
論文 参考訳(メタデータ) (2023-07-28T09:03:19Z) - What and How does In-Context Learning Learn? Bayesian Model Averaging,
Parameterization, and Generalization [111.55277952086155]
In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。
ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。
事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
論文 参考訳(メタデータ) (2023-05-30T21:23:47Z) - Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。
我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。
モデルはこれらの評価セットに対して中程度から低い性能を示す。
論文 参考訳(メタデータ) (2023-05-24T06:41:09Z) - Sources of Hallucination by Large Language Models on Inference Tasks [16.644096408742325]
大規模言語モデル (LLM) は自然言語推論 (NLI) が可能なと主張している。
本研究は, 制御実験を用いて行動調査を行う複数のLLMファミリーに関する一連の行動学的研究について述べる。
論文 参考訳(メタデータ) (2023-05-23T22:24:44Z) - Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。
本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。
ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
論文 参考訳(メタデータ) (2023-05-22T06:45:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。