論文の概要: Contextualize-then-Aggregate: Circuits for In-Context Learning in Gemma-2 2B

• arxiv url: http://arxiv.org/abs/2504.00132v1
• Date: Mon, 31 Mar 2025 18:33:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:24:46.689090
• Title: Contextualize-then-Aggregate: Circuits for In-Context Learning in Gemma-2 2B
• Title（参考訳）: コンテクストアグリゲーション:Gemma-22Bにおけるインテクスト学習のための回路
• Authors: Aleksandra Bakalova, Yana Veitsman, Xinting Huang, Michael Hahn,
• Abstract要約: In-Context Learning (ICL)は、大規模言語モデル(LLM)の興味深い能力である。 我々は5つの自然主義ICLタスクに対してGemma-2 2Bにおける情報フローを因果介入を用いて同定する。 このモデルでは,2段階戦略を用いてタスク情報を推論し,コンテキスト化-then-aggregateと呼ぶ。
• 参考スコア（独自算出の注目度）: 46.99314622487279
• License:
• Abstract: In-Context Learning (ICL) is an intriguing ability of large language models (LLMs). Despite a substantial amount of work on its behavioral aspects and how it emerges in miniature setups, it remains unclear which mechanism assembles task information from the individual examples in a fewshot prompt. We use causal interventions to identify information flow in Gemma-2 2B for five naturalistic ICL tasks. We find that the model infers task information using a two-step strategy we call contextualize-then-aggregate: In the lower layers, the model builds up representations of individual fewshot examples, which are contextualized by preceding examples through connections between fewshot input and output tokens across the sequence. In the higher layers, these representations are aggregated to identify the task and prepare prediction of the next output. The importance of the contextualization step differs between tasks, and it may become more important in the presence of ambiguous examples. Overall, by providing rigorous causal analysis, our results shed light on the mechanisms through which ICL happens in language models.
• Abstract（参考訳）: In-Context Learning (ICL)は、大きな言語モデル(LLM)の興味深い能力である。 その行動的側面と、それがミニチュアなセットアップでどのように現れるかについて、かなりの量の作業があるにもかかわらず、どのメカニズムが個々の例からタスク情報を数発のプロンプトで組み立てているのかは、まだ不明である。 我々は5つの自然主義ICLタスクに対してGemma-2 2Bにおける情報フローを因果介入を用いて同定する。 下層層では、下層層では、スナップショット入力と出力トークン間の接続を通じて、先行例によってコンテキスト化される個々のスナップショット例の表現を構築します。 上位層では、これらの表現を集約してタスクを特定し、次の出力の予測を作成する。 文脈化ステップの重要性はタスクによって異なり、あいまいな例の存在下ではより重要になる可能性がある。 全体として、厳密な因果解析を提供することで、言語モデルにおけるICLのメカニズムを解明した。

関連論文リスト

• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Boosting Short Text Classification with Multi-Source Information Exploration and Dual-Level Contrastive Learning [12.377363857246602]
  短文分類のためのMI-DELIGHTという新しいモデルを提案する。 まず、スパーシリティの問題を軽減するために、マルチソース情報探索を行う。 次に,短いテキストの表現を学習するために,グラフ学習アプローチを採用する。
  論文  参考訳（メタデータ） (2025-01-16T00:26:15Z)
• PICLe: Pseudo-Annotations for In-Context Learning in Low-Resource Named Entity Detection [56.916656013563355]
  In-context Learning (ICL)により、大規模言語モデルでは、デモをほとんど使わずにタスクを実行することができる。 PICLeは、ノイズの多い擬似アノテーション付き実演によるインコンテキスト学習のためのフレームワークである。 バイオメディカルな5つのNEDデータセット上でPICLeを評価し,PICLeが低リソース環境でICLより優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-16T16:09:35Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• Implicit In-context Learning [37.0562059811099]
  Inlicit In-context Learning (I2CL)は、ICLの推論コストを最小限の情報損失でゼロショット学習に還元する革新的なパラダイムである。 I2CLはゼロショット推論コストで数ショットレベルのパフォーマンスを実現し、実演例のバリエーションに対して堅牢性を示す。
  論文  参考訳（メタデータ） (2024-05-23T14:57:52Z)
• Dual Operating Modes of In-Context Learning [8.664657381613695]
  In-context Learning (ICL)は、タスク学習とタスク検索という2つの操作モードを示す。 最近の理論的研究は、ICLを解析するための様々な数学的モデルについて研究している。 本稿では,ICLの二重動作モードを同時に説明できる確率モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-29T03:06:10Z)
• In-context Learning Generalizes, But Not Always Robustly: The Case of Syntax [36.98247762224868]
  In-context Learning (ICL)は、現在、大規模言語モデル(LLM)の新しいタスクを教える一般的な方法である。 モデルは、文脈によって定義されたタスクの基盤構造を推論するか、あるいは、同じ分散例にのみ一般化する表面一般化に依存するか? GPT, PaLM, および Llama 2 ファミリーのモデルを用いた実験では, LM 間で大きなばらつきが認められた。 この分散は、モデルサイズよりも事前学習コーパスと監督方法の構成によりより説明される。
  論文  参考訳（メタデータ） (2023-11-13T23:52:43Z)
• Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning [77.7070536959126]
  大規模言語モデル(LLM)の有望な能力としてインコンテキスト学習(ICL)が出現する 本稿では,情報フローレンズを用いたICLの動作機構について検討する。 本稿では,ICL性能向上のためのアンカー再重み付け手法,推論の高速化のための実演圧縮手法,GPT2-XLにおけるICLエラーの診断のための解析フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T15:26:20Z)
• Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? [112.72413411257662]
  大規模言語モデル(LM)は、いくつかのインプットラベルペア(デモ)を条件付けして、新しいインプットの予測を行うことで、インコンテキストで学習することができる。 実演のラベルをランダムに置き換えることは、パフォーマンスをほとんど損なうものではない。 デモの他の側面が、エンドタスクのパフォーマンスの主要な要因であることに気付きました。
  論文  参考訳（メタデータ） (2022-02-25T17:25:19Z)
• Document-Level Event Role Filler Extraction using Multi-Granularity Contextualized Encoding [40.13163091122463]
  イベントロールフィラーに対応するテキストの幅を決定するために、より大きなコンテキストのビューを必要とするため、イベント抽出は難しいタスクである。 まず、文書レベルのロールフィラー抽出において、エンドツーエンドのニューラルシーケンスモデルがどのように機能するかを検討する。 私たちの最高のシステムは、以前の作業よりもかなり優れたパフォーマンスを示します。
  論文  参考訳（メタデータ） (2020-05-13T20:42:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。