論文の概要: How Depth Growth and Looping Shape In-Context Learning in Language Models

• arxiv url: http://arxiv.org/abs/2610.31421v1
• Date: Thu, 22 Oct 2026 15:21:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.422967
• Title: How Depth Growth and Looping Shape In-Context Learning in Language Models
• Title（参考訳）: 言語モデルにおける深度成長とループ形状のインテクスト学習
• Abstract要約: ループ化および深さ成長言語モデルは、深さにわたって計算を再利用する。 このような再利用が文脈学習(ICL)をどのように好むかを検討する。 実験は、文脈から学ぶことに対する共有帰納的バイアスの証拠を提供する。
• 参考スコア（独自算出の注目度）: 45.000337092092344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped and depth-grown language models reuse computations across depth and have attracted interest for their reasoning capabilities. Building on prior suggestive evidence of improved in-context-learning (ICL), we investigate how such reuse favors ICL, including how it shapes the acquisition, retention, and mechanisms of this ability. Our analysis spans pretrained language models up to 3B parameters and controlled tasks. The experiments provide evidence for a shared inductive bias toward learning from context: grown and looped models rely more on information in context and, compared with a full-depth dense reference, acquire ICL earlier in controlled tasks and retain it more strongly when learning fixed associations in the weights is also possible. Tracing attention heads through training reveals that depth growth propagates early induction heads across layers. Ablations show that grown and looped models rely more strongly on induction-ranked heads for both few-shot performance and later-token prediction. Together, these findings provide evidence for a shared inductive bias toward learning from context and suggest that (soft) parameter reuse shapes how this ability develops and which attention mechanisms support it.
• Abstract（参考訳）: ループ化および深さ成長言語モデルは、深さをまたいだ計算を再利用し、それらの推論能力に関心を惹きつけている。 In-context-learning (ICL)の改善の先行的証拠に基づいて、このような再利用がICLの獲得、保持、その能力のメカニズムをどう形成するかを考察する。 我々の分析は、事前訓練された言語モデルから最大3Bパラメータと制御されたタスクにまたがる。 これらの実験は、文脈から学ぶための共有帰納的バイアスの証拠を提供する: 成長したモデルとループされたモデルは、文脈における情報により依存し、完全な密集した参照と比較して、制御されたタスクの早い段階でICLを取得し、重みの固定された関連性も学べるときに、より強く保持する。 トレーニングを通じて注意を引くことで、深層成長は層をまたいだ早期誘導頭部を伝播させることが明らかになった。 アブレーションは、成長したモデルとループしたモデルは、数ショットのパフォーマンスと後続の予測の両方において、誘導ランク付きヘッドに強く依存していることを示している。 これらの知見は、文脈から学ぶことに対する共用帰納的バイアスの証拠となり、(ソフト)パラメータの再利用が、この能力がどのように発展し、どの注意機構がそれをサポートするかを形作ることを示唆している。

関連論文リスト

• Tracing Morphology, Semantics, and Divergence in Language Acquisition [4.988373530866695]
  オープンソースモデルの中間チェックポイントを利用して、トレーニングステップとモデルスケールにわたる言語習得を調査します。 本研究では, 形態的構造獲得, 埋め込みドリフト, 繰り返し支配, 共起効果の4つのコア特性に着目した。 トレーニングデータセットのサイズが発散認識に肯定的な影響を与えるのに対し、事前学習と推論の繰り返しの共起は発散認識と連想リンク生成に否定的な影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2026-10-13T18:29:52Z)
• Learning to Focus: Causal Attention Distillation via Gradient-Guided Token Pruning [62.23671919314693]
  大規模言語モデル (LLM) は文脈理解において著しく改善されている。 しかし、長いコンテキストの推論と生成の間に真に重要な情報に出席する能力は、まだペースの遅れています。 本稿では,2段階のフレームワークであるLearning to Focus(LeaF)を導入し,コンバウンディング要因を緩和する。
  論文  参考訳（メタデータ） (2025-06-09T15:16:39Z)
• Beyond Induction Heads: In-Context Meta Learning Induces Multi-Phase Circuit Emergence [28.260455480198047]
  トランスフォーマーベースの言語モデルは、文脈に基づいて適応的に予測を行うICL(In-Context Learning)を示す。 このようなメタ学習能力は、トレーニング中にモデルの回路のダイナミクスを解析することによってどのように得られるのかを実験的に明らかにする。
  論文  参考訳（メタデータ） (2025-05-22T13:59:30Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• The mechanistic basis of data dependence and abrupt learning in an in-context classification task [0.3626013617212666]
  本研究では,言語固有の特定の分布特性が,2種類の学習のトレードオフや同時出現を制御していることを示す。 インコンテキスト学習は、誘導ヘッドの突然の出現によって駆動され、その後、インウェイト学習と競合する。 注意に基づくネットワークの急激な遷移は、ICLを実現するのに必要な多層演算の特定の連鎖によって生じると提案する。
  論文  参考訳（メタデータ） (2023-12-03T20:53:41Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• A Theory of Emergent In-Context Learning as Implicit Structure Induction [8.17811111226145]
  大きな言語モデルをスケールすると、実例からコンテキスト内で学習する能力が創発的になる。 文脈内学習は、自然言語データにみられる合成操作の組換えに依拠していると論じる。 入力の合成構造の表現によって、文脈内学習がどうサポートされるかを示す。
  論文  参考訳（メタデータ） (2023-03-14T15:24:05Z)
• Contextualization and Generalization in Entity and Relation Extraction [0.0]
  本研究では、訓練中に見えない事実への一般化に関する最先端モデルの振る舞いについて検討する。 従来のベンチマークは、トレーニングとモデル評価に使用される言及と関係の間に重要な語彙的重複を示す。 本稿では,トレーニングセットと重複する言及と関連性に基づいて,パフォーマンスを分離するための実証的研究を提案する。
  論文  参考訳（メタデータ） (2022-06-15T14:16:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。