論文の概要: Task Schema and Binding: A Double Dissociation Study of In-Context Learning

• arxiv url: http://arxiv.org/abs/2512.17325v1
• Date: Fri, 19 Dec 2025 08:14:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-22 19:25:54.300421
• Title: Task Schema and Binding: A Double Dissociation Study of In-Context Learning
• Title（参考訳）: タスクスキーマとバインディング: 文脈内学習の二重解離研究
• Authors: Chaeha Kim,
• Abstract要約: In-context Learning (ICL) が2つの分離可能なメカニズム、Taskrho (abstract task type recognition) と Binding (specific input-output associations) に分解する因果検証を提供する。 解離と結合が神経的に解離可能であることを確立することにより、ICLの二重過程理論の因果的証拠を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We provide causal mechanistic validation that in-context learning (ICL) decomposes into two separable mechanisms: Task Schema (abstract task type recognition) and Binding (specific input-output associations). Through activation patching experiments across 9 models from 7 Transformer families plus Mamba (370M-13B parameters), we establish three key findings: 1. Double dissociation: Task Schema transfers at 100% via late MLP patching; Binding transfers at 62% via residual stream patching -- proving separable mechanisms 2. Prior-Schema trade-off: Schema reliance inversely correlates with prior knowledge (Spearman rho = -0.596, p < 0.001, N=28 task-model pairs) 3. Architecture generality: The mechanism operates across all tested architectures including the non-Transformer Mamba These findings offer a mechanistic account of the ICL puzzle that contrasts with prior views treating ICL as a monolithic mechanism (whether retrieval-based, gradient descent-like, or purely Bayesian). By establishing that Schema and Binding are neurally dissociable -- not merely behavioral modes -- we provide causal evidence for dual-process theories of ICL. Models rely on Task Schema when prior knowledge is absent, but prior knowledge interferes through attentional mis-routing (72.7% recency bias) rather than direct output competition (0%). This explains why arbitrary mappings succeed (zero prior leads to full Schema reliance) while factual overrides fail -- and reveals that the true bottleneck is attentional, not output-level. Practical implications: Understanding these dual mechanisms enables more efficient prompt engineering -- reliable schema transfer reduces required demonstrations for novel tasks, while prior-aware design can mitigate the 38% binding failure rate in high-prior scenarios, improving ICL system reliability in production deployments.
• Abstract（参考訳）: In-context Learning (ICL) はタスクスキーマ(タスクタイプ認識)とバインディング(特定の入力出力関連)の2つの分離可能なメカニズムに分解される。 1. 二重解離: 後期 MLPパッチによる100%のタスクスキーマ転送 残留ストリームパッチによる62%のバインディング転送 -- 分離可能なメカニズムの証明 2. 事前Schemaのトレードオフ: スキーマ依存: 事前知識と逆相関する(Spearman rho = -0.596, p < 0.001, N=28 タスクモデルペア) 3. アーキテクチャの一般性: 非トランスフォーマーMambaを含むすべてのテスト済みアーキテクチャを横断するメカニズム これらの発見は、ICLをモノリシックなメカニズムとして扱うICLパズルのメカニスティックな説明を提供する。 スキーマとバインディングは、単に行動モードではなく、神経的に解離可能であることを確立することで、ICLの二重プロセス理論の因果的証拠を提供する。 モデルは、事前の知識が欠如している時にタスクスキーマに依存するが、事前の知識は直接の出力競争(0%)ではなく、注意的ミスルーチン(72.7%の遅延バイアス)を通して干渉する。 これは、なぜ任意のマッピングが成功するのか(以前のゼロがスキーマの完全依存につながる)、事実上のオーバーライドは失敗する -- そして、真のボトルネックは、アウトプットレベルではなく注意を払っていることを明らかにする。 これらの二重メカニズムを理解することで、より効率的なプロンプトエンジニアリングが可能になる -- 信頼性の高いスキーマ転送によって、新しいタスクに必要なデモが削減される。

関連論文リスト

• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• SCoTER: Structured Chain-of-Thought Transfer for Enhanced Recommendation [24.019381388104236]
  本稿では,パターン発見と構造認識伝達を協調最適化問題として扱う統合フレームワークであるSCoTERを提案する。 具体的には、SCoTERは、自動パターン検出のためのGVMパイプラインと、ステップワイズロジックを効率的なモデルに転送する構造保存統合アーキテクチャという、2つの相乗的コンポーネントを通じてこれを運用する。
  論文  参考訳（メタデータ） (2025-11-24T03:00:04Z)
• CoT-Saliency: Unified Chain-of-Thought Reasoning for Heterogeneous Saliency Tasks [96.64597365827046]
  本稿では,3つの運用上不均一なサリエンシタスクを共同で処理する,最初の統合フレームワークを提案する。 タスクの不均一性を橋渡しする視覚言語モデル(VLM)において、チェーン・オブ・ソート(CoT)推論プロセスを導入する。 我々は,全タスクにまたがる特別なSOTA手法と強力なクローズドソースVLMの整合性を示す。
  論文  参考訳（メタデータ） (2025-11-01T04:37:01Z)
• ShortcutBreaker: Low-Rank Noisy Bottleneck with Global Perturbation Attention for Multi-Class Unsupervised Anomaly Detection [59.89803740308262]
  ShortcutBreakerはMUADタスクのための新しい統合された機能再構成フレームワークである。 ショートカットの問題に対処する2つの重要なイノベーションが特徴だ。 提案手法は,4つのデータセットに対して,99.8%,98.9%,90.6%,87.8%の顕著な画像レベルのAUROCを実現する。
  論文  参考訳（メタデータ） (2025-10-21T06:51:30Z)
• Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
  大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。 我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:35:37Z)
• Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
  Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。 クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-05-22T17:11:58Z)
• Transformer Meets Twicing: Harnessing Unattended Residual Information [2.1605931466490795]
  トランスフォーマーベースのディープラーニングモデルは、多くの言語やビジョンタスクで最先端のパフォーマンスを達成した。 自己注意機構は複雑なデータパターンを扱えることが証明されているが、注意行列の表現能力はトランスフォーマー層間で著しく低下する。 本研究では,NLM平滑化の低パス動作を軽減するため,非パラメトリック回帰におけるカーネルツイシング手順を用いた新しいアテンション機構であるTwicing Attentionを提案する。
  論文  参考訳（メタデータ） (2025-03-02T01:56:35Z)
• Refined Gate: A Simple and Effective Gating Mechanism for Recurrent Units [68.30422112784355]
  本稿では,この問題に対処する一般ゲートリカレントニューラルネットワークにおける新しいゲーティング機構を提案する。 提案したゲートは、抽出された入力特徴とバニラゲートの出力を直接的にショートする。 LSTM, GRU, MGUの3種類のゲートRNNに対して, 提案したゲーティング機構を検証する。
  論文  参考訳（メタデータ） (2020-02-26T07:51:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。