論文の概要: In-Context Binding Capacity in Language Models

• arxiv url: http://arxiv.org/abs/2609.30634v1
• Date: Thu, 24 Sep 2026 23:41:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.159731
• Title: In-Context Binding Capacity in Language Models
• Title（参考訳）: 言語モデルにおける文脈内バインディング能力
• Abstract要約: 我々は、どの値がどのエンティティに属しているかを追跡する前に、言語モデルがリコールできる割り当て数を計測する。 負荷依存リコールプロファイルが変更されていない場合でも、単一結合リコールを減らすことで、干渉が測定能力を低減することができる理由を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How many assignments can a language model recall before it loses track of which value belongs to which entity? We measure this limit using continuous recall curves for 12 models at or below 3B parameters and a threshold sweep over 30 open models up to 12B. On the continuous curves, the load at which recall falls halfway to chance follows $K_{50}=cN^α$, with $α=0.820$ and $R^2=0.73$. The broader sweep shows an eightfold range associated with pretraining recipe, although the continuous curves show no detectable recipe effect after controlling for scale, with few modern models in the fit. We derive why interference can lower measured capacity by reducing single-binding recall even when the load-dependent recall profile is unchanged. Direct task training also exceeds the extrapolated zero-shot law, but different measurement criteria prevent interpreting that comparison as a capacity gain. Its formation times follow a power-law form in two independent codebases, conditional on runs that succeed. Together, these results characterize capacity at the model's query interface. Bounds on joint recall and a decomposition of policy errors connect this measurement to working memory and instruction following, without treating recall as a measure of alignment. The controlled task also provides a baseline for testing whether binding limits constrain world-state tracking; the present experiments do not measure state updates or downstream transfer.
• Abstract（参考訳）: 言語モデルがどのエンティティに属するかの追跡を失う前に、何つの割り当てをリコールできますか? この限界は、3Bパラメータ以下の12モデルに対する連続リコール曲線と、最大12Bまでの30個のオープンモデルに対するしきい値スイープを用いて測定する。 連続曲線では、リコール時の負荷は、$K_{50}=cN^α$で、$α=0.820$と$R^2=0.73$である。 より広いスイープは、事前学習のレシピに関連する8倍の範囲を示しているが、連続曲線は、スケールの制御後に検出可能なレシピ効果を示していない。 負荷依存リコールプロファイルが変更されていない場合でも、単一結合リコールを減らすことで、干渉が測定能力を低減することができる理由を導出する。 直接タスクトレーニングは、外挿されたゼロショット法則を超えているが、異なる測定基準は、その比較をキャパシティゲインとして解釈することを妨げている。 その形成期間は、2つの独立したコードベースにおいて、成功するための条件付き実行という、権限法的な形式に従っている。 これらの結果は、モデルのクエリインタフェースにおけるキャパシティを特徴付ける。 共同リコールのバウンドとポリシーエラーの分解は、リコールをアライメントの尺度として扱うことなく、この測定を作業記憶と命令に接続する。 コントロールされたタスクは、バインディング制限が世界状態のトラッキングを制限するかどうかをテストするためのベースラインも提供する。

関連論文リスト

• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Legible Failures: Detecting and Repairing In-Context Binding Errors [0.0]
  間違った答えは、モデルが必要な情報を欠いているか、保持していたかを示していない。 16の公的なチェックポイントで、それぞれが3つのシードで評価される頻度を測定します。 インコンテキストバインディングは、プローブが動作可能な設定であることに気付きました。
  論文  参考訳（メタデータ） (2026-09-10T08:20:15Z)
• Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
  推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。 トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。 重量のみの量子化下での活性化ステアリングを系統的に研究する。
  論文  参考訳（メタデータ） (2026-09-06T08:41:42Z)
• Certifying Plans under Model Mismatch: A Trilemma for Reachability from Scarce Data [5.455772242709494]
  シモン・トゥ・リアル・ポリシーは、名目力学の下で設計されているが、ターゲット・システム・トライアルは、わずかに孤立した1段階の遷移をもたらす。 本研究では,学習ポリシによって生成されるアクションチャンクなど,固定制御シーケンスの事前実行認証について検討する。
  論文  参考訳（メタデータ） (2026-08-03T16:28:26Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• Ghost in the Context: Measuring Policy-Carriage Failures in Decision-Time Assembly [0.0]
  LLMエージェントは生のインタラクション履歴に作用せず、トランケーション、要約、並べ替え、書き換えによって組み立てられた境界決定状態に作用する。 本研究では, 局所的なLlama 3.1 8B, Qwen 2.5 7B, Mistral 7B上の障害モードについて, 正確な制約の尊重と, 組立状態の可視性の直接監査を用いて検討した。
  論文  参考訳（メタデータ） (2026-05-02T18:07:42Z)
• Beyond Completion: Probing Cumulative State Tracking to Predict LLM Agent Performance [9.771590610969918]
  WMF-AM(Working Memory Fidelity-Active Manipulation)を紹介する。 その結果,20種類のオープンウェイトモデル (0.5B-35B, 13ファミリー) で10タスク・エージェント・バッテリを発売した。
  論文  参考訳（メタデータ） (2026-03-28T17:25:11Z)
• MERGETUNE: Continued fine-tuning of vision-language models [77.8627788911249]
  微調整視覚言語モデル(VLM)は、しばしば事前訓練された知識を破滅的に忘れてしまう。 ゼロショットモデルに適応した後に事前学習した知識を回復するための新しいパラダイムである連続微調整(CFT)を導入する。
  論文  参考訳（メタデータ） (2026-01-15T15:15:53Z)
• Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
  大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。 我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。 我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
  論文  参考訳（メタデータ） (2025-05-15T17:58:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。