論文の概要: Rules Amortize, Pairings Don't: Linguistic Structure Determines What Latent Task Representations Can Replace In-Context Learning
- arxiv url: http://arxiv.org/abs/2610.00526v1
- Date: Wed, 30 Sep 2026 18:15:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.689597
- Title: Rules Amortize, Pairings Don't: Linguistic Structure Determines What Latent Task Representations Can Replace In-Context Learning
- Title（参考訳）: ルールの暗記, ペアリングはしない: 言語構造決定 潜在タスク表現が文脈内学習に取って代わるもの
- Abstract要約: コンテキスト内学習は、ゼロショット推論コストで少数ショットの振る舞いを回復する潜在オブジェクトに償却することができる。
我々は、この質問の言語バージョンを尋ねる:どの言語操作をプロンプトから退避させることができるのか?
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In-context learning (ICL) can be amortized into latent objects (task vectors, function vectors, context vectors) that recover few-shot behavior at zero-shot inference cost, but recent theory shows a static vector acts as a single synthetic demonstration and must fail on high-rank mappings such as word-level bijections. We ask a linguistic version of this question: which linguistic operations can be amortized out of the prompt? We train a 2.6M-parameter network that reads the geometry of a few-shot support set (centroid, principal subspace, spectrum, computed once and cached) and produces an input-conditioned additive update to the query's residual stream at a mid-depth layer of a frozen GPT-2-large/XL. Across eight inflectional directions and one lexical relation, under a canonical split that bars inverted-pair leakage between directions, three regimes emerge. On forward inflection, where 10-shot ICL is strong (0.67-0.89) and extracted task vectors collapse (<=0.06), the transform matches ICL at strictly zero-shot per-query cost. On lemmatization directions, which frozen GPT-2 can execute but 10 demonstrations systematically fail to convey (ICL 0.13-0.48 at 1.5B), the transform is not capped by ICL at all: it reaches 0.78-0.92, up to +72 points over ICL (past to present: 0.85 vs. 0.13). On arbitrary pairings (antonymy) every amortizer plateaus near half of ICL at every scale, capacity, and seed tested. Controls show the support manifold acts as a causally necessary task fingerprint: wrong-task manifolds collapse accuracy to <=0.06, query-only variants cannot disambiguate tasks sharing an input space, and leave-one-task-out transfer is zero. Productive rules amortize into latent task representations, sometimes better than prompting can convey them; memorized pairings do not.
- Abstract（参考訳）: In-context Learning (ICL) は、ゼロショット推論コストで最小ショットの振る舞いを復元する潜在オブジェクト(タスクベクトル、関数ベクトル、コンテキストベクトル)にアモートすることができるが、最近の理論では、静的ベクトルは単一の合成デモとして機能し、ワードレベルのビジェクションのような高階マッピングでは失敗しなければならない。
我々は、この質問の言語バージョンを尋ねる:どの言語操作をプロンプトから退避させることができるのか?
我々は、2.6Mパラメータネットワークをトレーニングし、いくつかのショットサポートセット(セントロイド、主部分空間、スペクトル、一度計算され、キャッシュされる)の幾何学を読み出し、凍ったGPT-2-large/XLの中間層でクエリの残余ストリームに対する入力条件付加算更新を生成する。
8つの屈折方向と1つの語彙的関係において、バーが方向の間に逆ペアの漏れを生じさせるという正準分裂の下で、3つのレジームが出現する。
10ショットのICLが強く(0.67-0.89)、抽出されたタスクベクトルが崩壊する(<=0.06)と、変換はICLと厳密にゼロショットのクエリコストで一致する。
凍結した GPT-2 が実行可能であるが、系統的に 10 個のデモは伝達に失敗する(ICL 0.13-0.48 at 1.5B)。
任意のペアリング(匿名性)では、全てのアモルタイザープラトーはICLの半分近くで、あらゆるスケール、容量、種子が検査される。
不正タスク多様体は精度を<=0.06に分解し、クエリのみの変種は入力空間を共有するタスクを曖昧にすることができず、一対一の転送はゼロである。
生産的なルールは、時にはプロンプトがそれらを伝達できるよりも優れた潜在タスク表現に記憶される。
関連論文リスト
- Capturing In-Context Learning Dynamics with Task Operators [42.575178574443946]
インコンテキスト学習(ICL)により、言語モデルでは、重み更新なしでデモから新しいタスクを実行できる。
以前の作業では、ICLを特定の層や位置から抽出した固定活性化ベクトルに圧縮するが、これらの入力非依存的な介入は複雑なタスクで失敗する。
本稿では,この変換をアテンション出力プロジェクションの解析的更新として再生するタスク演算子(TO)を紹介する。
論文 参考訳（メタデータ） (2026-10-01T04:50:17Z) - Semantic Prefix Oracles for LLM Decoding: Contracts and Differential Validation [0.0]
我々は、文脈自由曲面にそのような制約を付加し、アールレー降下時にそれらを実行する宣言的形式主義である意味文法仕様を提案する。
セマンティックな矛盾が継続によって修復できない接頭辞のみを拒絶する。
9つのモデルに対する一致セマンティック・リバース・シンタクティック・アブレーションを含む12モデル生成研究では、各モデル言語対について非負の観測セマンティック・ミナス・シンタクティック・ポイント推定を求める。
論文 参考訳（メタデータ） (2026-09-28T15:34:59Z) - DreamingGoose: Staged Distillation from Autoregressive Transformers to Bidirectional Recurrent Diffusion Language Models [41.99844472131922]
我々はQwen3の教師を1.7Bと8Bで3段階に分けて、注意なし、双方向、ゲート・デルタ・ルール拡散学習者に変換する。
言語モデリングは部分的および非分配のみを転送する。
検索を学習するすべてのモデルは、検索エピソードに現れないトークンに対して0.000のスコアを獲得します。
論文 参考訳（メタデータ） (2026-09-28T03:57:11Z) - From Decorative to Load-Bearing: Task Difficulty Shapes the Causal Role of Chain-of-Thought [2.122752621320654]
CoT(Chain-of- Thought)モニタリングは、記述された推論が答えを因果的に制約する場合のみ意味を持つ。
本稿では,連続型因果検定,アブレーション・パッチによる介入,連鎖の切断,崩壊した接頭辞からの継続を強制する手法を提案する。
これは、CoTが最後に答えるためにどのようにロードされるかを測定するもので、機械的忠実性とは異なる振る舞いの概念である。
論文 参考訳（メタデータ） (2026-09-21T20:06:06Z) - SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。
既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。
明示的なWhat-whereインターフェースであるSeGDePを提示する。
論文 参考訳（メタデータ） (2026-09-08T15:11:32Z) - A*-Thought-V2: Efficient Latent Reasoning via Geometric Dynamics of LLM [40.07171947823021]
CoT(Chain-of-Thought)は、LLM(Large Language Models)の推論能力を改善するが、かなりの計算とコンテキストコストを発生させる。
A*-Thought-V2 は LLM ガイドフレームワークの幾何学的ダイナミクスであり,COT を隠れ状態軌道としてモデル化し,ハード削除を明示的かつ単純でインターリーブな潜在アーキテクチャに置き換える。
論文 参考訳（メタデータ） (2026-09-07T17:56:20Z) - Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。
トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。
重量のみの量子化下での活性化ステアリングを系統的に研究する。
論文 参考訳（メタデータ） (2026-09-06T08:41:42Z) - DualCert: A Solver for the Traveling Salesman Problem with Constraint-Coupled Learning [4.941039246565574]
大規模走行セールスマン問題 (TSP) では、出力の妥当性を保ちながら限られた計算を割り当てることが求められる。
DualCertは、Emphconstraint-coupled learningを導入し、現在の等級方程式と動的に分離されたサブチュール除去制約がそれぞれの学習遷移を定義する。
1000の保持されたTSP1000インスタンス上で、DualCertは、Lin--Kernighan--Helsgaunバージョン3(LKH-3)からの平均的なツアーコストギャップ(0.0573%)をインスタンス当たり9.55秒のバッチ修正秒で達成した。
論文 参考訳（メタデータ） (2026-08-10T02:48:16Z) - Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
言語モデルは、進行中の計算の質を読み取ることができるか?
外部介入は、その読み出しをより良い結果に変えることができるか?
凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
論文 参考訳（メタデータ） (2026-07-20T22:40:36Z) - Imbuing Large Language Models with Bidirectional Logic for Robust Chain Repair [44.80087038178069]
本稿では,デコーダのみのトランスフォーマーをネイティブに組み込んだトレーニングフレームワークであるTeleological Reasoning Infilling (TRI)を紹介する。
推測では、TRIは二重システムループ内の外科的修復モジュールとして動作する。
3つのベンチマークの実験では、TRIは全てのタスクで最先端のパフォーマンスを達成し、プロブレム当たりのトークン支出を31.2%削減した。
論文 参考訳（メタデータ） (2026-06-03T15:58:48Z) - Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses [57.20181537213498]
Agentic Harness Engineering (AHE)は、ハーネスエンジニアリングを自動化するクローズドループである。
AHEは3つの一致した可観測性柱を通じて課題に対処する。
10 AHE lift pass@1 on Terminal-Bench 2 from 69.7% to 77.0%。
SWE-bench-verifiedでは、種子よりも12%少ないトークンで合計成功率を上回り、ターミナルベンチ2では+5.1から+10.1ppのクロスファミリーゲインを得る。
論文 参考訳（メタデータ） (2026-04-28T16:55:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。