論文の概要: Function-Vector Heads Are Two Populations: Writers and Cancellers in In-Context Learning

• arxiv url: http://arxiv.org/abs/2606.07560v1
• Date: Mon, 25 May 2026 12:58:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.720584
• Title: Function-Vector Heads Are Two Populations: Writers and Cancellers in In-Context Learning
• Title（参考訳）: 関数ベクターヘッドは、インテクスト学習における著者とキャンセラの2つの集団である
• Abstract要約: 関数ベクトルヘッドは典型的には、コンテキスト内ルールタスクに対する因果的貢献の大きさによって識別される。 我々は、マグニチュードのみのランキングを符号保存基準に置き換え、パスパッチによる各候補の検証を行う。
• 参考スコア（独自算出の注目度）: 2.892857112058156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Function-vector (FV) heads (Todd et al., 2024) are typically identified by the magnitude of their causal contribution to in-context rule tasks, under the implicit assumption that the top set is a homogeneous functional class. This assumption fails. We replace magnitude-only ranking with a sign-preserving criterion (refined DLA + permutation FDR) and validate each candidate by path patching. The FV head population then splits into two opposing sub-populations: writers push the rule-correct logit up; cancellers push it down. A four-condition canonical verdict holds in $13/15$ cells across three model families and six Pythia scales, and a sign-shuffle rejects homogeneity in $5/6$ main cells. The structure is invisible to magnitude-only ranking: Todd's top-$20$ captures $64\%$ of cancellers but only $4\%$ of writers on the hierarchical task, and $59\%$ of writers but only $8\%$ of cancellers on the modular task. We rule out six artefact accounts on all $27$ canceller (cell, head) pairs: induction overlap, sinks, generic importance, rank-$1$ copy-suppression, V-cascade, and rank-nearest non-FV controls. Zero-ablating cancellers yields $+0.13$ to $+0.29$ nats of logit gain in $6/6$ main cells with a directionally consistent $+2$ to $+7$ pp accuracy effect.
• Abstract（参考訳）: 関数ベクトル (FV) ヘッド (Todd et al , 2024) は通常、トップセットが同質関数クラスであるという暗黙の仮定の下で、文脈内ルールタスクへの因果寄与の大きさによって識別される。 この仮定は失敗する。 我々は、等級限定ランキングを符号保存基準(DLA+置換FDR)に置き換え、経路パッチによる各候補の検証を行う。 その後、FVヘッドの人口は対立する2つのサブ人口に分裂し、ライターはルールの正しいロジットを押し上げ、キャンセル者はそれを押し下げる。 4条件の正準判定は、3つのモデルファミリーと6つのPythiaスケールの13/15$セルで成り、サインシャッフルは5/6$メインセルで均一性を拒絶する。 トッドの上位20ドル(約2,600円)は6,4\%(約6,800円)ですが、階層的なタスクは4,9\%(約4,800円)、モジュラータスクは8\%(約8,800円)です。 インダクションオーバーラップ、シンク、一般的な重要性、ランク-1$のコピー-プレッシャー、V-カスケード、ランク-アレスト非FVコントロールの6つのアーティファクトアカウントを除外します。 Zero-ablating cancellers yields $+0.13$ to $+0.29$ nats of logit gain in six/6$ main cells with a directionally consistent $+2$ to $+7$ pp accuracy effect。

関連論文リスト

• Sharp Rates and a One-Line Correction for Spectral Representation Learning [8.921166277011347]
  自己管理エンコーダは、トレーニング時に誰も名前をつけないタスクの軽量プローブを通じてトレーニングされ、凍結され、再利用される。 標準相関解析、HGR最大相関、およびスペクトルのコントラスト損失の集団最適化は、全て、クロスビュー依存作用素のトップ-$k$特異部分空間を返す。 isotropy is the wrong hypothesis. the prior enters the transfer risk through through the task covariance $=mathbbE[top]$, and through its compression to the operator's leading singular direction。
  論文  参考訳（メタデータ） (2026-09-14T16:26:55Z)
• Inevitability of Encrypted Traffic Side-Channel Leakage in the Multi-Class Setting [20.06940271479014]
  クラスごとの分解$I(X;Y)=sum_i_i D_mathrmKL(P_Y|i|P_Y)$を介して、Side-Channel Existence Theoremを$k$クラスに拡張します。 以下の3つの結果が従う: (1) 活性クラス全体の和形式 MI の下限、(2) カスケード臨界コスト定理と、一様予算境界が消滅する非ゼロ、(3) 精度 $mathrmAcc*
  論文  参考訳（メタデータ） (2026-09-06T00:48:40Z)
• Partially Correlated Verifier Cascades in LLM Harnesses: Concave Log-Odds, Polynomial Reliability, and Blind-Spot Ceilings [0.5076419064097734]
  シリアル検証ゲートはLLMハーネスのコア信頼性プリミティブである。 候補の答えが返されるのは、$k$検証者が全てそれを受け入れた場合に限られる。 このノートはそのような理論を最小限にしている。
  論文  参考訳（メタデータ） (2026-07-15T14:58:37Z)
• Isolating LLM Alignment from Regex: Zero Coverage and Metric-Dependent Divergence Under Adversarial Mutation [51.56484100374058]
  以前の作業では、アクティブフィルタの背後にライブのGeminiバックエンドを追加することで、測定可能なカバレッジが得られなかった。 L_4$-real(Gemini-2.5-flash, token-budget cap, rate limit, output scrub)と同様の$L_5$-no-regexを導入するが、9パターンフィルタは無効である。 3つのサブ言語にまたがる敵対的プローブに対して評価を行った。
  論文  参考訳（メタデータ） (2026-06-12T18:54:24Z)
• The Security Budget of Code-LLM Prompt Hardening: Provable Limits Under Pass-Only Acceptance [0.0]
  本稿では,emphTri-Audit Protocolとしてフロアを運用する。このプロトコルは,プロンプト側推論レジストリ属性をモデル側実証ログから分離する2軸レポーティングプロトコルである。 CodeLlama-7B, Qwen2.5-Coder-7B/1.5B and DeepSeek-Coder-6.7B at $n=164$ yields the emphCross-Model Tri-Audit Invariance: of 28 pass-serving rows, 12-changed-of-record learned-can
  論文  参考訳（メタデータ） (2026-06-02T08:22:14Z)
• Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
  プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。 21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
  論文  参考訳（メタデータ） (2026-06-01T19:39:25Z)
• Hidden-State Privacy Has an Empty Middle [51.56484100374058]
  すべてのフルランクガウス解放を$O(1)$ Fisher utility で表すと、マハラノビス信号が隠れた幅で直線的に成長する方向を認める。 スクラッチからトレーニングされたスプリットメモリトランスフォーマーは、[20, 33]$90MでG_mathrmMahに達し、固定言語損失ペナルティにおいて、30Mから1Bまでの同じ予算のGPTベースラインに対して6ドル～24ドルという優位性を維持する。
  論文  参考訳（メタデータ） (2026-05-21T20:12:09Z)
• Minimal-Intervention KV Retention via Set-Conditioned Diversity [7.208745673318648]
  小さな予算でのKVキャッシュ圧縮は、キャッシュ表現、ヘッドワイドルーティング、圧縮ケイデンス、デコード動作、予算内スコアリングにまたがる複雑な設計空間である。 本稿では,TriAttentioncitemao2026triattention Retention scorerの1機能的変更を提案する。 事前登録されたプロトコルは、凍結した開発スプリットで$をチューニングし、非結合のホールトアウトスプリットで$ = 0.5$、$$$は4つのうち2つでBonferroniをクリアする。
  論文  参考訳（メタデータ） (2026-05-14T02:50:20Z)
• The Banach-Butterfly Invariant: Influence-Adaptive Walsh Geometry for Ternary Polynomial Threshold Functions [0.0]
  Banach-Suttermajority Conditional Factorization (BBT) BBTは、Walsh-Had0003因子化における影響変種バナッハ幾何学である。
  論文  参考訳（メタデータ） (2026-05-02T22:54:29Z)
• Feature Repulsion and Spectral Lock-in: An Empirical Study of Two-Layer Network Grokking [0.0]
  Tian (2025) は行列 B = (widetildeFtop widetildeF + I) epoch-1 $ に対する反発定理 (Theorem 6) を証明する。 これをTianのモジュラー加法(M = 71 $, $ K = 2048 $, MSE loss)で直接テストし、明確な構造力学解離を観察する。
  論文  参考訳（メタデータ） (2026-04-28T03:46:38Z)
• Near-optimal Regret Using Policy Optimization in Online MDPs with Aggregate Bandit Feedback [49.84060509296641]
  オンライン有限水平マルコフ決定過程を逆向きに変化した損失と総括的帯域幅フィードバック(フルバンド幅)を用いて研究する。 この種のフィードバックの下では、エージェントは、軌跡内の各中間段階における個々の損失よりも、軌跡全体に生じる総損失のみを観察する。 この設定のための最初のポリシー最適化アルゴリズムを紹介します。
  論文  参考訳（メタデータ） (2025-02-06T12:03:24Z)
• Smooth Non-Stationary Bandits [49.19728527803684]
  本研究では、各アームの平均報酬シーケンスを$beta$-H"older関数に埋め込むことができる非定常包帯問題について検討する。 スムース(つまり$betage 2$)と非スムース(つまり$beta=1$)との最初の分離は、$tilde O(k4/5 T3/5)$ regret on any $k$-armed, $2-H"older instanceでポリシーを提示することで示します。
  論文  参考訳（メタデータ） (2023-01-29T06:03:20Z)
• The Sample Complexity of Online Contract Design [120.9833763323407]
  オンライン環境での隠れアクションの主エージェント問題について検討する。 各ラウンドにおいて、主席は、各結果に基づいてエージェントへの支払いを指定する契約を投稿する。 エージェントは、自身のユーティリティを最大化する戦略的な行動選択を行うが、プリンシパルによって直接観察できない。
  論文  参考訳（メタデータ） (2022-11-10T17:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。