論文の概要: Function-Vector Heads Are Two Populations: Writers and Cancellers in In-Context Learning

• arxiv url: http://arxiv.org/abs/2606.07560v1
• Date: Mon, 25 May 2026 12:58:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.720584
• Title: Function-Vector Heads Are Two Populations: Writers and Cancellers in In-Context Learning
• Title（参考訳）: 関数ベクターヘッドは、インテクスト学習における著者とキャンセラの2つの集団である
• Authors: Han-yu Wang,
• Abstract要約: 関数ベクトルヘッドは典型的には、コンテキスト内ルールタスクに対する因果的貢献の大きさによって識別される。 我々は、マグニチュードのみのランキングを符号保存基準に置き換え、パスパッチによる各候補の検証を行う。
• 参考スコア（独自算出の注目度）: 2.892857112058156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Function-vector (FV) heads (Todd et al., 2024) are typically identified by the magnitude of their causal contribution to in-context rule tasks, under the implicit assumption that the top set is a homogeneous functional class. This assumption fails. We replace magnitude-only ranking with a sign-preserving criterion (refined DLA + permutation FDR) and validate each candidate by path patching. The FV head population then splits into two opposing sub-populations: writers push the rule-correct logit up; cancellers push it down. A four-condition canonical verdict holds in $13/15$ cells across three model families and six Pythia scales, and a sign-shuffle rejects homogeneity in $5/6$ main cells. The structure is invisible to magnitude-only ranking: Todd's top-$20$ captures $64\%$ of cancellers but only $4\%$ of writers on the hierarchical task, and $59\%$ of writers but only $8\%$ of cancellers on the modular task. We rule out six artefact accounts on all $27$ canceller (cell, head) pairs: induction overlap, sinks, generic importance, rank-$1$ copy-suppression, V-cascade, and rank-nearest non-FV controls. Zero-ablating cancellers yields $+0.13$ to $+0.29$ nats of logit gain in $6/6$ main cells with a directionally consistent $+2$ to $+7$ pp accuracy effect.
• Abstract（参考訳）: 関数ベクトル (FV) ヘッド (Todd et al , 2024) は通常、トップセットが同質関数クラスであるという暗黙の仮定の下で、文脈内ルールタスクへの因果寄与の大きさによって識別される。 この仮定は失敗する。 我々は、等級限定ランキングを符号保存基準(DLA+置換FDR)に置き換え、経路パッチによる各候補の検証を行う。 その後、FVヘッドの人口は対立する2つのサブ人口に分裂し、ライターはルールの正しいロジットを押し上げ、キャンセル者はそれを押し下げる。 4条件の正準判定は、3つのモデルファミリーと6つのPythiaスケールの13/15$セルで成り、サインシャッフルは5/6$メインセルで均一性を拒絶する。 トッドの上位20ドル(約2,600円)は6,4\%(約6,800円)ですが、階層的なタスクは4,9\%(約4,800円)、モジュラータスクは8\%(約8,800円)です。 インダクションオーバーラップ、シンク、一般的な重要性、ランク-1$のコピー-プレッシャー、V-カスケード、ランク-アレスト非FVコントロールの6つのアーティファクトアカウントを除外します。 Zero-ablating cancellers yields $+0.13$ to $+0.29$ nats of logit gain in six/6$ main cells with a directionally consistent $+2$ to $+7$ pp accuracy effect。

関連論文リスト

• The Security Budget of Code-LLM Prompt Hardening: Provable Limits Under Pass-Only Acceptance [0.0]
  本稿では,emphTri-Audit Protocolとしてフロアを運用する。このプロトコルは,プロンプト側推論レジストリ属性をモデル側実証ログから分離する2軸レポーティングプロトコルである。 CodeLlama-7B, Qwen2.5-Coder-7B/1.5B and DeepSeek-Coder-6.7B at $n=164$ yields the emphCross-Model Tri-Audit Invariance: of 28 pass-serving rows, 12-changed-of-record learned-can
  論文  参考訳（メタデータ） (2026-06-02T08:22:14Z)
• Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
  プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。 21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
  論文  参考訳（メタデータ） (2026-06-01T19:39:25Z)
• Hidden-State Privacy Has an Empty Middle [51.56484100374058]
  すべてのフルランクガウス解放を$O(1)$ Fisher utility で表すと、マハラノビス信号が隠れた幅で直線的に成長する方向を認める。 スクラッチからトレーニングされたスプリットメモリトランスフォーマーは、[20, 33]$90MでG_mathrmMahに達し、固定言語損失ペナルティにおいて、30Mから1Bまでの同じ予算のGPTベースラインに対して6ドル～24ドルという優位性を維持する。
  論文  参考訳（メタデータ） (2026-05-21T20:12:09Z)
• Minimal-Intervention KV Retention via Set-Conditioned Diversity [7.208745673318648]
  小さな予算でのKVキャッシュ圧縮は、キャッシュ表現、ヘッドワイドルーティング、圧縮ケイデンス、デコード動作、予算内スコアリングにまたがる複雑な設計空間である。 本稿では,TriAttentioncitemao2026triattention Retention scorerの1機能的変更を提案する。 事前登録されたプロトコルは、凍結した開発スプリットで$をチューニングし、非結合のホールトアウトスプリットで$ = 0.5$、$$$は4つのうち2つでBonferroniをクリアする。
  論文  参考訳（メタデータ） (2026-05-14T02:50:20Z)
• The Banach-Butterfly Invariant: Influence-Adaptive Walsh Geometry for Ternary Polynomial Threshold Functions [0.0]
  Banach-Suttermajority Conditional Factorization (BBT) BBTは、Walsh-Had0003因子化における影響変種バナッハ幾何学である。
  論文  参考訳（メタデータ） (2026-05-02T22:54:29Z)
• Feature Repulsion and Spectral Lock-in: An Empirical Study of Two-Layer Network Grokking [0.0]
  Tian (2025) は行列 B = (widetildeFtop widetildeF + I) epoch-1 $ に対する反発定理 (Theorem 6) を証明する。 これをTianのモジュラー加法(M = 71 $, $ K = 2048 $, MSE loss)で直接テストし、明確な構造力学解離を観察する。
  論文  参考訳（メタデータ） (2026-04-28T03:46:38Z)
• The Sample Complexity of Online Contract Design [120.9833763323407]
  オンライン環境での隠れアクションの主エージェント問題について検討する。 各ラウンドにおいて、主席は、各結果に基づいてエージェントへの支払いを指定する契約を投稿する。 エージェントは、自身のユーティリティを最大化する戦略的な行動選択を行うが、プリンシパルによって直接観察できない。
  論文  参考訳（メタデータ） (2022-11-10T17:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。