論文の概要: Spectral Tail Interventions in Decoder-Only Language Models: Reasoning-Sensitive Weight Structure from Controlled Surgery
- arxiv url: http://arxiv.org/abs/2609.26165v1
- Date: Sun, 09 Aug 2026 10:53:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.894106
- Title: Spectral Tail Interventions in Decoder-Only Language Models: Reasoning-Sensitive Weight Structure from Controlled Surgery
- Title（参考訳）: デコーダオンリー言語モデルにおけるスペクトル的触覚干渉:制御手術による推論・感度重み構造
- Abstract要約: 制御介入によるデコーダのみの変圧器におけるスペクトルの集中化について検討した。
ポイントワイズクエリーキー(QK$)の製品テールターゲットを定義し、独立因子手術と製品ターゲット因子化を比較した。
ホルム補正後、18対のコントラストは重要なままであり、2対は方向性だが決定的ではない。
- 参考スコア（独自算出の注目度）: 5.894992157122175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Weight-space structure often correlates with language-model behavior, but correlation alone does not establish computational involvement. We study concentrated upper spectral tails in decoder-only transformers through controlled interventions. At a fixed relative offset, we derive a finite-width conditional bound linking the inverse participation ratio of squared singular values to central pre-softmax logit kurtosis. We then define a pointwise query--key ($QK$) product-tail target and compare independent factor surgery with a product-targeted factorization that preserves native attention computation. Across three base checkpoints and five reasoning benchmarks, plus an instruction-tuned Phi checkpoint analyzed separately, the learned-tail edit is more damaging than the mean of five fixed spectrum-matched Haar controls in all 20 model--task cells. Eighteen paired contrasts remain significant after Holm correction, while two are directional but inconclusive. Product-targeted factors attain higher held-out tail-subspace fractions, providing an empirical bridge between product- and factor-level interventions. Component isolation identifies contributions from $QK$, value--output, and multilayer-perceptron blocks, although the theorem covers only $QK$. In separate studies, inverse participation precedes pooled accuracy transitions under a matched crossing rule, and residualized tail-aware low-rank adaptation (LoRA) reaches targets earlier than standard LoRA and PiSSA while final-score intervals overlap. Conclusions are restricted to the evaluated checkpoints, layers, tasks, interventions, and controls.
- Abstract（参考訳）: 重み空間構造は言語モデル行動と相関することが多いが、相関だけでは計算が関与しない。
制御介入によるデコーダのみの変圧器におけるスペクトルの集中化について検討した。
固定された相対オフセットでは、平方特異値の逆参加比を中央のソフトマックスロジットカルトシスにリンクする有限幅条件境界を導出する。
次に、ポイントワイズクエリーキー(QK$)の製品テールターゲットを定義し、独立因子手術とネイティブアテンション計算を保存する製品ターゲット因子化を比較した。
3つのベースチェックポイントと5つの推論ベンチマークに加えて、個別に解析された命令調整されたPhiチェックポイントは、20のモデル-タスクセルで5つの固定スペクトルマッチングHaarコントロールの平均よりも、より有害である。
ホルム補正後、18対のコントラストは重要なままであり、2対は方向性だが決定的ではない。
製品が対象とする要因は、保留されたテールスペースサブスペースの割合が高く、製品レベルの介入とファクタレベルの介入の間に実証的な橋渡しを提供する。
コンポーネント分離は$QK$, value-output, multilayer-perceptronブロックからのコントリビューションを識別するが、この定理は$QK$のみをカバーする。
異なる研究で、逆参加は、一致した交差規則の下でプールされた精度遷移に先行し、最終スコア間隔が重なる間に、残留化されたテール認識低ランク適応(LoRA)は標準のLoRAやPiSSAよりも早く目標に達する。
結論は評価されたチェックポイント、レイヤ、タスク、介入、コントロールに限定されます。
関連論文リスト
- BiCC: Bidirectional Connected-Component Loss for Instance-Aware Segmentation [47.077412433327616]
BiCCは、そのサイズに関係なく偽陽性成分を罰する。
これは4つのデータセットでDiceCEよりも有意に改善され、全5つのデータセットでBlob損失を発生させる。
論文 参考訳（メタデータ） (2026-09-24T17:48:31Z) - Intrinsic-Extrinsic Coupling in Learning Dynamics [0.0]
制約付き学習状態介入の継続条件値を用いて本質的・外生的結合を定式化する。
我々は,地域の許容度,継続条件付き介入値,完全政治性能を区別する。
論文 参考訳（メタデータ） (2026-09-24T17:30:22Z) - One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。
トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。
OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
論文 参考訳（メタデータ） (2026-09-06T08:32:59Z) - From Concentration to Differentiation and Back: Routing Effective Rank in MoE Reasoning Cohorts [61.695980784491475]
テストタイムスケーリングは、推論ロールアウトのコホートを生成するが、推論が展開するにつれて内部計算がどのように再編成されるかについて、標準的なラベルのない説明はない。
本稿では,MoEの専門家による類似性から構築したクロスロールアウトグラフのエントロピー有効次元性であるルーティング有効ランクデフを導入する。
論文 参考訳（メタデータ） (2026-09-06T05:43:22Z) - Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate [47.36630149538994]
高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。
WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。
安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
論文 参考訳（メタデータ） (2026-08-18T09:32:03Z) - PAIR: Pairwise-Aware Inclusion Reweighting for Adaptive Rollout Allocation in RLVR [0.0]
検証可能な報酬を伴う強化学習は、長い推論軌道の計算生成グループの大部分に費やしている。
最近のアロケータは、難易度やユーティリティのポイントワイズな概念に従って、プロンプト、ロールアウト、トークンに予算を割り当てることで、このコストを削減している。
グループ相対スコア勾配は、独立点寄与の総和ではなく、ロールアウト対に対する2次統計値である。
論文 参考訳（メタデータ） (2026-08-11T19:24:59Z) - Suppression Sticks, Locality Is Fragile: A Closed-Loop Target-and-Control Audit of Task-Vector Negation in VLA Policies [33.432377306905735]
タスクベクトル算術は、モデルを修正するためのクローズドフォームな方法を提供するが、クローズドループロボット制御において、その振る舞いの局所性は未だ不明である。
マルチタスク・ビジョン・ランゲージ・アクション(VLA: Multitask Vision-Language-action)ポリシーから,タスク・ベクターごとのタスク・ベクター・サブトラクションのターゲット・アンド・コントロール・監査を行う。
論文 参考訳（メタデータ） (2026-08-05T10:59:53Z) - Factored Diffusion Policies:Compositionally Generalized Robot Control with a Single Score Network [1.9171512266305901]
本稿では,各因子のNull-tokenドロップアウトを学習した共有拡散ネットワークについて述べる。
トラジェクトリチューブ証明書は、このスコアレベルをリバースタイムサンプリングODEとトラッキングコントローラを介してクローズドループ状態トラジェクトリチューブにチェーンする。
ドローンレースの実験は、一般化バウンドと証明書の両方を確認します。
論文 参考訳（メタデータ） (2026-05-21T15:13:27Z) - Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective [60.45433515408158]
長いチェーン・オブ・ソート(CoT)がトップオプションの決定的決定要因となるが、あいまいなタスクの粒度分布キャリブレータとして機能しないことを示す。
CoTは分布アライメントを改善するが、CoTの内容によって最終的な精度が決定される。
論文 参考訳（メタデータ） (2026-01-06T16:26:40Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳（メタデータ） (2021-04-12T18:50:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。