論文の概要: Sensitivity-Positional Co-Localization in GQA Transformers

• arxiv url: http://arxiv.org/abs/2604.07766v1
• Date: Thu, 09 Apr 2026 03:41:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.678674
• Title: Sensitivity-Positional Co-Localization in GQA Transformers
• Title（参考訳）: GQA変圧器の感度-電位同時局所化
• Authors: Manoj Chandrashekar Rao,
• Abstract要約: グループクエリアテンション変換器における基本構造問題について検討する。 タスクの正確性に最も敏感なレイヤは、位置エンコーディング適応が最大のレバレッジを持つレイヤと一致しているか? LSLORAは,新しい正当性差分隠れ状態メートル法により同定された層へのLoRA適応を制限し,GARFAは対象層に8個の学習可能なKVヘッドスカラー乗算器を付加する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate a fundamental structural question in Grouped Query Attention (GQA) transformers: do the layers most sensitive to task correctness coincide with the layers where positional encoding adaptation has the greatest leverage? We term this the co-localization hypothesis and test it on Llama 3.1 8B, a 32-layer GQA model with a 4:1 query-to-key-value head ratio. We introduce \LSLORA, which restricts LoRA adaptation to layers identified via a novel correctness-differential hidden-state metric, and GARFA (GQA-Aware RoPE Frequency Adaptation), which attaches 8 learnable per-KV-head scalar multipliers to each targeted layer. Contrary to the co-localization hypothesis, we discover strong anti-localization: task-sensitive layers concentrate in the late network ($\ell\in\{23\text{-}31\}$) while RoPE-influential layers dominate the early network ($\ell\in\{0\text{-}9\}$), yielding Spearman $r_s = -0.735$ ($p = 1.66\times10^{-6}$). Despite this anti-localization, a 4-way cross-layer ablation shows that applying both interventions to the sensitivity-identified layers outperforms all alternative configurations by 4-16 percentage points across six diverse benchmarks (MMLU, GPQA, HumanEval+, MATH, MGSM, ARC), approaching Claude 3.5 Haiku on HumanEval+ (67.1% vs. 68.3%) at \$100 total compute cost.
• Abstract（参考訳）: グループクエリアテンション(GQA)トランスフォーマーの基本的な構造的問題について検討する: タスクの正確性に最も敏感な層は、位置エンコード適応が最大のレバレッジを持つ層と一致しているか? これをコローカライズ仮説と呼び、Llama 3.1 8B、すなわち、4:1のクエリ-キー-値比を持つ32層GQAモデルで試す。 本稿では,新しい正当性差分隠れ状態メートル法により同定された層へのLoRA適応を制限した \LSLORA と,対象層に8個の学習可能なKVヘッドスカラー乗算器を付加した GARFA (GQA-Aware RoPE Frequency Adaptation) を紹介する。 タスクセンシティブな層はレイトネットワーク (\ell\in\{23\text{-}31\}$) に集中するのに対し、RoPE-influential 層はアーリーネットワーク (\ell\in\{0\text{-}9\}$) を支配し、Spearman $r_s = -0.735$$$ (p = 1.66\times10^{-6}$) を得る。 この非局在化にもかかわらず、4方向のクロスレイヤーアブレーションは、感度識別された層に両方の介入を施すことで、6つの様々なベンチマーク(MMLU、GPQA、HumanEval+、MATH、MGSM、ARC)で4～16ポイントの代替構成を上回り、100ドルの計算コストでClaude 3.5 Haiku on HumanEval+ (67.1% vs. 68.3%)に近づいたことを示している。

関連論文リスト

• Partial Number Theoretic Transform Masking in Post Quantum Cryptography Hardware: A Security Margin Analysis [0.0]
  ML-DSAとML-KEMのハードウェアアクセラレータAdams Bridgeは、Inverse Number Theoretic Transformレイヤの1をマスクし、残りの部分はシャッフルに頼っている。 著者らは,信頼度の高い7つの分析トラックをまたいだサイドチャネル文学に対するこれらの主張を,信頼性の高い証拠を用いて評価した。
  論文  参考訳（メタデータ） (2026-04-04T17:38:34Z)
• Fragile Reasoning: A Mechanistic Analysis of LLM Sensitivity to Meaning-Preserving Perturbations [2.7946918847372277]
  大規模言語モデルは、数学的推論ベンチマークにおいて強い性能を示すが、意味を保存する表面摂動に対して驚くほど脆弱である。 我々は677 GSM8K問題に対して,3つのオープンウェイトLLM(Mistral-7B,Llama-3-8B,Qwen2.5-7B)を意味論的に等価な変種と組み合わせて評価した。 3つのモデルはいずれも相当な解答フリップ率(28.8%-45.1%)を示し、数字のパラフレーズは名前スワップよりも一貫して破壊的である。
  論文  参考訳（メタデータ） (2026-04-02T05:30:20Z)
• LAAF: Logic-layer Automated Attack Framework A Systematic Red-Teaming Methodology for LPCI Vulnerabilities in Agentic Large Language Model Systems [0.39875976220956705]
  LAAFは、LPCI固有のテクニックと段階的なシードエスカレーションを組み合わせた最初の自動化赤チームフレームワークである。 LAAFは単技術ランダムテストよりも高いステージブレークスルー効率が得られることを示す。
  論文  参考訳（メタデータ） (2026-03-18T00:51:36Z)
• Privacy-Aware Split Inference with Speculative Decoding for Large Language Models over Wide-Area Networks [0.0]
  本稿では、信頼性のあるローカルGPUとクラウドGPUのトランスフォーマーを分割する、プライバシーに配慮した大規模言語モデル(LLM)の実用的なシステムを提案する。 我々のシステムは、高速広帯域ネットワーク(WAN)上での自己回帰LDM復号化の独特な課題に対処する。 システムは4.9GBのローカルVRAMと7Bのスループットしか持たない大型モデルに一般化される。
  論文  参考訳（メタデータ） (2026-02-18T14:13:08Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Void in Language Models [2.7195102129095003]
  命令調整言語モデル(LM)における層活性化を,プロンプト処理と応答生成の2段階にわたって解析する。 すべてのレイヤが推論中に等しく寄与するわけではなく、ほとんどのレイヤを選択的にスキップすることで、特定のタスクにおけるモデルの性能が向上することを示している。
  論文  参考訳（メタデータ） (2025-05-20T15:01:56Z)
• Cross-layer Attention Sharing for Pre-trained Large Language Models [87.23702516022435]
  大規模言語モデル(LLM)における自己注意の軽量代用であるLISAを導入する。 その結果,LISAは高い応答品質を維持しつつ,全レイヤの53%～84%以内の冗長な注意計算を減らしていることがわかった。 LISAの実装により,LLaMA3-8B,LLaMA2-7B,LLaMA2-13Bに対して最大スループット19.5%,32.3%,40.1%のスループット向上を実現した。
  論文  参考訳（メタデータ） (2024-08-04T00:38:34Z)
• ERNIE-SPARSE: Learning Hierarchical Efficient Transformer Through Regularized Self-Attention [48.697458429460184]
  情報ボトルネック感度と異なる注目トポロジ間の不整合の2つの要因がスパース変換器の性能に影響を及ぼす可能性がある。 本稿では,ERNIE-Sparseというモデルを提案する。 i) 局所情報とグローバル情報を逐次統一する階層スパース変換器(HST) と、(ii) 注意トポロジの異なる変換器の距離を最小化する自己注意正規化(SAR) の2つの特徴がある。
  論文  参考訳（メタデータ） (2022-03-23T08:47:01Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。