論文の概要: Sensitivity-Positional Co-Localization in GQA Transformers

• arxiv url: http://arxiv.org/abs/2604.07766v1
• Date: Thu, 09 Apr 2026 03:41:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.678674
• Title: Sensitivity-Positional Co-Localization in GQA Transformers
• Title（参考訳）: GQA変圧器の感度-電位同時局所化
• Abstract要約: グループクエリアテンション変換器における基本構造問題について検討する。 タスクの正確性に最も敏感なレイヤは、位置エンコーディング適応が最大のレバレッジを持つレイヤと一致しているか? LSLORAは,新しい正当性差分隠れ状態メートル法により同定された層へのLoRA適応を制限し,GARFAは対象層に8個の学習可能なKVヘッドスカラー乗算器を付加する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate a fundamental structural question in Grouped Query Attention (GQA) transformers: do the layers most sensitive to task correctness coincide with the layers where positional encoding adaptation has the greatest leverage? We term this the co-localization hypothesis and test it on Llama 3.1 8B, a 32-layer GQA model with a 4:1 query-to-key-value head ratio. We introduce \LSLORA, which restricts LoRA adaptation to layers identified via a novel correctness-differential hidden-state metric, and GARFA (GQA-Aware RoPE Frequency Adaptation), which attaches 8 learnable per-KV-head scalar multipliers to each targeted layer. Contrary to the co-localization hypothesis, we discover strong anti-localization: task-sensitive layers concentrate in the late network ($\ell\in\{23\text{-}31\}$) while RoPE-influential layers dominate the early network ($\ell\in\{0\text{-}9\}$), yielding Spearman $r_s = -0.735$ ($p = 1.66\times10^{-6}$). Despite this anti-localization, a 4-way cross-layer ablation shows that applying both interventions to the sensitivity-identified layers outperforms all alternative configurations by 4-16 percentage points across six diverse benchmarks (MMLU, GPQA, HumanEval+, MATH, MGSM, ARC), approaching Claude 3.5 Haiku on HumanEval+ (67.1% vs. 68.3%) at \$100 total compute cost.
• Abstract（参考訳）: グループクエリアテンション(GQA)トランスフォーマーの基本的な構造的問題について検討する: タスクの正確性に最も敏感な層は、位置エンコード適応が最大のレバレッジを持つ層と一致しているか? これをコローカライズ仮説と呼び、Llama 3.1 8B、すなわち、4:1のクエリ-キー-値比を持つ32層GQAモデルで試す。 本稿では,新しい正当性差分隠れ状態メートル法により同定された層へのLoRA適応を制限した \LSLORA と,対象層に8個の学習可能なKVヘッドスカラー乗算器を付加した GARFA (GQA-Aware RoPE Frequency Adaptation) を紹介する。 タスクセンシティブな層はレイトネットワーク (\ell\in\{23\text{-}31\}$) に集中するのに対し、RoPE-influential 層はアーリーネットワーク (\ell\in\{0\text{-}9\}$) を支配し、Spearman $r_s = -0.735$$$ (p = 1.66\times10^{-6}$) を得る。 この非局在化にもかかわらず、4方向のクロスレイヤーアブレーションは、感度識別された層に両方の介入を施すことで、6つの様々なベンチマーク(MMLU、GPQA、HumanEval+、MATH、MGSM、ARC)で4～16ポイントの代替構成を上回り、100ドルの計算コストでClaude 3.5 Haiku on HumanEval+ (67.1% vs. 68.3%)に近づいたことを示している。

関連論文リスト

• Can Scene Text Recognition Read Rare Compositions? [1.7844382164707184]
  6つの標準ベンチマークにおいて、シーンテキスト認識は89-97%正確であると報告され、その問題が飽和として広く扱われている。 私たちは代替の読書を提示する。 同じテスト画像が、基準コーパスに対して、接地的単語の規則性と文字n-gramの新規性によって共同で成層されると、結果の5x5グリッドのレアワードxレアトリグラムコーナーでの精度は、q3/q3センタより10〜18pt下方に低下する。
  論文  参考訳（メタデータ） (2026-09-01T07:16:42Z)
• Frozen Cores Need Task Signal: Fisher-Whitened Cross-Covariance for Low-Resource LLM Adaptation [18.8104643146881]
  厳格な訓練州予算の下で, コンストラクタ効率の高い微調整の選択について検討した。 我々は、署名された入力-エラーの相互共分散を推定し、対角的なフィッシャーモーメントと白くし、その結果の局所距離でそれを切り離し、選択した方向を写像し、より薄いQRを適用して安定したコア座標を得るFCCAを紹介する。 Qwen2.5-3B では、FCCA は 83.0 のマクロ平均値に達し、その2.3 ポイントは、マッチした予算のコンストラクタよりも高く、11 タスクすべてにおいて未白の RawGrad コントロールを超えている。
  論文  参考訳（メタデータ） (2026-09-01T05:52:38Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Rethinking Attention Locality in Spiking Transformers [50.00501275379363]
  スパイキングトランスフォーマーは、スパイク駆動計算による効率的なビジュアル処理のための有望なパラダイムを提供する。 彼らのSSA(Softmax-free Spiking Self-Attention)は、空間的に局所化されたトークン相互作用を確立するのに苦労している。 境界連続経路(SCLA-BCP)を用いた空間連続的局所的注意法を提案する。 当社のアプローチでは、2017年のCOCOではmAP@50が9.50%、ADE20KではmIoUが3.42%改善しています。
  論文  参考訳（メタデータ） (2026-08-09T07:36:17Z)
• The Intruder Threshold: A Spectral Law for LoRA Fine-Tuning [3.860898721527665]
  LoRAファインチューニングは、破滅的な忘れを誘う侵入者次元を生み出すことができる。 観測されたスペクトルの層ごとに層が現れると予測される理論は存在しない。 完全な微調整は、すべてのレイヤのしきい値よりはるかに低いアップデートを分散させる。 Norm-matchedの介入は、更新の規模ではなく、しきい値の交差する層が忘れを伴っていることを確認します。
  論文  参考訳（メタデータ） (2026-07-26T15:17:41Z)
• TaDA: Calibrated Probe Gating for Task-Domain LoRA Merging [6.356259006504384]
  タスクとドメインアダプタは変換器アーキテクチャ全体にわたって一貫した深さ依存性の非対称性を示す。 本稿では,この構造を利用したトレーニングフリーなアルゴリズムを提案する。 $textbfTaDA$は、推論オーバーヘッドがゼロの標準ランク-r$LoRAアダプタを生成する。
  論文  参考訳（メタデータ） (2026-06-03T15:39:37Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Learning Rate Engineering: From Coarse Single Parameter to Layered Evolution [11.642796814179926]
  我々は,(Gen1)グローバル固定学習率,(Gen2)グローバルスケジューリング,(Gen3)パラメータレベル適応,(Gen4)階層レベルの微分,(Gen5)ジョイントレイヤタイムスケジューリングの5世代に学習率スケジューリングを体系化する。 本稿では,位相適応コサインスケジューリング,深度対応Grokfastフィルタ,LARSスタイルの信頼率を1つのコヒーレント勾配に統合する統合フレームワークであるDALSを提案する。 我々は、合成、CIFAR-10(スクラッチから)、RTEの5世代にわたる3つのDALS変種を含む18の戦略をベンチマークした。
  論文  参考訳（メタデータ） (2026-04-30T01:13:48Z)
• Partial Number Theoretic Transform Masking in Post Quantum Cryptography Hardware: A Security Margin Analysis [0.0]
  ML-DSAとML-KEMのハードウェアアクセラレータAdams Bridgeは、Inverse Number Theoretic Transformレイヤの1をマスクし、残りの部分はシャッフルに頼っている。 著者らは,信頼度の高い7つの分析トラックをまたいだサイドチャネル文学に対するこれらの主張を,信頼性の高い証拠を用いて評価した。
  論文  参考訳（メタデータ） (2026-04-04T17:38:34Z)
• Fragile Reasoning: A Mechanistic Analysis of LLM Sensitivity to Meaning-Preserving Perturbations [2.7946918847372277]
  大規模言語モデルは、数学的推論ベンチマークにおいて強い性能を示すが、意味を保存する表面摂動に対して驚くほど脆弱である。 我々は677 GSM8K問題に対して,3つのオープンウェイトLLM(Mistral-7B,Llama-3-8B,Qwen2.5-7B)を意味論的に等価な変種と組み合わせて評価した。 3つのモデルはいずれも相当な解答フリップ率(28.8%-45.1%)を示し、数字のパラフレーズは名前スワップよりも一貫して破壊的である。
  論文  参考訳（メタデータ） (2026-04-02T05:30:20Z)
• LAAF: Logic-layer Automated Attack Framework A Systematic Red-Teaming Methodology for LPCI Vulnerabilities in Agentic Large Language Model Systems [0.39875976220956705]
  LAAFは、LPCI固有のテクニックと段階的なシードエスカレーションを組み合わせた最初の自動化赤チームフレームワークである。 LAAFは単技術ランダムテストよりも高いステージブレークスルー効率が得られることを示す。
  論文  参考訳（メタデータ） (2026-03-18T00:51:36Z)
• Privacy-Aware Split Inference with Speculative Decoding for Large Language Models over Wide-Area Networks [0.0]
  本稿では、信頼性のあるローカルGPUとクラウドGPUのトランスフォーマーを分割する、プライバシーに配慮した大規模言語モデル(LLM)の実用的なシステムを提案する。 我々のシステムは、高速広帯域ネットワーク(WAN)上での自己回帰LDM復号化の独特な課題に対処する。 システムは4.9GBのローカルVRAMと7Bのスループットしか持たない大型モデルに一般化される。
  論文  参考訳（メタデータ） (2026-02-18T14:13:08Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Void in Language Models [2.7195102129095003]
  命令調整言語モデル(LM)における層活性化を,プロンプト処理と応答生成の2段階にわたって解析する。 すべてのレイヤが推論中に等しく寄与するわけではなく、ほとんどのレイヤを選択的にスキップすることで、特定のタスクにおけるモデルの性能が向上することを示している。
  論文  参考訳（メタデータ） (2025-05-20T15:01:56Z)
• Cross-layer Attention Sharing for Pre-trained Large Language Models [87.23702516022435]
  大規模言語モデル(LLM)における自己注意の軽量代用であるLISAを導入する。 その結果,LISAは高い応答品質を維持しつつ,全レイヤの53%～84%以内の冗長な注意計算を減らしていることがわかった。 LISAの実装により,LLaMA3-8B,LLaMA2-7B,LLaMA2-13Bに対して最大スループット19.5%,32.3%,40.1%のスループット向上を実現した。
  論文  参考訳（メタデータ） (2024-08-04T00:38:34Z)
• ERNIE-SPARSE: Learning Hierarchical Efficient Transformer Through Regularized Self-Attention [48.697458429460184]
  情報ボトルネック感度と異なる注目トポロジ間の不整合の2つの要因がスパース変換器の性能に影響を及ぼす可能性がある。 本稿では,ERNIE-Sparseというモデルを提案する。 i) 局所情報とグローバル情報を逐次統一する階層スパース変換器(HST) と、(ii) 注意トポロジの異なる変換器の距離を最小化する自己注意正規化(SAR) の2つの特徴がある。
  論文  参考訳（メタデータ） (2022-03-23T08:47:01Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。