論文の概要: Same Function, Different Gradients: Evaluating Gradient Reliability under Reparameterization

• arxiv url: http://arxiv.org/abs/2611.02052v1
• Date: Sun, 01 Nov 2026 16:56:25 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:21:39.73743
• Title: Same Function, Different Gradients: Evaluating Gradient Reliability under Reparameterization
• Title（参考訳）: 同じ機能, 異なるグラディエント: 再パラメータ化下でのグラディエント信頼性の評価
• Abstract要約: 勾配はもはや模型の訓練にのみ使用されるものではない。 現在では、アトラクションヘッドのランク付けに使われている。 これら全体にわたって、より大きな勾配のマグニチュードはより重要な意味を持つ。
• 参考スコア（独自算出の注目度）: 4.230349220081444
• License:
• Abstract: Gradients are no longer used only to train models: Gradient magnitudes are now measurement instruments, used to rank attention heads for pruning, to decide per-example clipping in private training, to allocate adapter rank budgets, and to debug models. Across these workflows, larger gradient magnitudes are taken to mean greater importance. Even for a fixed input--output function, these gradients are computed in one of many possible parameter coordinate systems. For example, attention scores depend on the query and key projections only through the paired product $W_QW_K^\top$. Scaling a head's query projection by $c$ and the corresponding key projection by $1/c$ therefore leaves every output logit unchanged. This change in parameter coordinates rescales the corresponding query and key gradient norms by $1/c$ and $c$, respectively. To test whether gradient-based decisions remain unchanged under these coordinate changes, we introduce Gradient Reliability under Reparameterization (GRR). GRR rewrites a trained model in new parameter coordinates that compute exactly the same function, verifies that predictions are unchanged, and then tests whether the decisions derived from the gradients are unchanged too. Our audits span GLUE classifiers, a ViT on CIFAR-10, GPT-2-medium and GPT-2-large, a 1.1B-parameter Llama-style model on WikiText-2, and six trained LoRA adapters. Empirically, predictions are preserved throughout, but both the gradients and the gradient-based decisions change. Across 66 GLUE attention audits, the median top-3 overlap of raw head-gradient rankings is only $1/3$, and rankings and pruning masks change even under the mildest rescalings we test. In the largest of 14 global-pruning audits, the shifted ranking selects head masks that differ in four of 22 pruned heads and reach $50.92\%$ and $94.84\%$ validation accuracy on one ELECTRA SST-2 model.
• Abstract（参考訳）: グラディエント・マグニチュード(Gradient magnitudes)は、現在、プルーニングのためのアテンションヘッドのランク付け、プライベートトレーニングにおけるサンプルごとのクリッピングの決定、アダプタのランクの予算の割り当て、モデルのデバッグに使用されている測定機器である。 これらのワークフロー全体において、より大きな勾配のマグニチュードはより重要な意味を持つ。 固定された入出力関数であっても、これらの勾配は多くの可能なパラメータ座標系の1つで計算される。 例えば、注目スコアは、ペア製品である$W_QW_K^\top$を通してのみ、クエリとキープロジェクションに依存する。 ヘッドのクエリプロジェクションを$c$、対応するキープロジェクションを$/c$にスケールすると、すべての出力ログが変更される。 このパラメータ座標の変更は、対応するクエリとキー勾配ノルムをそれぞれ1/c$と$c$に再スケールする。 これらの座標変化の下で勾配に基づく決定が変化しないかどうかを検証するため、パラメータ化下でのグラディエント信頼性(GRR)を導入する。 GRRは、新しいパラメータ座標でトレーニングされたモデルを書き換え、全く同じ関数を計算し、予測が変化しないことを確認し、勾配から導出される決定も変化しないかどうかをテストする。 監査対象はGLUE分類器, CIFAR-10のViT, GPT-2-medium, GPT-2-large, WikiText-2の1.1BパラメータLlamaスタイルモデル, および6種類のLoRAアダプタである。 経験的には、予測は全体にわたって保存されるが、勾配と勾配に基づく決定はどちらも変化する。 66 GLUEのアテンション監査では、生の頭級の上位3位のオーバーラップは1/3ドルに過ぎず、ランキングとプルーニングマスクは、私たちがテストした最も穏やかな再スケーリングの下でも変化します。 14のグローバル・プルーニング・オーディションにおいて、シフトランキングは22個のプルーニングヘッドのうち4つの異なるヘッドマスクを選択し、ELECTRA SST-2モデルの検証精度は$50.92\%、$9.84\%に達する。

関連論文リスト

• SCAFFOLD under Hessian Similarity: Sharp Convergence Rates [63.995660330510105]
  フェデレーション学習の主な課題の1つは、クライアント間での不均一なデータ分割であり、クライアントドリフトと呼ばれるローカル更新にバイアスがかかる。 SCAFFOLD(Karimireddy et al., 2020)は、クライアントのドリフトを二次的に補正するが、元の保証との関係はまだ完全には理解されていない。 我々は,クライアント選択の変種に対して,均一なヘッセン類似性の下で,類似した局データ保証を証明した。
  論文  参考訳（メタデータ） (2026-10-26T16:09:02Z)
• Modeling quantum neural network gradient with reinforcement learning [0.0]
  短期ハードウェア上での量子ニューラルネットワーク(QNN)のトレーニングは、2つの複合的な困難によって妨げられている。 RLQ-Gradは、古典的ポリシーがパラメータを直接更新することを学習する強化学習に基づく手法である。 最大12キュービットの回路上の勾配ベースのベースラインよりも、最大10ドル以上でトップ1の精度を向上する。
  論文  参考訳（メタデータ） (2026-09-25T10:03:48Z)
• Invertible Logits Transformation for Accuracy-Preserving Post-Hoc Uncertainty Calibration [10.333478793903724]
  理想的な校正器は、非線形の誤校正を補正し、大きなラベル空間に優雅にスケールし、元の予測を保存する必要がある。 InvLTは、標準キャリブレーション基準の幅広いポストホックベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-08-11T02:08:05Z)
• First-Order Predictable but Pairwise Fragile: Local Task Adaptation in Trained Transformers [0.05729426778193398]
  マルチタスクのLORA操作点付近で同じハーネスで8つの特性を測定する。 テストスケール10-2$までの1方向の検証ウィンドウが共有されているが、ペアの合成や更新順序に対する普遍半径は存在しない。
  論文  参考訳（メタデータ） (2026-07-18T13:43:44Z)
• Not How Many, But Which: Parameter Placement in Low-Rank Adaptation [7.686602368047758]
  LoRAアダプタのB行列内のトレーニング可能なエントリ(Aフリーズ)の固定予算が$k$であるなら、どの$k$が重要だろうか? 教師付き微調整、ランダム、インシデントされたサブセットは、同等のパフォーマンスを達成する。 GRPOのベースモデルでは、ランダム配置はベースモデルよりも改善されず、勾配インフォームド配置は標準のLoRA精度を回復する。
  論文  参考訳（メタデータ） (2026-05-12T14:46:00Z)
• Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
  本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。 VIGORはポリシーモデルのみを使用する単純な報酬です。 数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
  論文  参考訳（メタデータ） (2026-05-11T03:15:37Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring [9.250460219785188]
  IGU-LoRAは、階層内統合勾配(IG)の感度を計算し、それらをランク割り当てのための階層レベルスコアに集約する適応ランクLoRAである。 IGU-LoRAは、一致したパラメータ予算でPEFTベースラインを一貫して上回り、下流の精度とロバスト性を改善している。
  論文  参考訳（メタデータ） (2026-03-14T06:45:54Z)
• Grad-ELLM: Gradient-based Explanations for Decoder-only LLMs [52.15785423211181]
  Grad-ELLMは、デコーダのみをベースとした大規模言語モデルのための勾配に基づく属性法である。 我々は、より公平な比較を提供する2つの忠実度指標$-Soft-NCと$-Soft-NSを導入する。 実験の結果,Grad-ELLMは他の属性法よりも優れた忠実性が得られることがわかった。
  論文  参考訳（メタデータ） (2026-01-06T15:22:39Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。