論文の概要: Understanding LLM Parameter Update Sparsity through the Lens of Fisher

• arxiv url: http://arxiv.org/abs/2609.36262v1
• Date: Mon, 28 Sep 2026 20:50:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.010638
• Title: Understanding LLM Parameter Update Sparsity through the Lens of Fisher
• Title（参考訳）: 魚眼レンズによるLDMパラメータ更新空間の理解
• Abstract要約: 言語モデルポストトレーニング中のパラメータの変化は、座標の小さなサブセットに集中することができる。 この現象は、強化学習、オン・ポリケーション蒸留、およびニア・ポリケーションデータによる微調整において報告されている。 この結果は,更新空間とオンライントレーニングのダイナミクスを結びつける統一的な視点として,対角モデルFisherを確立した。
• 参考スコア（独自算出の注目度）: 8.972382390581146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have observed that parameter changes during language-model post-training can be concentrated in a small subset of coordinates. This phenomenon has been reported in reinforcement learning, on-policy distillation, and supervised fine-tuning on near-policy data. Its recurrence across different post-training paradigms suggests shared structure in training dynamics. In this paper, we examine this pattern through the diagonal model Fisher, which measures the sensitivity of the model's output distribution to individual parameters and is independent of any particular reward or teacher signal. Theoretically, we show that small diagonal Fisher leads to small expected gradients across a range of training objectives, providing a common explanation for sparse gradient updates. Empirically, we test this connection in RL and OPD. We find that Fisher identifies where gradients are concentrated, and fixed sparse masks selected from the initial Fisher retain a large proportion of the improvement from full training. Finally, we investigate the mechanisms underlying low Fisher in on-policy training. Our results show that high-probability next tokens tend to have similar parameter sensitivities, contributing to low Fisher. Together, these results establish the diagonal model Fisher as a unifying perspective linking update sparsity to on-policy training dynamics in LLM post-training.
• Abstract（参考訳）: 近年の研究では、言語モデル後学習におけるパラメータ変化は、座標の小さな部分集合に集中することが観察されている。 この現象は、強化学習、オン・ポリケーション蒸留、およびニア・ポリケーションデータによる微調整において報告されている。 異なるトレーニング後のパラダイムにまたがる反復は、トレーニングダイナミクスにおける共有構造を示唆している。 本稿では,このパターンを,各パラメータに対するモデル出力分布の感度を測定し,特定の報酬や教師信号に依存しない対角モデルフィッシャーを用いて検討する。 理論的には、小さな対角線フィッシャーは、様々な訓練目標に対して小さな勾配をもたらすことが示され、緩やかな勾配更新の共通説明を提供する。 経験的に、我々はこの接続をRLとOPDでテストする。 Fisherは勾配が集中している場所を特定し、Fisherの初期から選択された固定されたスパースマスクは、フルトレーニングによる改善のかなりの割合を維持している。 最後に, 環境条件下での低フィッシャー化のメカニズムについて検討する。 以上の結果から,次のトークンはパラメータの感度がよく似ており,より低いフィッシャーに寄与することが示唆された。 これらの結果は,LLMポストトレーニングにおける更新空間とオンライントレーニングダイナミクスをリンクする統一的な視点として,対角モデルFisherを確立した。

関連論文リスト

• FedFIbOS: Fisher Importance based Optimal Submodelling for Heterogeneous Federated Learning [1.5216282947604407]
  不均一なフェデレーション学習は、グローバルモデルを協調的に訓練するために、多様な計算能力を持つクライアントを必要とする。 textbfFedFIbOS: 不均一なフェデレーション学習のためのフィッシャーベース最適サブモデリングを提案する。 実験の結果、FedFIbOSは最先端技術よりも精度が$approx10%$高いことが示され、改良はより強い異質性の下でより顕著になる。
  論文  参考訳（メタデータ） (2026-09-17T01:41:17Z)
• Loss-Parameterized Fisher Width Along Learning Trajectories [0.0]
  まず、固定されたコンパクトプローブに対して、正確なトレース形状の分解と決定論的安定性を導出する。 結果はフィッシャー幅の普遍的損失パラメトリゼーションよりも分岐的に支持される。
  論文  参考訳（メタデータ） (2026-08-21T18:52:04Z)
• Fisher-Preserving Guidance: Training-Free Manifold Constraints for Safe Diffusion Control [34.600386598224325]
  拡散モデルは視覚ナビゲーションにおけるウェイポイント予測に有効であるが、標準サンプリングとテスト時間ガイダンスは信頼性の低い軌道を生成することができる。 本研究では,大規模な漁獲量削減を目的としたトレーニングフリー推論手法である,外部製品スパン投影による魚介類保存誘導手法を提案する。 提案手法は,低ランクのジャコビアン因子分解によるフィッシャー保存更新を計算し,ステップ毎に1回だけバックワードパスを要し,リアルタイム使用を可能にする。
  論文  参考訳（メタデータ） (2026-05-28T13:47:31Z)
• GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning [55.03441672267886]
  強化学習のための勾配整列データ選択法GradAlignを提案する。 GradAlignは,信頼できない報酬信号,分散不均衡,低ユーティリティトレーニングコーパスの3つにまたがって評価する。
  論文  参考訳（メタデータ） (2026-02-25T01:54:50Z)
• Generalized Fisher-Weighted SVD: Scalable Kronecker-Factored Fisher Approximation for Compressing Large Language Models [6.57101653042078]
  Generalized Fisher-Weighted SVD (GFWSVD) は、フィッシャー情報行列の対角要素と対角要素の両方を考慮に入れた後処理圧縮技術である。 提案手法がLLM圧縮に与える影響を実証し,既存の圧縮ベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2025-05-23T14:41:52Z)
• Non-Stationary Learning of Neural Networks with Automatic Soft Parameter Reset [98.52916361979503]
  非定常性を自動的にモデル化し適応する新しい学習手法を導入する。 非定常的・非政治的強化学習環境において,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2024-11-06T16:32:40Z)
• Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
  スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。 提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。 合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
  論文  参考訳（メタデータ） (2023-10-03T20:37:03Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Fisher Auto-Encoders [37.14820766773909]
  本稿では,フィッシャーオートエンコーダと呼ばれる,ロバストな自動エンコーダ(AE)のクラスを提案する。 我々のアプローチは、観測データと潜伏変数の難解な関節分布のフィッシャー偏差を最小化してフィッシャーAEを設計することである。 KLに基づく変分AE(VAEs)とは対照的に、フィッシャーAEは真とモデルに基づく後部分布の間の距離を正確に定量化することができる。
  論文  参考訳（メタデータ） (2020-07-12T22:43:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。