論文の概要: Measuring Learning Progress via Gradient-Momentum Coupling

• arxiv url: http://arxiv.org/abs/2605.05856v1
• Date: Thu, 07 May 2026 08:26:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.627886
• Title: Measuring Learning Progress via Gradient-Momentum Coupling
• Title（参考訳）: グラディエント・モーメント・カップリングによる学習過程の測定
• Authors: Samuel Blad, Martin Längkvist, Amy Loutfi,
• Abstract要約: 本稿では,各サンプルの勾配が学習にどの程度有用かを示す信号として,GMC(Gradient-Momentum Coupling)を提案する。 制御された実験は、難易度ではなく、学習速度によってタスクを優先する信号を用いて、ノイズの堅牢性と創発的なカリキュラム学習を示す。
• 参考スコア（独自算出の注目度）: 2.1893270302257433
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Measuring learning progress is essential for curiosity-driven exploration in reinforcement learning, but widely used signals such as prediction error often fail to distinguish meaningful, learnable patterns from random noise. This paper proposes Gradient-Momentum Coupling (GMC), a signal derived from optimization dynamics that quantifies how useful each sample's gradient is for ongoing learning by measuring its per-parameter normalized absolute product with the momentum from previous gradients. By leveraging momentum's natural filtering of noise and oscillations, GMC identifies samples that contribute to ongoing parameter updates. Controlled experiments demonstrate noise robustness and emergent curriculum learning, with the signal prioritizing tasks by learning speed rather than difficulty. Experiments on MiniGrid suggest that replacing prediction error with GMC within existing curiosity-driven architectures can improve robustness to observation noise.
• Abstract（参考訳）: 学習の進捗を測定することは好奇心を駆使した強化学習の探索に不可欠であるが、予測誤差などの広く使われている信号は、意味のある学習可能なパターンをランダムノイズと区別することができないことが多い。 本稿では,従来の勾配からの運動量でパラメータごとの正規化絶対積を測定することで,各試料の勾配が学習にどの程度有用であるかを定量化するための最適化力学から導出した信号である勾配-運動量結合(GMC)を提案する。 運動量によるノイズと振動の自然なフィルタリングを利用して、GCCは進行中のパラメータ更新に寄与するサンプルを特定する。 制御された実験は、難易度ではなく、学習速度によってタスクを優先する信号を用いて、ノイズの堅牢性と創発的なカリキュラム学習を示す。 MiniGridの実験では、既存の好奇心駆動アーキテクチャにおける予測誤差をGCCに置き換えることで、観測ノイズに対する堅牢性を向上させることが示唆されている。

関連論文リスト

• Variational Rectification Inference for Learning with Noisy Labels [74.85528327499662]
  損失関数の適応的補正を定式化するために, 変分補正推論(VRI)を提案する。 VRIは、補正ベクトルを潜在変数として扱うことによって階層ベイズとして構成される。 VRIで変分項を導入することにより、条件付き後部を正確に推定し、ディラックデルタ関数への崩壊を避ける。
  論文  参考訳（メタデータ） (2026-03-18T01:25:08Z)
• How Does Label Noise Gradient Descent Improve Generalization in the Low SNR Regime? [78.0226274470175]
  我々は、勾配更新にラベルノイズを導入することで、ニューラルネットワーク(NN)のテスト性能が向上するかどうか検討する。 学習中のラベルノイズの付加は,学習過程を支配することを防止し,雑音の記憶を抑制することを実証する。 対照的に、標準GDで訓練されたNNは、同じ低SNR環境でのノイズに過度に適応する傾向にある。
  論文  参考訳（メタデータ） (2025-10-20T13:28:13Z)
• Optimized Gradient Clipping for Noisy Label Learning [26.463965846251938]
  我々はOGC(Optimized Gradient Clipping)と呼ばれるシンプルだが効果的なアプローチを提案する。 OGCは、クリッピング後のクリーン勾配に対するノイズ勾配の比に基づいて、クリッピング閾値を動的に調整する。 実験は, 対称, 非対称, インスタンス依存, 実世界の雑音など, 様々な種類のラベルノイズにまたがって, OGCの有効性を実証した。
  論文  参考訳（メタデータ） (2024-12-12T05:08:05Z)
• Robust Approximate Sampling via Stochastic Gradient Barker Dynamics [0.0]
  本稿では,Langevin に基づくサンプリングアルゴリズムの頑健な代替である Barker gradient dynamics (SGBD) アルゴリズムを勾配フレームワークに導入する。 本稿では,バーカー遷移機構に対する勾配の影響を特徴付けるとともに,勾配雑音による誤差を除去するバイアス補正版を開発する。
  論文  参考訳（メタデータ） (2024-05-14T23:47:02Z)
• Per-Example Gradient Regularization Improves Learning Signals from Noisy Data [25.646054298195434]
  実験的な証拠は、勾配正則化技術は、ノイズの多い摂動に対するディープラーニングモデルの堅牢性を著しく向上させることができることを示唆している。 本稿では,騒音摂動に対する試験誤差とロバスト性の両方を改善することの有効性を理論的に示す。 解析の結果,PEGRはパターン学習の分散をペナルティ化し,学習データからの雑音の記憶を効果的に抑制することがわかった。
  論文  参考訳（メタデータ） (2023-03-31T10:08:23Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile [78.1212767880785]
  Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。 ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。 本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T08:48:02Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。