論文の概要: Gradient Descent as Loss Landscape Navigation: a Normative Framework for Deriving Learning Rules

• arxiv url: http://arxiv.org/abs/2510.26997v1
• Date: Thu, 30 Oct 2025 20:56:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 19:57:09.734645
• Title: Gradient Descent as Loss Landscape Navigation: a Normative Framework for Deriving Learning Rules
• Title（参考訳）: ランドスケープナビゲーションを損なうグラディエント・ダイス--学習規則を導出するための規範的枠組み
• Authors: John J. Vastola, Samuel J. Gershman, Kanaka Rajan,
• Abstract要約: 本稿では,学習ルールを(部分的に観察可能な)損失景観をナビゲートするためのポリシーとして活用する理論的枠組みを提案する。 様々な仮定の下で、よく知られたルールがこのフレームワークの中で自然に現れる。 重みのようなリセット学習戦略は,タスクの不確実性に対する最適応答として理解できることを示す。
• 参考スコア（独自算出の注目度）: 8.844699137494105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning rules -- prescriptions for updating model parameters to improve performance -- are typically assumed rather than derived. Why do some learning rules work better than others, and under what assumptions can a given rule be considered optimal? We propose a theoretical framework that casts learning rules as policies for navigating (partially observable) loss landscapes, and identifies optimal rules as solutions to an associated optimal control problem. A range of well-known rules emerge naturally within this framework under different assumptions: gradient descent from short-horizon optimization, momentum from longer-horizon planning, natural gradients from accounting for parameter space geometry, non-gradient rules from partial controllability, and adaptive optimizers like Adam from online Bayesian inference of loss landscape shape. We further show that continual learning strategies like weight resetting can be understood as optimal responses to task uncertainty. By unifying these phenomena under a single objective, our framework clarifies the computational structure of learning and offers a principled foundation for designing adaptive algorithms.
• Abstract（参考訳）: 学習ルール -- パフォーマンスを改善するためにモデルパラメータを更新するための処方令 -- は、典型的には導出ではなく、仮定される。 なぜ学習ルールは他のルールよりもうまく機能するのか。 本稿では,学習ルールを(部分的に観察可能な)損失ランドスケープをナビゲートするためのポリシーとして位置づけ,関連する最適制御問題の解として最適ルールを識別する理論的枠組みを提案する。 短期水平最適化からの勾配降下、長期水平計画からの運動量、パラメータ空間幾何学からの自然な勾配、部分的可制御性からの非線形規則、オンラインベイズによる損失景観の予測からのアダムのような適応最適化などである。 さらに、重み付けのような継続的な学習戦略は、タスクの不確実性に対する最適応答として理解できることを示す。 これらの現象を1つの目的の下に統一することにより、学習の計算構造を明らかにし、適応アルゴリズムを設計するための原則的な基盤を提供する。

関連論文リスト

• Transfer Learning for Classification under Decision Rule Drift with Application to Optimal Individualized Treatment Rule Estimation [50.34670342434884]
  本研究では,ベイズ決定規則による後方ドリフトのモデル化手法を提案する。 穏やかな規則性条件の下では、推定器の整合性を確立し、リスク境界を導出する。 本稿では,最適な個別化処理ルールの推定に適応させることにより,本手法の幅広い適用性について述べる。
  論文  参考訳（メタデータ） (2025-08-28T16:03:06Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• Discounted Adaptive Online Learning: Towards Better Regularization [5.5899168074961265]
  敵対的非定常環境におけるオンライン学習について検討する。 適応的アルゴリズム(例:Optimal)を提案し,適応的でないベースラインを広く改良する。 また、(Gibbs and Candes, 2021)スタイルのオンライン共形予測問題についても検討する。
  論文  参考訳（メタデータ） (2024-02-05T04:29:39Z)
• Reinforcement Logic Rule Learning for Temporal Point Processes [17.535382791003176]
  本稿では,時間的事象の発生を説明するための説明的時間論理則を漸進的に拡張するフレームワークを提案する。 提案アルゴリズムは、現在のルールセットの重みが更新されるマスター問題と、新しいルールを探索し、その可能性を高めるために含めるサブプロブレムとを交互に行う。 人工的および実際の医療データセットにおいて,提案手法の評価を行い,有望な結果を得た。
  論文  参考訳（メタデータ） (2023-08-11T12:05:32Z)
• Introduction to Online Control [31.67032731719622]
  オンラインの非確率制御では、コスト関数と仮定された力学モデルからの摂動の両方が敵によって選択される。 目標は、ベンチマーククラスの政策から見て、最高の政策に対して低い後悔を得ることだ。
  論文  参考訳（メタデータ） (2022-11-17T16:12:45Z)
• Analyzing the discrepancy principle for kernelized spectral filter learning algorithms [2.132096006921048]
  本稿では, 並列化スペクトルフィルタ学習アルゴリズムにおいて, 相違原理とスムーズな残差に基づく修正について検討する。 我々の理論的境界は、経験的推定誤差(固定設計)と予測誤差(ランダム設計)のために確立されたオラクルの不等式である。
  論文  参考訳（メタデータ） (2020-04-17T20:08:44Z)
• Adaptive Stopping Rule for Kernel-based Gradient Descent Algorithms [27.002742106701863]
  カーネルベース勾配降下アルゴリズムの適応的停止則を提案する。 学習理論の枠組みにおける適応的停止規則の性能を解析する。
  論文  参考訳（メタデータ） (2020-01-09T08:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。