論文の概要: Same Loss, Different Gradients

• arxiv url: http://arxiv.org/abs/2609.38786v1
• Date: Wed, 30 Sep 2026 02:14:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.018878
• Title: Same Loss, Different Gradients
• Title（参考訳）: 同じ損失、異なる勾配
• Abstract要約: 目的が有限個の特殊関数繰り返し、カスタム後方規則、数値クリッピングに依存する場合、微分可能な学習は失敗する可能性があることを示す。 高次元のvon MisesFisher学習では、実際の数値的な実装は、同じ学習状態で同じ前方のスコアと損失を生成することができる。 我々は、ポテンシャルとその導関数を共同で構築し、前方のコヒーレンスを確保する固定深度解析的実現法であるAR/FRを紹介する。
• 参考スコア（独自算出の注目度）: 8.820905868194686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentiable learning typically assumes that the scalar objective evaluated in the forward pass and the gradient supplied to the optimizer in the backward pass describe the same mathematical object. We show that this correspondence can fail when probabilistic objectives rely on finite special-function recurrences, custom backward rules, and numerical clipping. In high-dimensional von Mises-Fisher learning, real numerical implementations can produce identical forward scores and losses at the same learning state while supplying different gradients and following different optimization trajectories. We characterize the structure of this mismatch in finite-start Bessel recurrence and show that classwise radial mismatch can compose through probabilities into a locally nonconservative update field. Evaluating the accuracy of special-function values and derivatives separately is therefore insufficient to characterize the realized learning objective. Motivated by this observation, we introduce AR/FR, a fixed-depth analytic realization that constructs a potential and its derivative jointly, ensuring forward-backward coherence by construction. We establish a uniform cubic-order error bound relative to the exact Bessel ratio over the entire nonnegative concentration axis and propagate this guarantee to learning scores and objectives. As representation dimension increases, the original finite recurrence becomes sequentially deeper, whereas the worst-case AR/FR error guarantee tightens cubically, jointly providing coherence, certified fidelity, and fixed-depth computation. These results suggest that a differentiable numerical primitive is defined by both the values it realizes and the derivatives it actually supplies to the optimizer; together, they constitute the numerical realization of the learning algorithm.
• Abstract（参考訳）: 微分可能な学習は通常、前方通過で評価されたスカラー目標と後方通過でオプティマイザに供給された勾配が同じ数学的対象を記述していると仮定する。 この対応は、確率的目的が有限の特殊関数反復、カスタムバックワード規則、数値クリッピングに依存する場合に失敗する可能性があることを示す。 高次元のvon Mises-Fisherラーニングでは、実際の数値的な実装は、異なる勾配を提供し、異なる最適化軌跡を辿りながら、同じ学習状態で同じ前方のスコアと損失を生成することができる。 有限スタートベッセル再帰におけるこのミスマッチの構造を特徴付け、クラスワイズラジアルミスマッチが確率を通して局所的に非保存的更新フィールドに構成可能であることを示す。 したがって、特殊関数値と微分の精度を別々に評価することは、現実的な学習目標を特徴づけるには不十分である。 この観測によって得られたAR/FRは、ポテンシャルと導体を共同で構築し、建設による前方からのコヒーレンスを確保する固定深度解析的実現法である。 非負の濃度軸全体のベッセル比に対して一様3次誤差を確立し、この保証を学習スコアと目的に伝達する。 表現次元が大きくなるにつれて、元の有限繰り返しは順次深くなり、最悪の場合のAR/FRエラーは、コヒーレンス、証明された忠実度、固定深度計算を共同で提供し、立方的に引き締められる。 これらの結果は、微分可能な数値プリミティブが、それが実現した値と、それが実際にオプティマイザに供給する微分の両方によって定義されることを示唆している。

関連論文リスト

• Distance-Residual Physics-Informed Neural Networks: A Deep Learning Framework for Differential and Partial Differential Inclusions [0.1141780544549208]
  距離残留型物理ニューラルネットワーク(DRPINN)について紹介する。 DRPINNsは、通常および偏微分包摂(DI)の解を近似するための物理インフォームドラーニングフレームワークである 実験は、差分包摂ベンチマークで高い精度を示す。
  論文  参考訳（メタデータ） (2026-09-25T22:16:19Z)
• Repairability of Inexact Solvers in Recursive State Estimation with Machine Learning [5.454529833414671]
  我々は,所定の部分空間内における補正と標準予算が局所許容許容範囲に到達できる場合の特徴付けを行う。 電力グリッド耐性の研究において、学習された補正は、展開の最小共役次数(英語版)を下げる。 局所的な補修可能性と非線形な誤差伝搬をリンクすることにより、近似解法と学習された補正を評価する。
  論文  参考訳（メタデータ） (2026-09-23T17:27:07Z)
• A Zeroth-Order Deep Learning Method for Fully Nonlinear Parabolic Partial Differential Equations with Unknown Coefficients [5.693122506667716]
  未知係数を持つ高重み付き部分次元微分方程式(PDE)は機械学習において広く現れる。 既存のディープラーニング解法はしばしば微分演算子を評価するために繰り返し自動微分に依存する。 データ生成機構として2種類のシミュレータを導入し、基礎となるPDE演算子にアクセス可能な設定下でソリューションとそのデリバティブを学習する「表現型学習」アプローチを採用する。
  論文  参考訳（メタデータ） (2026-06-23T16:04:43Z)
• A Theory of Nonparametric Covariance Function Estimation for Discretely Observed Data [0.042970700836450486]
  我々は,$d$次元領域上の離散的な位置における雑音で観測された関数データの非パラメトリック共分散関数推定について検討した。 深層学習推定器は、最小値の確率を多対数因子に到達させる。 しかし、構造化関数クラスでは、深層学習推定器はポリ対数因子までミニマックス速度を達成できる。
  論文  参考訳（メタデータ） (2026-03-24T15:04:13Z)
• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
  非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。 鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
  論文  参考訳（メタデータ） (2023-05-24T20:43:47Z)
• Nonparametric Probabilistic Regression with Coarse Learners [1.8275108630751844]
  我々は, 密度の形状や形状について最小限の仮定で, 正確な条件密度を計算することができることを示す。 このアプローチをさまざまなデータセットで実証し、特に大きなデータセットで競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-28T16:25:26Z)
• Nonparametric Score Estimators [49.42469547970041]
  未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。 正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。 カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-20T15:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。