論文の概要: Learn-Then-Differentiate Gradient Estimation

• arxiv url: http://arxiv.org/abs/2609.38842v1
• Date: Wed, 30 Sep 2026 03:04:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.062697
• Title: Learn-Then-Differentiate Gradient Estimation
• Title（参考訳）: 学習テーマの差分勾配推定
• Abstract要約: Learn-then-differentiate (LTD) は、モデルを用いて出力をシミュレーションし、それを微分することで勾配を推定する。 我々は,LTDの差分と推定精度を統一したフレームワークを開発した。 適応モデルの精度保証が勾配や高階微分の保証にどのように変換されるかを示す。
• 参考スコア（独自算出の注目度）: 0.8283940114367679
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Learn-then-differentiate (LTD) estimates gradients by fitting a model to simulation outputs and differentiating it. We develop a unified framework explaining what LTD differentiates and how accurately it estimates gradients. For models with a weighted representation, LTD differentiates a learned representation of the underlying probability measure. We then show how accuracy guarantees for fitted models translate into guarantees for gradients and higher-order derivatives, with rates approaching the standard Monte Carlo rate under suitable smoothness conditions. The framework recovers established results for kernel regression, local polynomial regression, and kernel ridge regression, and yields further guarantees for multiple kernel learning and smooth neural networks. These results provide a common foundation for understanding and analyzing LTD across learning methods.
• Abstract（参考訳）: Learn-then-differentiate (LTD) は、モデルを用いて出力をシミュレーションし、それを微分することで勾配を推定する。 我々は,LTDの差分と勾配の推定精度について,統一的な枠組みを構築した。 重み付き表現を持つモデルでは、LTDは基礎となる確率測度の学習された表現を区別する。 次に、適合モデルに対する精度保証が勾配や高階微分の保証にどのように変換されるかを示し、適度な滑らかさ条件下で標準モンテカルロ速度に近づく。 このフレームワークは、カーネル回帰、局所多項式回帰、カーネルリッジ回帰の確立された結果を回復し、複数のカーネル学習とスムーズなニューラルネットワークのさらなる保証を得る。 これらの結果は、学習方法間のLTDの理解と分析の共通基盤を提供する。

関連論文リスト

• Alternate loss functions and regression models that achieve robustness to outliers by modulating the learning rate [5.974437898820796]
  ほとんどの実世界のトレーニングデータセットは、データと外れ値で汚染され、大きな予測エラーにつながる。 そこで本稿では,学習のアプローチが,外れ値に敏感な要因によって調節されるような,新たな堅牢性を実現することを提案する。
  論文  参考訳（メタデータ） (2026-06-20T14:39:32Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Learning Mixtures of Experts with EM: A Mirror Descent Perspective [28.48469221248906]
  古典的なMixtures of Experts(MoE)は、入力空間を含む機械学習モデルであり、各パーティションでトレーニングされた個別の"エキスパート"モデルである。 我々は,MoEモデルのトレーニングにおける期待最大化(EM)アルゴリズムの理論的保証について検討する。
  論文  参考訳（メタデータ） (2024-11-09T03:44:09Z)
• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Semi-supervised Regression Analysis with Model Misspecification and High-dimensional Data [8.619243141968886]
  条件付き平均モデルにおける回帰係数を推定するための推論フレームワークを提案する。 提案手法は,正規化推定器を適応度スコア(PS)と結果回帰(OR)モデルの両方に用い,拡張逆確率重み付き(AIPW)法を開発した。 我々の理論的な知見は、広範囲なシミュレーション研究と実世界のデータ応用を通して検証される。
  論文  参考訳（メタデータ） (2024-06-20T00:34:54Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• On Training Implicit Meta-Learning With Applications to Inductive Weighing in Consistency Regularization [0.0]
  暗黙的メタラーニング(IML)では、特にヘシアン(Hessian)の計算に2ドル(約2,200円)の勾配を必要とする。 ヘッセンの様々な近似が提案されたが、計算コスト、安定性、解の一般化、推定精度の体系的な比較はほとんど見過ごされてしまった。 本稿では,ドメイン固有の特徴を抽出するために,信頼ネットワークをトレーニングすることで,有用画像のアップウェイトや配布外サンプルのダウンウェイトを学べることを示す。
  論文  参考訳（メタデータ） (2023-10-28T15:50:03Z)
• Hierarchical Gaussian Process Models for Regression Discontinuity/Kink under Sharp and Fuzzy Designs [0.0]
  回帰不連続/リンク(RD/RK)を用いた因果推論のための非パラメトリックベイズ推定器を提案する。 これらの推定器は、中間ベイズニューラルネットワーク層を持つ階層型GPモデルに拡張される。 モンテカルロシミュレーションにより、我々の推定器は、精度、カバレッジ、間隔長の点で競合する推定器よりもよく、しばしばよく機能することを示した。
  論文  参考訳（メタデータ） (2021-10-03T04:23:56Z)
• Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation [77.7420231319632]
  我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。 また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
  論文  参考訳（メタデータ） (2019-12-31T03:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。