論文の概要: Direct Fisher Score Estimation for Likelihood Maximization

• arxiv url: http://arxiv.org/abs/2506.06542v1
• Date: Fri, 06 Jun 2025 21:19:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.323689
• Title: Direct Fisher Score Estimation for Likelihood Maximization
• Title（参考訳）: 選好最大化のためのダイレクトフィッシャースコア推定
• Authors: Sherman Khoo, Yakun Wang, Song Liu, Mark Beaumont,
• Abstract要約: 確率関数が難解である場合の逐次確率問題について検討する。 本稿では,局所的なスコアマッチング手法に基づいて,フィッシャースコアを直接モデル化する勾配に基づく最適化手法を提案する。 我々は,スムース化によるバイアスの限界を含む,スコア推定器の理論的保証を提供する。
• 参考スコア（独自算出の注目度）: 5.327217542835735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of likelihood maximization when the likelihood function is intractable but model simulations are readily available. We propose a sequential, gradient-based optimization method that directly models the Fisher score based on a local score matching technique which uses simulations from a localized region around each parameter iterate. By employing a linear parameterization to the surrogate score model, our technique admits a closed-form, least-squares solution. This approach yields a fast, flexible, and efficient approximation to the Fisher score, effectively smoothing the likelihood objective and mitigating the challenges posed by complex likelihood landscapes. We provide theoretical guarantees for our score estimator, including bounds on the bias introduced by the smoothing. Empirical results on a range of synthetic and real-world problems demonstrate the superior performance of our method compared to existing benchmarks.
• Abstract（参考訳）: 確率関数が難解であるが, モデルシミュレーションが容易に利用可能である場合, 確率最大化の問題について検討する。 本稿では,各パラメータの反復する局所的な領域からのシミュレーションを利用する局所的なスコアマッチング手法に基づいて,フィッシャースコアを直接モデル化する逐次的勾配に基づく最適化手法を提案する。 シュロゲートスコアモデルに線形パラメタライゼーションを適用することにより、我々は閉形式最小二乗解を許容する。 このアプローチはフィッシャーのスコアに高速で柔軟で効率的な近似をもたらし、確率的目標を効果的に滑らかにし、複雑な確率的景観によって生じる課題を緩和する。 我々は,スムーシングによって導入されたバイアスのバウンダリを含む,スコア推定器の理論的保証を提供する。 実世界の様々な問題に対する実証実験の結果,既存のベンチマークと比較すると,提案手法の優れた性能を示す。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Bayesian Nonparametrics Meets Data-Driven Distributionally Robust Optimization [29.24821214671497]
  機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。 ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルを組み合わせた、新しいロバストな基準を提案する。 実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
  論文  参考訳（メタデータ） (2024-01-28T21:19:15Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。