論文の概要: A Taxonomy of Loss Functions for Stochastic Optimal Control

• arxiv url: http://arxiv.org/abs/2410.00345v2
• Date: Sat, 26 Oct 2024 17:04:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 06:16:28.722746
• Title: A Taxonomy of Loss Functions for Stochastic Optimal Control
• Title（参考訳）: 確率的最適制御のための損失関数の分類法
• Authors: Carles Domingo-Enrich,
• Abstract要約: SOC損失関数は期待値と同じ勾配のクラスにグループ化できることを示す。 異なる損失関数の強みと弱みを理解するために、簡単なSOC実験を行う。
• 参考スコア（独自算出の注目度）: 13.36445018915526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic optimal control (SOC) aims to direct the behavior of noisy systems and has widespread applications in science, engineering, and artificial intelligence. In particular, reward fine-tuning of diffusion and flow matching models and sampling from unnormalized methods can be recast as SOC problems. A recent work has introduced Adjoint Matching (Domingo-Enrich et al., 2024), a loss function for SOC problems that vastly outperforms existing loss functions in the reward fine-tuning setup. The goal of this work is to clarify the connections between all the existing (and some new) SOC loss functions. Namely, we show that SOC loss functions can be grouped into classes that share the same gradient in expectation, which means that their optimization landscape is the same; they only differ in their gradient variance. We perform simple SOC experiments to understand the strengths and weaknesses of different loss functions.
• Abstract（参考訳）: 確率最適制御(SOC)は、ノイズの多いシステムの振舞いを指示することを目的としており、科学、工学、人工知能に広く応用されている。 特に拡散・流れマッチングモデルの微調整と非正規化手法からのサンプリングをSOC問題として再放送することができる。 近年の研究では、報酬微調整装置において既存の損失関数を大幅に上回るSOC問題の損失関数であるAdjoint Matching (Domingo-Enrich et al , 2024)を導入している。 この研究の目的は、既存の(そしていくつかの新しい)SOC損失関数間の接続を明らかにすることである。 すなわち、SOC損失関数は期待値と同じ勾配のクラスにグループ化でき、最適化のランドスケープが同じであることを意味する。 異なる損失関数の強みと弱みを理解するために、簡単なSOC実験を行う。

関連論文リスト

• EnsLoss: Stochastic Calibrated Loss Ensembles for Preventing Overfitting in Classification [1.3778851745408134]
  経験的リスク最小化フレームワーク内で損失関数を結合する新しいアンサンブル手法,すなわちEnsLossを提案する。 まず、損失のCC条件を損失導関数に変換し、明示的な損失関数の必要性を回避した。 理論的には、我々のアプローチの統計的一貫性を確立し、その利点に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-09-02T02:40:42Z)
• Next Generation Loss Function for Image Classification [0.0]
  我々は、遺伝的プログラミング(GP)アプローチを利用して、クロスエントロピー(CE)損失を含むよく知られた損失関数に挑戦する。 NGL(Next Generation Loss)と呼ばれる1つの関数は、テストされたすべてのデータセットで、同じか、より優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-04-19T15:26:36Z)
• Stochastic Optimal Control Matching [53.156277491861985]
  最適制御のための新しい反復拡散最適化(IDO)技術である最適制御マッチング(SOCM)を導入する。 この制御は、一致するベクトル場に適合しようとすることで、最小二乗問題を通じて学習される。 実験により,本アルゴリズムは最適制御のための既存のすべての IDO 手法よりも低い誤差を実現する。
  論文  参考訳（メタデータ） (2023-12-04T16:49:43Z)
• Tuned Contrastive Learning [77.67209954169593]
  そこで本研究では,TCL(Tuned Contrastive Learning)損失という,新たなコントラスト損失関数を提案する。 TCLはバッチ内の複数の正と負に一般化し、ハードな正とハードな負の勾配応答を調整および改善するためのパラメータを提供する。 我々は、TCLを自己教師付き設定に拡張する方法を示し、それを様々なSOTA自己教師型学習手法と経験的に比較する。
  論文  参考訳（メタデータ） (2023-05-18T03:26:37Z)
• A Fair Loss Function for Network Pruning [70.35230425589592]
  本稿では, 刈り込み時のバイアスの抑制に使用できる簡易な改良型クロスエントロピー損失関数である, 性能重み付き損失関数を提案する。 CelebA、Fitzpatrick17k、CIFAR-10データセットを用いた実験は、提案手法が単純で効果的なツールであることを実証している。
  論文  参考訳（メタデータ） (2022-11-18T15:17:28Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Gradient flows and randomised thresholding: sparse inversion and classification [0.0]
  スパースインバージョンと分類問題は、現代のデータサイエンスとイメージングにおいて至るところに存在している。 分類において、例えば、データの忠実度項と非滑らかなギンズバーグ-ランダウエネルギーの和を考える。 標準(サブ)勾配降下法はそのような問題にアプローチする際に非効率であることが示されている。
  論文  参考訳（メタデータ） (2022-03-22T09:21:14Z)
• AutoLoss: Automated Loss Function Search in Recommendations [34.27873944762912]
  候補集合から適切な損失関数を自動かつ適応的に検索できるAutoLossフレームワークを提案する。 既存のアルゴリズムとは異なり、提案したコントローラは、様々な収束挙動に応じて、異なるデータ例に対する損失確率を適応的に生成することができる。
  論文  参考訳（メタデータ） (2021-06-12T08:15:00Z)
• Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search [101.73248560009124]
  本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。 一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。 実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-09T08:34:52Z)
• An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay [72.23433407017558]
  非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。 驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
  論文  参考訳（メタデータ） (2020-07-12T17:45:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。