論文の概要: $f$-Divergence Based Classification: Beyond the Use of Cross-Entropy
- arxiv url: http://arxiv.org/abs/2401.01268v1
- Date: Tue, 2 Jan 2024 16:14:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 13:38:50.723654
- Title: $f$-Divergence Based Classification: Beyond the Use of Cross-Entropy
- Title(参考訳): f$-divergenceベースの分類:クロスエントロピーの使用を超えて
- Authors: Nicola Novello, Andrea M. Tonello
- Abstract要約: 本稿では,$f$-divergenceの変動表現に基づく目的関数のクラスを提案する。
提案する目的関数の集合を3つのアプリケーションシナリオで数値的に検証する。
SL発散は、ほぼ全てのシナリオにおいて最も高い分類精度を達成する。
- 参考スコア(独自算出の注目度): 5.375565187517779
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In deep learning, classification tasks are formalized as optimization
problems solved via the minimization of the cross-entropy. However, recent
advancements in the design of objective functions allow the $f$-divergence
measure to generalize the formulation of the optimization problem for
classification. With this goal in mind, we adopt a Bayesian perspective and
formulate the classification task as a maximum a posteriori probability
problem. We propose a class of objective functions based on the variational
representation of the $f$-divergence, from which we extract a list of five
posterior probability estimators leveraging well-known $f$-divergences. In
addition, driven by the challenge of improving the state-of-the-art approach,
we propose a bottom-up method that leads us to the formulation of a new
objective function (and posterior probability estimator) corresponding to a
novel $f$-divergence referred to as shifted log (SL). First, we theoretically
prove the convergence property of the posterior probability estimators. Then,
we numerically test the set of proposed objective functions in three
application scenarios: toy examples, image data sets, and signal
detection/decoding problems. The analyzed tasks demonstrate the effectiveness
of the proposed estimators and that the SL divergence achieves the highest
classification accuracy in almost all the scenarios.
- Abstract(参考訳): ディープラーニングでは、分類タスクは、クロスエントロピーの最小化によって解決される最適化問題として形式化される。
しかし、目的関数の設計の最近の進歩により、$f$-divergence測度は分類の最適化問題の定式化を一般化できる。
この目的を念頭に置いてベイズ的視点を採用し,分類課題を最大後方確率問題として定式化する。
f$-divergence の変分表現に基づく目的関数のクラスを提案し,よく知られた $f$-divergences を利用した5つの後確率推定器のリストを抽出した。
さらに,最先端のアプローチの改善という課題から,シフトログ (sl) と呼ばれる新たな$f$-divergence に対応する新しい目的関数 (および後方確率推定子) を定式化するボトムアップ手法を提案する。
まず,後確率推定器の収束特性を理論的に証明する。
次に,提案する目的関数の集合を,玩具例,画像データセット,信号検出・復号問題という3つの応用シナリオで数値的に検証する。
解析されたタスクは,提案した推定器の有効性を示し,ほぼすべてのシナリオにおいて,SL偏差が最も高い分類精度を達成することを示す。
関連論文リスト
- Adaptive importance sampling for heavy-tailed distributions via
$\alpha$-divergence minimization [2.879807093604632]
提案手法は,学生の提案分布からターゲットを近似するAISアルゴリズムを提案する。
我々は、目標と提案の護衛モーメントを一致させて、位置とスケールパラメータを適応させる。
これらの更新は、ターゲットと提案の間の$alpha$-divergenceを最小化し、変動推論と接続する。
論文 参考訳(メタデータ) (2023-10-25T14:07:08Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳(メタデータ) (2023-06-13T01:18:16Z) - Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time
Guarantees [56.848265937921354]
逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。
IRLの多くのアルゴリズムは本質的にネスト構造を持つ。
我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-10-04T17:13:45Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳(メタデータ) (2022-10-04T04:43:58Z) - Reliability analysis of discrete-state performance functions via
adaptive sequential sampling with detection of failure surfaces [0.0]
本稿では,レアイベント確率推定のための新しい効率的でロバストな手法を提案する。
この手法は、複数の障害タイプの確率を推定することができる。
この情報に対応して、推定確率の精度を高めることができる。
論文 参考訳(メタデータ) (2022-08-04T05:59:25Z) - Efficient Neural Network Analysis with Sum-of-Infeasibilities [64.31536828511021]
凸最適化における総和係数法に着想を得て,広範な分岐関数を持つネットワーク上での検証クエリを解析するための新しい手法を提案する。
標準ケース分析に基づく完全探索手順の拡張は、各検索状態で実行される凸手順をDeepSoIに置き換えることによって達成できる。
論文 参考訳(メタデータ) (2022-03-19T15:05:09Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳(メタデータ) (2021-07-02T16:21:52Z) - Counterfactual Explanations for Arbitrary Regression Models [8.633492031855655]
ベイズ最適化に基づく対実的説明法(CFE)を提案する。
提案手法は,任意の回帰モデルと特徴空間や動作可能なリコースなどの制約をサポートする,グローバル収束探索アルゴリズムである。
論文 参考訳(メタデータ) (2021-06-29T09:53:53Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - Adaptive Sampling of Pareto Frontiers with Binary Constraints Using
Regression and Classification [0.0]
本稿では,二項制約を持つブラックボックス多目的最適化問題に対する適応最適化アルゴリズムを提案する。
本手法は確率的回帰モデルと分類モデルに基づいており,最適化目標のサロゲートとして機能する。
また,予想される超体積計算を高速化するために,新しい楕円形トランケーション法を提案する。
論文 参考訳(メタデータ) (2020-08-27T09:15:02Z) - Bayesian Optimization of Risk Measures [7.799648230758491]
我々は、$rho[F(x, W) ]$ という形の目的関数のベイズ最適化を考える。
目的関数の構造を利用してサンプリング効率を大幅に向上する新しいベイズ最適化アルゴリズム群を提案する。
論文 参考訳(メタデータ) (2020-07-10T18:20:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。