論文の概要: $f$-Divergence Based Classification: Beyond the Use of Cross-Entropy
- arxiv url: http://arxiv.org/abs/2401.01268v1
- Date: Tue, 2 Jan 2024 16:14:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 13:38:50.723654
- Title: $f$-Divergence Based Classification: Beyond the Use of Cross-Entropy
- Title（参考訳）: f$-divergenceベースの分類:クロスエントロピーの使用を超えて
- Authors: Nicola Novello, Andrea M. Tonello
- Abstract要約: 本稿では,$f$-divergenceの変動表現に基づく目的関数のクラスを提案する。
提案する目的関数の集合を3つのアプリケーションシナリオで数値的に検証する。
SL発散は、ほぼ全てのシナリオにおいて最も高い分類精度を達成する。
- 参考スコア（独自算出の注目度）: 5.375565187517779
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In deep learning, classification tasks are formalized as optimization
problems solved via the minimization of the cross-entropy. However, recent
advancements in the design of objective functions allow the $f$-divergence
measure to generalize the formulation of the optimization problem for
classification. With this goal in mind, we adopt a Bayesian perspective and
formulate the classification task as a maximum a posteriori probability
problem. We propose a class of objective functions based on the variational
representation of the $f$-divergence, from which we extract a list of five
posterior probability estimators leveraging well-known $f$-divergences. In
addition, driven by the challenge of improving the state-of-the-art approach,
we propose a bottom-up method that leads us to the formulation of a new
objective function (and posterior probability estimator) corresponding to a
novel $f$-divergence referred to as shifted log (SL). First, we theoretically
prove the convergence property of the posterior probability estimators. Then,
we numerically test the set of proposed objective functions in three
application scenarios: toy examples, image data sets, and signal
detection/decoding problems. The analyzed tasks demonstrate the effectiveness
of the proposed estimators and that the SL divergence achieves the highest
classification accuracy in almost all the scenarios.
- Abstract（参考訳）: ディープラーニングでは、分類タスクは、クロスエントロピーの最小化によって解決される最適化問題として形式化される。
しかし、目的関数の設計の最近の進歩により、$f$-divergence測度は分類の最適化問題の定式化を一般化できる。
この目的を念頭に置いてベイズ的視点を採用し,分類課題を最大後方確率問題として定式化する。
f$-divergence の変分表現に基づく目的関数のクラスを提案し,よく知られた $f$-divergences を利用した5つの後確率推定器のリストを抽出した。
さらに,最先端のアプローチの改善という課題から,シフトログ (sl) と呼ばれる新たな$f$-divergence に対応する新しい目的関数 (および後方確率推定子) を定式化するボトムアップ手法を提案する。
まず,後確率推定器の収束特性を理論的に証明する。
次に,提案する目的関数の集合を,玩具例,画像データセット,信号検出・復号問題という3つの応用シナリオで数値的に検証する。
解析されたタスクは,提案した推定器の有効性を示し,ほぼすべてのシナリオにおいて,SL偏差が最も高い分類精度を達成することを示す。
関連論文リスト
- Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文 参考訳（メタデータ） (2023-03-31T02:10:30Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Fine-grained Retrieval Prompt Tuning [149.9071858259279]
微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。
学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2022-07-29T04:10:04Z) - Efficient Neural Network Analysis with Sum-of-Infeasibilities [64.31536828511021]
凸最適化における総和係数法に着想を得て,広範な分岐関数を持つネットワーク上での検証クエリを解析するための新しい手法を提案する。
標準ケース分析に基づく完全探索手順の拡張は、各検索状態で実行される凸手順をDeepSoIに置き換えることによって達成できる。
論文 参考訳（メタデータ） (2022-03-19T15:05:09Z) - Counterfactual Explanations for Arbitrary Regression Models [8.633492031855655]
ベイズ最適化に基づく対実的説明法(CFE)を提案する。
提案手法は,任意の回帰モデルと特徴空間や動作可能なリコースなどの制約をサポートする,グローバル収束探索アルゴリズムである。
論文 参考訳（メタデータ） (2021-06-29T09:53:53Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - High Dimensional Level Set Estimation with Bayesian Neural Network [58.684954492439424]
本稿では,ベイズニューラルネットワークを用いた高次元レベル集合推定問題を解く新しい手法を提案する。
各問題に対して対応する理論情報に基づく取得関数を導出してデータポイントをサンプリングする。
合成データセットと実世界データセットの数値実験により,提案手法は既存手法よりも優れた結果が得られることが示された。
論文 参考訳（メタデータ） (2020-12-17T23:21:53Z) - Stochastic Compositional Gradient Descent under Compositional
constraints [13.170519806372075]
目的関数と制約関数が凸であり,関数の合成として表される制約最適化問題について検討する。
この問題は、公平な分類/回帰とキューシステムの設計に生じる。
提案手法は最適かつ実現可能な解をほぼ確実に見つけることが保証されている。
論文 参考訳（メタデータ） (2020-12-17T05:38:37Z) - Bayesian Optimization of Risk Measures [7.799648230758491]
我々は、$rho[F(x, W) ]$ という形の目的関数のベイズ最適化を考える。
目的関数の構造を利用してサンプリング効率を大幅に向上する新しいベイズ最適化アルゴリズム群を提案する。
論文 参考訳（メタデータ） (2020-07-10T18:20:46Z) - Objective-Sensitive Principal Component Analysis for High-Dimensional
Inverse Problems [0.0]
本稿では,大規模乱数場の適応的,微分可能なパラメータ化手法を提案する。
開発した手法は主成分分析(PCA)に基づくが,目的関数の振る舞いを考慮した主成分の純粋にデータ駆動に基づく基礎を変更する。
最適パラメータ分解のための3つのアルゴリズムを2次元合成履歴マッチングの目的に適用した。
論文 参考訳（メタデータ） (2020-06-02T18:51:17Z) - Finding Optimal Points for Expensive Functions Using Adaptive RBF-Based
Surrogate Model Via Uncertainty Quantification [11.486221800371919]
本稿では,適応的放射基底関数 (RBF) を用いた不確実性定量化によるサロゲートモデルを用いた新しいグローバル最適化フレームワークを提案する。
まずRBFに基づくベイズ代理モデルを用いて真の関数を近似し、新しい点が探索されるたびにRBFのパラメータを適応的に推定し更新することができる。
次に、モデル誘導選択基準を用いて、関数評価のための候補セットから新しい点を識別する。
論文 参考訳（メタデータ） (2020-01-19T16:15:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。