論文の概要: $f$-Divergence Based Classification: Beyond the Use of Cross-Entropy

• arxiv url: http://arxiv.org/abs/2401.01268v2
• Date: Thu, 16 May 2024 14:46:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-17 19:04:48.893145
• Title: $f$-Divergence Based Classification: Beyond the Use of Cross-Entropy
• Title（参考訳）: $f$-divergence ベースの分類:クロスエントロピーの利用を超えて
• Authors: Nicola Novello, Andrea M. Tonello,
• Abstract要約: 我々はベイズ的視点を採用し、その分類タスクを最大後続確率問題として定式化する。 本稿では,$f$-divergenceの変動表現に基づく目的関数のクラスを提案する。 提案する目的関数を理論的に解析し、3つのアプリケーションシナリオで数値的に検証する。
• 参考スコア（独自算出の注目度）: 4.550290285002704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In deep learning, classification tasks are formalized as optimization problems often solved via the minimization of the cross-entropy. However, recent advancements in the design of objective functions allow the usage of the $f$-divergence to generalize the formulation of the optimization problem for classification. We adopt a Bayesian perspective and formulate the classification task as a maximum a posteriori probability problem. We propose a class of objective functions based on the variational representation of the $f$-divergence. Furthermore, driven by the challenge of improving the state-of-the-art approach, we propose a bottom-up method that leads us to the formulation of an objective function corresponding to a novel $f$-divergence referred to as shifted log (SL). We theoretically analyze the objective functions proposed and numerically test them in three application scenarios: toy examples, image datasets, and signal detection/decoding problems. The analyzed scenarios demonstrate the effectiveness of the proposed approach and that the SL divergence achieves the highest classification accuracy in almost all the considered cases.
• Abstract（参考訳）: ディープラーニングにおいて、分類タスクは、クロスエントロピーの最小化によってしばしば解決される最適化問題として形式化される。 しかし、近年の目的関数の設計の進歩により、分類のための最適化問題の定式化を一般化するために$f$-divergenceを使用することができる。 我々はベイズ的視点を採用し、その分類タスクを最大後続確率問題として定式化する。 本稿では,$f$-divergenceの変動表現に基づく目的関数のクラスを提案する。 さらに,最先端のアプローチを改善することの課題から,シフトログ(SL)と呼ばれる新しい$f$-divergenceに対応する目的関数の定式化につながるボトムアップ手法を提案する。 提案する目的関数を理論的に解析し,3つの応用シナリオ – おもちゃの例,画像データセット,信号検出/復号化問題 – で数値的に検証する。 解析されたシナリオは,提案手法の有効性を実証し,ほぼすべての事例において,SL偏差が最も高い分類精度を達成することを示す。

関連論文リスト

• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Fine-grained Retrieval Prompt Tuning [149.9071858259279]
  微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。 学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-29T04:10:04Z)
• Efficient Neural Network Analysis with Sum-of-Infeasibilities [64.31536828511021]
  凸最適化における総和係数法に着想を得て,広範な分岐関数を持つネットワーク上での検証クエリを解析するための新しい手法を提案する。 標準ケース分析に基づく完全探索手順の拡張は、各検索状態で実行される凸手順をDeepSoIに置き換えることによって達成できる。
  論文  参考訳（メタデータ） (2022-03-19T15:05:09Z)
• Counterfactual Explanations for Arbitrary Regression Models [8.633492031855655]
  ベイズ最適化に基づく対実的説明法(CFE)を提案する。 提案手法は,任意の回帰モデルと特徴空間や動作可能なリコースなどの制約をサポートする,グローバル収束探索アルゴリズムである。
  論文  参考訳（メタデータ） (2021-06-29T09:53:53Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• High Dimensional Level Set Estimation with Bayesian Neural Network [58.684954492439424]
  本稿では,ベイズニューラルネットワークを用いた高次元レベル集合推定問題を解く新しい手法を提案する。 各問題に対して対応する理論情報に基づく取得関数を導出してデータポイントをサンプリングする。 合成データセットと実世界データセットの数値実験により,提案手法は既存手法よりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-12-17T23:21:53Z)
• Stochastic Compositional Gradient Descent under Compositional constraints [13.170519806372075]
  目的関数と制約関数が凸であり,関数の合成として表される制約最適化問題について検討する。 この問題は、公平な分類/回帰とキューシステムの設計に生じる。 提案手法は最適かつ実現可能な解をほぼ確実に見つけることが保証されている。
  論文  参考訳（メタデータ） (2020-12-17T05:38:37Z)
• Bayesian Optimization of Risk Measures [7.799648230758491]
  我々は、$rho[F(x, W) ]$ という形の目的関数のベイズ最適化を考える。 目的関数の構造を利用してサンプリング効率を大幅に向上する新しいベイズ最適化アルゴリズム群を提案する。
  論文  参考訳（メタデータ） (2020-07-10T18:20:46Z)
• Objective-Sensitive Principal Component Analysis for High-Dimensional Inverse Problems [0.0]
  本稿では,大規模乱数場の適応的,微分可能なパラメータ化手法を提案する。 開発した手法は主成分分析(PCA)に基づくが,目的関数の振る舞いを考慮した主成分の純粋にデータ駆動に基づく基礎を変更する。 最適パラメータ分解のための3つのアルゴリズムを2次元合成履歴マッチングの目的に適用した。
  論文  参考訳（メタデータ） (2020-06-02T18:51:17Z)
• Finding Optimal Points for Expensive Functions Using Adaptive RBF-Based Surrogate Model Via Uncertainty Quantification [11.486221800371919]
  本稿では,適応的放射基底関数 (RBF) を用いた不確実性定量化によるサロゲートモデルを用いた新しいグローバル最適化フレームワークを提案する。 まずRBFに基づくベイズ代理モデルを用いて真の関数を近似し、新しい点が探索されるたびにRBFのパラメータを適応的に推定し更新することができる。 次に、モデル誘導選択基準を用いて、関数評価のための候補セットから新しい点を識別する。
  論文  参考訳（メタデータ） (2020-01-19T16:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。