論文の概要: Active Inference-Based Optimization of Discriminative Neural Network Classifiers

• arxiv url: http://arxiv.org/abs/2306.02447v1
• Date: Sun, 4 Jun 2023 19:30:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 17:48:27.275780
• Title: Active Inference-Based Optimization of Discriminative Neural Network Classifiers
• Title（参考訳）: 識別型ニューラルネットワーク分類器の能動推論に基づく最適化
• Authors: Faezeh Fallah
• Abstract要約: そこで本研究では,事前確率からトレーニングサンプルの候補分類ラベルを求めるアルゴリズムを提案する。 提案した目的関数は、まだ分布ベースでありながら、候補ラベル、元の参照ラベル、およびトレーニングサンプルの事前を組み込むことができる。
• 参考スコア（独自算出の注目度）: 3.1219977244201056
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Commonly used objective functions (losses) for a supervised optimization of discriminative neural network classifiers were either distribution-based or metric-based. The distribution-based losses could compromise the generalization or cause classification biases towards the dominant classes of an imbalanced class-sample distribution. The metric-based losses could make the network model independent of any distribution and thus improve its generalization. However, they could still be biased towards the dominant classes and could suffer from discrepancies when a class was absent in both the reference (ground truth) and the predicted labels. In this paper, we proposed a novel optimization process which not only tackled the unbalancedness of the class-sample distribution of the training samples but also provided a mechanism to tackle errors in the reference labels of the training samples. This was achieved by proposing a novel algorithm to find candidate classification labels of the training samples from their prior probabilities and the currently estimated posteriors on the network and a novel objective function for the optimizations. The algorithm was the result of casting the generalized Kelly criterion for optimal betting into a multiclass classification problem. The proposed objective function was the expected free energy of a prospective active inference and could incorporate the candidate labels, the original reference labels, and the priors of the training samples while still being distribution-based. The incorporation of the priors into the optimization not only helped to tackle errors in the reference labels but also allowed to reduce classification biases towards the dominant classes by focusing the attention of the neural network on important but minority foreground classes.
• Abstract（参考訳）: 識別型ニューラルネットワーク分類器の教師付き最適化によく用いられる目的関数(ロス)は、分布ベースまたはメートル法ベースである。 分布に基づく損失は、不均衡なクラスサンプル分布の支配的なクラスに対する一般化や分類バイアスを損なう可能性がある。 計量に基づく損失は、ネットワークモデルを任意の分布から独立させ、一般化を改善する可能性がある。 しかし、それらは依然として支配的なクラスに対して偏りがあり、参照(根拠の真理)と予測されたラベルの両方にクラスが存在しない場合、不一致に苦しむ可能性がある。 本稿では,トレーニングサンプルのクラスサンプル分布の不均衡に対処できるだけでなく,トレーニングサンプルの参照ラベルの誤りに対処する機構も提供する新しい最適化手法を提案する。 これは、トレーニングサンプルの事前確率と現在推定されている後方から候補分類ラベルを見つけるための新しいアルゴリズムと、最適化のための新しい目的関数を提案することで達成された。 このアルゴリズムは、最適化されたケリー基準を最適ベッティングのために多重クラス分類問題にキャストした結果である。 提案する目的関数は, 有望なアクティブ推論の期待自由エネルギーであり, 候補ラベル, 元の参照ラベル, およびトレーニングサンプルの事前値を, 分布ベースのまま組み込むことができた。 事前の最適化は、参照ラベルの誤りに対処するだけでなく、ニューラルネットワークの注意を重要だがマイノリティな前景のクラスに集中させることで、支配的なクラスに対する分類バイアスを減らすことを可能にした。

関連論文リスト

• Bi-discriminator Domain Adversarial Neural Networks with Class-Level Gradient Alignment [87.8301166955305]
  そこで本研究では,クラスレベルのアライメントアライメントを有するバイディミネータドメイン対向ニューラルネットワークを提案する。 BACGは、領域分布の整合性を改善するために勾配信号と二階確率推定を利用する。 さらに、対照的な学習にインスパイアされ、トレーニングプロセスを大幅に短縮できるメモリバンクベースの変種であるFast-BACGを開発した。
  論文  参考訳（メタデータ） (2023-10-21T09:53:17Z)
• Robust Class-Conditional Distribution Alignment for Partial Domain Adaptation [0.7892577704654171]
  部分的なドメイン適応設定の学習目的におけるプライベートソースカテゴリからの不要なサンプルは、負の転送を招き、分類性能を低下させる可能性がある。 既存の手法、例えば、ターゲット予測の再重み付けや集約などは、この問題に対して脆弱である。 提案手法は,一階のモーメントだけを深く掘り下げて,異なる,コンパクトなカテゴリー分布を導出することによって,これらの制限を克服しようとするものである。
  論文  参考訳（メタデータ） (2023-10-18T15:49:46Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Proposal Distribution Calibration for Few-Shot Object Detection [65.19808035019031]
  few-shot object detection (FSOD)では、重度のサンプル不均衡を軽減するために、2段階の訓練パラダイムが広く採用されている。 残念ながら、極端なデータ不足は、提案の分布バイアスを増大させ、RoIヘッドが新しいクラスに進化するのを妨げます。 本稿では,RoIヘッドのローカライゼーションと分類能力を高めるために,単純かつ効果的な提案分布キャリブレーション(PDC)手法を提案する。
  論文  参考訳（メタデータ） (2022-12-15T05:09:11Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport [78.9167477093745]
  本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。 標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-09T02:32:57Z)
• Learning to Adapt Classifier for Imbalanced Semi-supervised Learning [38.434729550279116]
  Pseudo-labelingは、有望な半教師付き学習(SSL)パラダイムであることが証明されている。 既存の擬似ラベル法では、トレーニングデータのクラス分布が均衡していると仮定するのが一般的である。 本研究では,不均衡な半教師付きセットアップ下での擬似ラベリングについて検討する。
  論文  参考訳（メタデータ） (2022-07-28T02:15:47Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Instance-based Label Smoothing For Better Calibrated Classification Networks [3.388509725285237]
  ラベルの平滑化はディープニューラルネットワークで多クラス分類に広く利用されている。 ラベルのスムース化と自己蒸留の両方からインスピレーションを得ます。 本稿では2つの新しいインスタンスベースのラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:33:23Z)
• Hyperdimensional Computing for Efficient Distributed Classification with Randomized Neural Networks [5.942847925681103]
  本研究では,データを中央に保存することも共有することもできない状況下で利用できる分散分類について検討する。 ローカルな分類器を他のエージェントと共有する場合に、ロッキーな圧縮アプローチを適用することにより、分散分類のためのより効率的な解を提案する。
  論文  参考訳（メタデータ） (2021-06-02T01:33:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。