論文の概要: Stop Overcomplicating Selective Classification: Use Max-Logit
- arxiv url: http://arxiv.org/abs/2206.09034v1
- Date: Fri, 17 Jun 2022 22:23:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 13:31:58.702356
- Title: Stop Overcomplicating Selective Classification: Use Max-Logit
- Title（参考訳）: 選択的分類を過度に補完するのを止める: max-logit
- Authors: Leo Feng, Mohamed Osama Ahmed, Hossein Hajimirsadeghi, Amir Abdi
- Abstract要約: 我々は、データセットの望ましいカバレッジで最高のパフォーマンスを達成することを目標とする選択分類の問題に取り組む。
最近の最先端の選択手法は、別個のセレクションヘッドを導入するか、余分な禁忌ロジットを導入することによってアーキテクチャの変更が伴う。
我々は,より一般化可能な分類器の訓練に,最先端手法の優れた性能を負うことを確認することで,選択分類の驚くべき結果を示す。
- 参考スコア（独自算出の注目度）: 2.3677503557659705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We tackle the problem of Selective Classification where the goal is to
achieve the best performance on the desired coverages of the dataset. Recent
state-of-the-art selective methods come with architectural changes either via
introducing a separate selection head or an extra abstention logit. In this
paper, we present surprising results for Selective Classification by confirming
that the superior performance of state-of-the-art methods is owed to training a
more generalizable classifier; however, their selection mechanism is
suboptimal. We argue that the selection mechanism should be rooted in the
objective function instead of a separately calculated score. Accordingly, in
this paper, we motivate an alternative selection strategy that is based on the
cross entropy loss for the classification settings, namely, max of the logits.
Our proposed selection strategy achieves better results by a significant
margin, consistently, across all coverages and all datasets, without any
additional computation. Finally, inspired by our superior selection mechanism,
we propose to further regularize the objective function with
entropy-minimization. Our proposed max-logit selection with the modified loss
function achieves new state-of-the-art results for Selective Classification.
- Abstract（参考訳）: 我々は、データセットの望ましいカバレッジで最高のパフォーマンスを達成することを目標とする選択分類の問題に取り組む。
最近の最先端の選択手法は、別個のセレクションヘッドを導入するか、余分な禁忌ロジットを導入することによってアーキテクチャの変更が伴う。
本稿では,より一般化可能な分類器を訓練するために,最先端手法の優れた性能が必須であることを確認することで,選択分類の驚くべき結果を示す。
選択機構は、別々に計算されたスコアではなく、目的関数に根ざすべきである。
そこで本稿では,分類設定におけるクロスエントロピー損失,すなわちロジットの最大値に基づく代替選択戦略の動機付けを行う。
提案した選択戦略は,余分な計算を伴わずに,すべてのカバレッジと全データセットに対して一貫して,優れたマージンを達成できる。
最後に, 最適選択機構に着想を得て, エントロピー最小化による目的関数の正規化を提案する。
修正損失関数を用いた最大ロジット選択により,選択分類のための新たな最新結果が得られた。
関連論文リスト
- An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
まず最適化モデルを構築し,非単調な選好をモデル化する。
本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。
2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
論文 参考訳（メタデータ） (2024-09-04T14:36:20Z) - Greedy feature selection: Classifier-dependent feature selection via
greedy methods [2.4374097382908477]
本研究の目的は, グリージーな特徴選択に追随する特徴選択と呼ばれる, 分類タスクにおける特徴ランク付けのための新しいアプローチを導入することである。
このようなスキームの利点は、Vapnik-Chervonenkis(VC)次元やカーネルアライメントといったモデルキャパシティインジケータの観点から理論的に研究されている。
論文 参考訳（メタデータ） (2024-03-08T08:12:05Z) - Feature Selection as Deep Sequential Generative Learning [50.00973409680637]
本研究では, 逐次再構成, 変分, 性能評価器の損失を伴って, 深部変分変圧器モデルを構築した。
提案モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連付けられた埋め込みベクトルにマッピングする。
論文 参考訳（メタデータ） (2024-03-06T16:31:56Z) - Causal Feature Selection via Transfer Entropy [59.999594949050596]
因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。
本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。
精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
論文 参考訳（メタデータ） (2023-10-17T08:04:45Z) - AUC-based Selective Classification [5.406386303264086]
選択関数を与えられたバイナリ分類器に関連付けるためのモデルに依存しない手法を提案する。
このような目的を達成するために、理論的正当化と$AUCross$と呼ばれる新しいアルゴリズムの両方を提供する。
実験によると、$AUCross$はAUCのトレードオフカバレッジに成功し、精度を最適化することを目的とした既存の選択的な分類方法を改善している。
論文 参考訳（メタデータ） (2022-10-19T16:29:50Z) - Cost-Effective Online Contextual Model Selection [14.094350329970537]
我々は,このタスクを,学習者が文脈とともにラベルのないデータポイントを受信する,オンラインコンテキストアクティブモデル選択問題として定式化する。
目標は、ラベルの過剰な量を得ることなく、任意のコンテキストに対して最良のモデルを出力することである。
本稿では,適応モデル選択のためのポリシークラスに定義された新しい不確実性サンプリングクエリ基準に依存する,文脈型アクティブモデル選択アルゴリズム(CAMS)を提案する。
論文 参考訳（メタデータ） (2022-07-13T08:22:22Z) - Meta-Wrapper: Differentiable Wrapping Operator for User Interest
Selection in CTR Prediction [97.99938802797377]
クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。
近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。
そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2022-06-28T03:28:15Z) - Compactness Score: A Fast Filter Method for Unsupervised Feature
Selection [66.84571085643928]
本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。
提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
論文 参考訳（メタデータ） (2022-01-31T13:01:37Z) - Minimax Active Learning [61.729667575374606]
アクティブラーニングは、人間のアノテーションによってラベル付けされる最も代表的なサンプルをクエリすることによって、ラベル効率の高いアルゴリズムを開発することを目指している。
現在のアクティブラーニング技術は、最も不確実なサンプルを選択するためにモデルの不確実性に頼るか、クラスタリングを使うか、最も多様なラベルのないサンプルを選択するために再構築する。
我々は,不確実性と多様性を両立させる半教師付きミニマックスエントロピーに基づく能動学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-12-18T19:03:40Z) - Joint Adaptive Graph and Structured Sparsity Regularization for
Unsupervised Feature Selection [6.41804410246642]
本稿では,共同適応グラフと構造付き空間正規化unsupervised feature selection (JASFS)法を提案する。
最適な機能のサブセットがグループで選択され、選択された機能の数が自動的に決定される。
8つのベンチマーク実験の結果,提案手法の有効性と有効性を示した。
論文 参考訳（メタデータ） (2020-10-09T08:17:04Z) - Outlier Detection Ensemble with Embedded Feature Selection [42.8338013000469]
組込み特徴選択(ODEFS)を用いた外乱検出アンサンブルフレームワークを提案する。
各ランダムなサブサンプリングベースの学習コンポーネントに対して、ODEFSは、特徴選択と外れ値検出をペアのランキング式に統一する。
我々は、特徴選択と例選択を同時に最適化するために閾値付き自己評価学習を採用する。
論文 参考訳（メタデータ） (2020-01-15T13:14:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。