論文の概要: Preventing Arbitrarily High Confidence on Far-Away Data in Point-Estimated Discriminative Neural Networks

• arxiv url: http://arxiv.org/abs/2311.03683v2
• Date: Wed, 27 Mar 2024 16:44:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 22:42:58.911111
• Title: Preventing Arbitrarily High Confidence on Far-Away Data in Point-Estimated Discriminative Neural Networks
• Title（参考訳）: 点推定判別ニューラルネットワークにおける遠距離データへの任意高信頼の防止
• Authors: Ahmad Rashid, Serena Hacker, Guojun Zhang, Agustinus Kristiadi, Pascal Poupart,
• Abstract要約: ReLUネットワークは、テストデータがトレーニングセットから遠く離れている場合、ほぼ常に高い信頼性の予測が得られることが示されている。 我々は、余剰クラスのロジットに対応するニューラルネットワークの出力に項を追加することで、この問題を克服する。 この技術は、簡易な識別点推定訓練を維持しながら、遠距離試験データに対する任意に高い信頼を確実に防止する。
• 参考スコア（独自算出の注目度）: 28.97655735976179
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discriminatively trained, deterministic neural networks are the de facto choice for classification problems. However, even though they achieve state-of-the-art results on in-domain test sets, they tend to be overconfident on out-of-distribution (OOD) data. For instance, ReLU networks - a popular class of neural network architectures - have been shown to almost always yield high confidence predictions when the test data are far away from the training set, even when they are trained with OOD data. We overcome this problem by adding a term to the output of the neural network that corresponds to the logit of an extra class, that we design to dominate the logits of the original classes as we move away from the training data.This technique provably prevents arbitrarily high confidence on far-away test data while maintaining a simple discriminative point-estimate training. Evaluation on various benchmarks demonstrates strong performance against competitive baselines on both far-away and realistic OOD data.
• Abstract（参考訳）: 差別的に訓練された決定論的ニューラルネットワークは、分類問題の事実上の選択である。 しかし、ドメイン内テストセットで最先端の結果を得たとしても、オフ・オブ・ディストリビューション(OOD)データに過信される傾向にある。 例えば、一般的なニューラルネットワークアーキテクチャのクラスであるReLUネットワークは、テストデータがトレーニングセットから遠く離れている場合、OODデータでトレーニングされている場合であっても、ほぼ常に高い信頼性の予測が得られることが示されている。 我々は、トレーニングデータから離れる際に、元のクラスのロジットを支配できるように設計した、余分なクラスのロジットに対応するニューラルネットワークの出力に項を追加することで、この問題を克服する。この技術は、単純な識別的ポイント推定トレーニングを維持しながら、遠距離テストデータに対する任意に高い信頼を確実に防止する。 様々なベンチマークによる評価は、遠距離およびリアルなOODデータにおいて、競合するベースラインに対して強い性能を示す。

関連論文リスト

• Refining Tuberculosis Detection in CXR Imaging: Addressing Bias in Deep Neural Networks via Interpretability [1.9936075659851882]
  実験データから完全な分類精度を得ることができたとしても,深層学習モデルの信頼性は限られていると論じる。 大規模プロキシタスクでディープニューラルネットワークを事前トレーニングし、MOON(Mixed objective Optimization Network)を使用することで、モデルとエキスパート間の決定基盤の整合性を改善することができることを示す。
  論文  参考訳（メタデータ） (2024-07-19T06:41:31Z)
• DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning [5.2319020651074215]
  ニューラル予測器(DCLP)のためのカリキュラム誘導型コントラスト学習フレームワークを提案する。 本手法は,新たなカリキュラムを設計し,ラベルのないトレーニングデータ分布の安定性を高めることで,対照的なタスクを単純化する。 我々は既存の予測器と比較してDCLPの精度と効率が優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2023-02-25T08:16:21Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Adversarial training with informed data selection [53.19381941131439]
  アドリアリトレーニングは、これらの悪意のある攻撃からネットワークを守るための最も効率的なソリューションである。 本研究では,ミニバッチ学習に適用すべきデータ選択戦略を提案する。 シミュレーションの結果,ロバスト性および標準精度に関して良好な妥協が得られることがわかった。
  論文  参考訳（メタデータ） (2023-01-07T12:09:50Z)
• Being a Bit Frequentist Improves Bayesian Neural Networks [76.73339435080446]
  OODを訓練したBNNは、近年の頻繁なベースラインに劣らず、競争力があることを示す。 この研究はベイジアンおよび頻繁なUQにおける将来の研究の強力なベースラインを提供する。
  論文  参考訳（メタデータ） (2021-06-18T11:22:42Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Probing Predictions on OOD Images via Nearest Categories [97.055916832257]
  ニューラルネットワークが未確認のクラスや破損したイメージから画像を分類する際のアウト・オブ・ディストリビューション(OOD)予測挙動について検討する。 我々は、トレーニングセットにおいて、最も近い隣人と同じラベルで分類されたOOD入力の分数を計算するため、新しい測度、最も近いカテゴリ一般化(NCG)を導入する。 我々は、OODデータがロバストネス半径よりも遥かに遠くにある場合でも、ロバストネットワークは自然訓練よりも一貫してNCG精度が高いことを発見した。
  論文  参考訳（メタデータ） (2020-11-17T07:42:27Z)
• Grasping Detection Network with Uncertainty Estimation for Confidence-Driven Semi-Supervised Domain Adaptation [17.16216430459064]
  本稿では,信頼駆動型半教師付き学習を用いた新たな把握検出ネットワークを通じて,ドメイン適応が容易なアプローチを提案する。 提案した把握検出ネットワークは,特徴ピラミッドネットワーク(FPN)を利用した予測不確実性推定機構を特に提供し,平均教師半教師学習は,そのような不確実性情報を利用して,信頼度の高い非競合データに対してのみ整合性損失を強調する。 提案したネットワークは,コーネル把握データセット上で高い成功率を達成できることを示すとともに,極めて限られたデータでドメイン適応を行う場合,信頼駆動型平均教師は,元の平均教師と直接訓練を10%以上向上させる。
  論文  参考訳（メタデータ） (2020-08-20T07:42:45Z)
• Confidence-Aware Learning for Deep Neural Networks [4.9812879456945]
  本稿では,新たな損失関数であるCorrectness Ranking Lossを用いたディープニューラルネットワークのトレーニング手法を提案する。 クラス確率を明示的に規則化し、信頼度に応じて順序付けされたランキングでより良い信頼度の推定を行う。 従来の深層分類器とほぼ同じ計算コストを持ち、1つの推論で信頼性のある予測を出力する。
  論文  参考訳（メタデータ） (2020-07-03T02:00:35Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。