論文の概要: Out-of-Distribution Detection through Soft Clustering with Non-Negative Kernel Regression

• arxiv url: http://arxiv.org/abs/2407.13141v1
• Date: Thu, 18 Jul 2024 03:57:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 18:53:59.349309
• Title: Out-of-Distribution Detection through Soft Clustering with Non-Negative Kernel Regression
• Title（参考訳）: 非負のカーネル回帰を用いたソフトクラスタリングによるアウト・オブ・ディストリビューション検出
• Authors: Aryan Gulati, Xingjian Dong, Carlos Hurtado, Sarath Shekkizhar, Swabha Swayamdipta, Antonio Ortega,
• Abstract要約: 非負のカーネル回帰に基づくOOD検出のためのソフトクラスタリング手法を提案する。 提案手法は計算と空間の複雑さを大幅に減らし(推論時間の最大11倍改善とストレージ要求の87%削減)、4つのベンチマークで最大4つのAUROCポイントを上回ります。
• 参考スコア（独自算出の注目度）: 28.828318027398815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As language models become more general purpose, increased attention needs to be paid to detecting out-of-distribution (OOD) instances, i.e., those not belonging to any of the distributions seen during training. Existing methods for detecting OOD data are computationally complex and storage-intensive. We propose a novel soft clustering approach for OOD detection based on non-negative kernel regression. Our approach greatly reduces computational and space complexities (up to 11x improvement in inference time and 87% reduction in storage requirements) and outperforms existing approaches by up to 4 AUROC points on four different benchmarks. We also introduce an entropy-constrained version of our algorithm, which leads to further reductions in storage requirements (up to 97% lower than comparable approaches) while retaining competitive performance. Our soft clustering approach for OOD detection highlights its potential for detecting tail-end phenomena in extreme-scale data settings.
• Abstract（参考訳）: 言語モデルがより汎用的になるにつれて、トレーニング中に見られる分布に属さないもの(out-of-distriion(OOD)インスタンスの検出に注意を払う必要がある。 既存のOODデータ検出方法は計算処理が複雑で、ストレージ集約である。 非負のカーネル回帰に基づくOOD検出のためのソフトクラスタリング手法を提案する。 提案手法は計算と空間の複雑さを大幅に減らし(推論時間の最大11倍改善とストレージ要求の87%削減)、4つのベンチマークで最大4つのAUROCポイントを上回ります。 また,提案アルゴリズムのエントロピー制約バージョンを導入し,競合性能を維持しつつ,ストレージ要件のさらなる削減(比較可能なアプローチよりも最大97%低い)を実現した。 OOD検出のためのソフトクラスタリング手法は、超大規模データ設定におけるテールエンド現象の検出の可能性を強調している。

関連論文リスト

• BoBa: Boosting Backdoor Detection through Data Distribution Inference in Federated Learning [26.714674251814586]
  フェデレーテッド・ラーニングは、その分散した性質のため、毒殺の被害を受けやすい。 本稿では,この問題を解決するために,分布認識型異常検出機構であるBoBaを提案する。
  論文  参考訳（メタデータ） (2024-07-12T19:38:42Z)
• Small Object Detection via Coarse-to-fine Proposal Generation and Imitation Learning [52.06176253457522]
  本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。 CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-08-18T13:13:09Z)
• Low-Confidence Samples Mining for Semi-supervised Object Detection [4.414765434786988]
  低信頼度擬似ラベルを効率的に利用するための新しい低信頼サンプルマイニング(LSM)法を提案する。 本手法は,5%のラベル付け率で最先端手法よりも3.54%のmAP改善を実現している。
  論文  参考訳（メタデータ） (2023-06-28T13:29:06Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
  本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。 前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。 提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
  論文  参考訳（メタデータ） (2022-05-13T21:09:41Z)
• Improving Novelty Detection using the Reconstructions of Nearest Neighbours [0.0]
  自動エンコーダ (AE) の潜伏空間に近接する近傍での使用は, 半教師付きノベルティ検出の性能を著しく向上させることを示した。 提案手法は, 近接する近傍の復元と, 入力の潜時表現の潜時距離の組合せを利用する。
  論文  参考訳（メタデータ） (2021-11-11T11:09:44Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Adversarial Robustness via Fisher-Rao Regularization [33.134075068748984]
  適応的堅牢性は、機械学習への関心の高まりのトピックとなっている。 火はカテゴリーのクロスエントロピー損失に対する新しいフィッシャー・ラオ正規化である。
  論文  参考訳（メタデータ） (2021-06-12T04:12:58Z)
• Unsupervised learning of disentangled representations in deep restricted kernel machines with orthogonality constraints [15.296955630621566]
  Constr-DRKMは、非教師なしデータ表現の学習のためのディープカーネル手法である。 本研究では,不整合特徴学習における提案手法の有効性を定量的に評価する。
  論文  参考訳（メタデータ） (2020-11-25T11:40:10Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。