論文の概要: Dimensionality-induced information loss of outliers in deep neural networks

• arxiv url: http://arxiv.org/abs/2410.21656v1
• Date: Tue, 29 Oct 2024 01:52:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:39:53.759399
• Title: Dimensionality-induced information loss of outliers in deep neural networks
• Title（参考訳）: ディープニューラルネットワークにおけるディメンダリティによる情報損失
• Authors: Kazuki Uematsu, Kosuke Haruki, Taiji Suzuki, Mitsuhiro Kimura, Takahiro Takimoto, Hideyuki Nakagawa,
• Abstract要約: ディープニューラルネットワーク(DNN)を用いたシステムにおいて、アウト・オブ・ディストリビューション(OOD)検出は重要な問題である 複数の視点から特徴表現の層依存性を調べることにより,この問題を実験的に解明する。 特徴量と重みのアライメントに基づく次元認識型OOD検出手法を提案する。
• 参考スコア（独自算出の注目度）: 29.15751143793406
• License:
• Abstract: Out-of-distribution (OOD) detection is a critical issue for the stable and reliable operation of systems using a deep neural network (DNN). Although many OOD detection methods have been proposed, it remains unclear how the differences between in-distribution (ID) and OOD samples are generated by each processing step inside DNNs. We experimentally clarify this issue by investigating the layer dependence of feature representations from multiple perspectives. We find that intrinsic low dimensionalization of DNNs is essential for understanding how OOD samples become more distinct from ID samples as features propagate to deeper layers. Based on these observations, we provide a simple picture that consistently explains various properties of OOD samples. Specifically, low-dimensional weights eliminate most information from OOD samples, resulting in misclassifications due to excessive attention to dataset bias. In addition, we demonstrate the utility of dimensionality by proposing a dimensionality-aware OOD detection method based on alignment of features and weights, which consistently achieves high performance for various datasets with lower computational cost.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)を用いたシステムの安定かつ信頼性の高い運用において、アウト・オブ・ディストリビューション(OOD)検出は重要な問題である。 多くのOOD検出法が提案されているが、DNN内の各処理ステップによって、内部分布(ID)とOODサンプルの違いが生じるかは定かではない。 複数の視点から特徴表現の層依存性を調べることにより,この問題を実験的に解明する。 DNNの内在的な低次元化は,より深い層に伝播する特徴として,OODサンプルがIDサンプルとどのように区別されるかを理解する上で重要である。 これらの観測に基づいて,OOD試料の諸性質を一貫して説明できる簡単な図式を提供する。 具体的には、低次元重みはOODサンプルからほとんどの情報を排除し、データセットバイアスに対する過度な注意による誤分類をもたらす。 さらに,特徴量と重みのアライメントに基づく次元認識型OOD検出手法を提案することにより,次元性の有用性を示す。

関連論文リスト

• Can OOD Object Detectors Learn from Foundation Models? [56.03404530594071]
  アウト・オブ・ディストリビューション(OOD)オブジェクト検出は、オープンセットのOODデータがないため、難しい課題である。 テキストから画像への生成モデルの最近の進歩に触発されて,大規模オープンセットデータを用いて訓練された生成モデルがOODサンプルを合成する可能性について検討した。 SyncOODは,大規模基盤モデルの能力を活用するシンプルなデータキュレーション手法である。
  論文  参考訳（メタデータ） (2024-09-08T17:28:22Z)
• Rethinking the Evaluation of Out-of-Distribution Detection: A Sorites Paradox [70.57120710151105]
  既存のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、サンプルを新しいラベルでOODデータとして分類する。 いくつかの限界OODサンプルは、実際には分布内(ID)サンプルに密接なセマンティック内容を持ち、OODサンプルをソリテスパラドックス(英語版)と判定する。 この問題に対処するため,Incremental Shift OOD (IS-OOD) というベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-06-14T09:27:56Z)
• Pursuing Feature Separation based on Neural Collapse for Out-of-Distribution Detection [21.357620914949624]
  オープンな世界では、ラベルが分布内(ID)サンプルと相容れないOOD(out-of-distriion)データを検出することは、信頼できるディープニューラルネットワーク(DNN)にとって重要である。 我々はOrthLossと呼ばれるシンプルだが効果的な損失を提案し、これはサブ空間内のOODデータの特徴をNCによって形成されたID特徴の主部分空間に結合する。 我々の検出は、追加のデータ拡張やサンプリングなしに、CIFARベンチマーク上でのSOTA性能を達成する。
  論文  参考訳（メタデータ） (2024-05-28T04:24:38Z)
• LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
  本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。 本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T13:49:05Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• On the Usefulness of Deep Ensemble Diversity for Out-of-Distribution Detection [7.221206118679026]
  ディープラーニングの安全性クリティカルな応用において、OOD(Out-of-Distribution)データを検出する能力が重要である。 この文献の既存の直観は、ディープ・アンサンブルの予測の多様性は分布シフトを示しているということである。 ImageNet-scale OOD 検出では,この直観が有効でないことを示す。
  論文  参考訳（メタデータ） (2022-07-15T15:02:38Z)
• Do Deep Neural Networks Always Perform Better When Eating More Data? [82.6459747000664]
  Identically Independent Distribution(IID)とOut of Distribution(OOD)による実験を設計する。 IID条件下では、情報の量は各サンプルの効果度、サンプルの寄与度、クラス間の差がクラス情報の量を決定する。 OOD条件下では、試料のクロスドメイン度が寄与を決定づけ、無関係元素によるバイアス適合はクロスドメインの重要な要素である。
  論文  参考訳（メタデータ） (2022-05-30T15:40:33Z)
• Igeood: An Information Geometry Approach to Out-of-Distribution Detection [35.04325145919005]
  Igeoodは, オフ・オブ・ディストリビューション(OOD)サンプルを効果的に検出する手法である。 Igeoodは任意のトレーニング済みニューラルネットワークに適用され、機械学習モデルにさまざまなアクセス権を持つ。 Igeoodは、さまざまなネットワークアーキテクチャやデータセットにおいて、競合する最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-15T11:26:35Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Out-Of-Distribution Detection With Subspace Techniques And Probabilistic Modeling Of Features [7.219077740523682]
  本論文では,DNN(Deep Neural Network)におけるOOD(Out-of- Distributionion)サンプル検出の原理的手法を提案する。 深部特徴量に基づく確率分布のモデル化は,近年,DNNにおけるOODサンプルの検出方法として,効率的かつ安価に実現されている。 線形統計的次元還元法と非線形多様体学習法を高次元的特徴に適用し、その特徴にまたがる真の部分空間を捕捉する。
  論文  参考訳（メタデータ） (2020-12-08T07:07:11Z)
• NADS: Neural Architecture Distribution Search for Uncertainty Awareness [79.18710225716791]
  機械学習(ML)システムは、トレーニングデータとは異なるディストリビューションから来るテストデータを扱う場合、しばしばOoD(Out-of-Distribution)エラーに遭遇する。 既存のOoD検出アプローチはエラーを起こしやすく、時にはOoDサンプルに高い確率を割り当てることもある。 本稿では,すべての不確実性を考慮したアーキテクチャの共通構築ブロックを特定するために,ニューラルアーキテクチャ分布探索(NADS)を提案する。
  論文  参考訳（メタデータ） (2020-06-11T17:39:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。