論文の概要: Topology of Out-of-Distribution Examples in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2501.12522v1
• Date: Tue, 21 Jan 2025 22:25:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:29:08.088634
• Title: Topology of Out-of-Distribution Examples in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおけるアウト・オブ・ディストリビューション例のトポロジー
• Authors: Esha Datta, Johanna Hennig, Eva Domschot, Connor Mattes, Michael R. Smith,
• Abstract要約: デプロイされたディープニューラルネットワーク(DNN)の長年の問題は、不慣れな入力に直面した振る舞いである。 DNNの潜在層埋め込みを用いたOODの例を特徴付けるためのトポロジカルアプローチを提案する。 我々は、ベンチマークデータセットと現実的なDNNモデルに関する広範な実験を行い、OOD検出の重要な洞察を明らかにした。
• 参考スコア（独自算出の注目度）: 0.41942958779358674
• License:
• Abstract: As deep neural networks (DNNs) become increasingly common, concerns about their robustness do as well. A longstanding problem for deployed DNNs is their behavior in the face of unfamiliar inputs; specifically, these models tend to be overconfident and incorrect when encountering out-of-distribution (OOD) examples. In this work, we present a topological approach to characterizing OOD examples using latent layer embeddings from DNNs. Our goal is to identify topological features, referred to as landmarks, that indicate OOD examples. We conduct extensive experiments on benchmark datasets and a realistic DNN model, revealing a key insight for OOD detection. Well-trained DNNs have been shown to induce a topological simplification on training data for simple models and datasets; we show that this property holds for realistic, large-scale test and training data, but does not hold for OOD examples. More specifically, we find that the average lifetime (or persistence) of OOD examples is statistically longer than that of training or test examples. This indicates that DNNs struggle to induce topological simplification on unfamiliar inputs. Our empirical results provide novel evidence of topological simplification in realistic DNNs and lay the groundwork for topologically-informed OOD detection strategies.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)がますます一般的になるにつれて、その堅牢性に対する懸念も高まる。 特に、これらのモデルは、アウト・オブ・ディストリビューション(OOD:out-of-distribution)の例に遭遇する際には、過度に信頼され、正しくない傾向にある。 本稿では,DNNからの潜在層埋め込みを用いたOODの例を特徴付けるためのトポロジカルアプローチを提案する。 私たちのゴールは、OODの例を示す、ランドマークと呼ばれるトポロジカルな特徴を特定することです。 我々は、ベンチマークデータセットと現実的なDNNモデルに関する広範な実験を行い、OOD検出の重要な洞察を明らかにした。 十分に訓練されたDNNは、単純なモデルやデータセットのトレーニングデータのトポロジ的単純化を誘導することが示されている。 より具体的には、OODサンプルの平均寿命(または持続性)が、トレーニングやテスト例の平均寿命よりも統計的に長いことが分かります。 これは、DNNが不慣れな入力に対してトポロジカルな単純化を誘導するのに苦労していることを示している。 実験結果から,現実的なDNNにおけるトポロジカル簡易化の新たな証拠が得られ,トポロジカルなOOD検出戦略の基礎となった。

関連論文リスト

• GOODAT: Towards Test-time Graph Out-of-Distribution Detection [103.40396427724667]
  グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフデータのモデリングに広く応用されている。 近年の研究では、特定のモデルのトレーニングや、よく訓練されたGNN上でのデータ修正に重点を置いて、OOD検出のグラフを調査している。 本稿では、GNNアーキテクチャのトレーニングデータと修正から独立して動作する、データ中心、教師なし、プラグアンドプレイのソリューションを提案する。
  論文  参考訳（メタデータ） (2024-01-10T08:37:39Z)
• EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
  本稿では,長い尾を持つOOD検出の課題に対処する。 主な困難は、尾クラスに属するサンプルとOODデータを区別することである。 本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
  論文  参考訳（メタデータ） (2023-12-14T13:47:13Z)
• NECO: NEural Collapse Based Out-of-distribution detection [2.4958897155282282]
  OOD検出のための新しいポストホック法NECOを紹介する。 実験の結果,NECOは小型・大規模OOD検出タスクの両方を達成できた。 OOD検出における本手法の有効性を理論的に説明する。
  論文  参考訳（メタデータ） (2023-10-10T17:53:36Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Detection of out-of-distribution samples using binary neuron activation patterns [0.26249027950824505]
  未確認入力を新しいものとして識別する能力は、自動運転車、無人航空機、ロボットなどの安全上重要な応用に不可欠である。 OODサンプルを検出するための既存のアプローチでは、DNNをブラックボックスとして扱い、出力予測の信頼性スコアを評価する。 本稿では,新しいOOD検出法を提案する。本手法は,ReLUアーキテクチャにおけるニューロン活性化パターン(NAP)の理論的解析に動機付けられている。
  論文  参考訳（メタデータ） (2022-12-29T11:42:46Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• Leveraging The Topological Consistencies of Learning in Deep Neural Networks [0.0]
  我々は,実行中の計算の迅速化を図りながら,学習の進捗を正確に特徴付ける,新しいトポロジ的特徴のクラスを定義する。 提案するトポロジカルな特徴は, バックプロパゲーションに容易に対応できるので, エンド・ツー・エンドのトレーニングに組み込むことが可能である。
  論文  参考訳（メタデータ） (2021-11-30T18:34:48Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Probing Predictions on OOD Images via Nearest Categories [97.055916832257]
  ニューラルネットワークが未確認のクラスや破損したイメージから画像を分類する際のアウト・オブ・ディストリビューション(OOD)予測挙動について検討する。 我々は、トレーニングセットにおいて、最も近い隣人と同じラベルで分類されたOOD入力の分数を計算するため、新しい測度、最も近いカテゴリ一般化(NCG)を導入する。 我々は、OODデータがロバストネス半径よりも遥かに遠くにある場合でも、ロバストネットワークは自然訓練よりも一貫してNCG精度が高いことを発見した。
  論文  参考訳（メタデータ） (2020-11-17T07:42:27Z)
• FOOD: Fast Out-Of-Distribution Detector [43.31844129399436]
  FOODは、最小の推論時間オーバーヘッドでOODサンプルを効率的に検出できる拡張ディープニューラルネットワーク(DNN)である。 SVHN, CIFAR-10, CIFAR-100データセット上でのFOODの検出性能を評価する。 以上の結果から, FOODは最先端性能の達成に加えて, 実世界のアプリケーションにも適用可能であることが示唆された。
  論文  参考訳（メタデータ） (2020-08-16T08:22:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。