Fugu-MT 論文翻訳(概要): DORA: Exploring Outlier Representations in Deep Neural Networks

論文の概要: DORA: Exploring Outlier Representations in Deep Neural Networks

arxiv url: http://arxiv.org/abs/2206.04530v4
Date: Mon, 10 Jul 2023 15:42:34 GMT
ステータス: 処理完了
システム内更新日: 2023-07-11 19:36:33.650533
Title: DORA: Exploring Outlier Representations in Deep Neural Networks
Title（参考訳）: DORA: ディープニューラルネットワークにおける外部表現の探索
Authors: Kirill Bykov, Mayukh Deb, Dennis Grinwald, Klaus-Robert M\"uller, Marina M.-C. H\"ohne
Abstract要約: 我々は,Deep Neural Networks (DNN) の表現空間を解析するための,最初のデータに依存しないフレームワークであるDORAを提案する。我々のフレームワークの中心は、表現間の類似性を評価する、提案された極活動距離測定(EA)である。 EAのメトリクスを定量的に検証し、制御されたシナリオと実世界のアプリケーションの両方でその効果を実証する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep Neural Networks (DNNs) excel at learning complex abstractions within their internal representations. However, the concepts they learn remain opaque, a problem that becomes particularly acute when models unintentionally learn spurious correlations. In this work, we present DORA (Data-agnOstic Representation Analysis), the first data-agnostic framework for analyzing the representational space of DNNs. Central to our framework is the proposed Extreme-Activation (EA) distance measure, which assesses similarities between representations by analyzing their activation patterns on data points that cause the highest level of activation. As spurious correlations often manifest in features of data that are anomalous to the desired task, such as watermarks or artifacts, we demonstrate that internal representations capable of detecting such artifactual concepts can be found by analyzing relationships within neural representations. We validate the EA metric quantitatively, demonstrating its effectiveness both in controlled scenarios and real-world applications. Finally, we provide practical examples from popular Computer Vision models to illustrate that representations identified as outliers using the EA metric often correspond to undesired and spurious concepts.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、内部表現における複雑な抽象化の学習に優れています。しかし、それらが学習する概念はいまだ不透明であり、モデルが意図せずに急激な相関を学習すると特に問題となる。本研究では、DNNの表現空間を解析する最初のデータ認識フレームワークであるDORA(Data-agnOstic Representation Analysis)を提案する。フレームワークの中心に提案されている Extreme-Activation (EA) 距離測定は、最も高いアクティベーションレベルを引き起こすデータポイント上のアクティベーションパターンを分析して、表現間の類似性を評価するものである。ウォーターマークやアーティファクトなどの所望のタスクに異常なデータの特徴に散発的な相関がしばしば現れるため、このようなアーティファクト概念を検出可能な内部表現は、神経表現内の関係を解析することによって発見できることを実証する。 EAのメトリクスを定量的に検証し、制御されたシナリオと実世界のアプリケーションの両方でその効果を実証する。最後に、一般的なコンピュータビジョンモデルから実例を示し、EAメトリックを用いた表現がしばしば望ましくない、刺激的な概念に対応することを示す。

関連論文リスト

Dynamical similarity analysis uniquely captures how computations develop in RNNs [3.037387520023979]
最近の研究では、いくつかの指標が刺激的なシグナルに反応し、誤った結果をもたらすことが示されている。本稿では、リカレントニューラルネットワーク(RNN)における合成学習により、動的表現アライメントメトリクスのテストケースを提供できることを提案する。最近提案された動的類似性解析 (DSA) は, より頑健で, 行動関連表現を確実に識別できることを示す。
論文参考訳（メタデータ） (2024-10-31T16:07:21Z)
Interactive dense pixel visualizations for time series and model attribution explanations [8.24039921933289]
DAVOTSは、生の時系列データ、ニューラルネットワークのアクティベーション、高密度ピクセル可視化における属性を探索する、インタラクティブなビジュアル分析アプローチである。可視化されたデータドメインにクラスタリングアプローチを適用し、グループをハイライトし、個々のデータ探索と組み合わせたデータ探索のための順序付け戦略を示す。
論文参考訳（メタデータ） (2024-08-27T14:02:21Z)
Tipping Points of Evolving Epidemiological Networks: Machine Learning-Assisted, Data-Driven Effective Modeling [0.0]
適応型感受性感染症(SIS)疫学ネットワークのチップポイント集団動態を,データ駆動型機械学習支援方式で検討した。複素実効微分方程式(eSDE)を物理的に有意な粗い平均場変数で同定する。本研究では, 頻繁な現象の統計を, 繰り返しブルート力シミュレーションと, 確立された数学的・計算ツールを用いて研究する。
論文参考訳（メタデータ） (2023-11-01T19:33:03Z)
Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual Recognition [57.08108545219043]
サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
論文参考訳（メタデータ） (2023-05-12T00:13:17Z)
Experimental Observations of the Topology of Convolutional Neural Network Activations [2.4235626091331737]
トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
論文参考訳（メタデータ） (2022-12-01T02:05:44Z)
Sparse Relational Reasoning with Object-Centric Representations [78.83747601814669]
対象中心表現の操作において,リレーショナルニューラルアーキテクチャによって学習されたソフトルールの構成可能性について検討する。特に特徴量の増加は,いくつかのモデルの性能を向上し,より単純な関係をもたらすことが判明した。
論文参考訳（メタデータ） (2022-07-15T14:57:33Z)
On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文参考訳（メタデータ） (2022-06-09T16:24:01Z)
Temporal Relevance Analysis for Video Action Models [70.39411261685963]
まず,CNNに基づく行動モデルにより捉えたフレーム間の時間的関係を定量化する手法を提案する。次に、時間的モデリングがどのように影響を受けるかをよりよく理解するために、包括的な実験と詳細な分析を行います。
論文参考訳（メタデータ） (2022-04-25T19:06:48Z)
Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
論文参考訳（メタデータ） (2021-03-18T13:04:21Z)
Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。私たちのフレームワークは、サンプル間の関係をよく保存します。サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。