論文の概要: Be Persistent: Towards a Unified Solution for Mitigating Shortcuts in Deep Learning

• arxiv url: http://arxiv.org/abs/2402.11237v2
• Date: Mon, 26 Aug 2024 10:39:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 00:16:18.603706
• Title: Be Persistent: Towards a Unified Solution for Mitigating Shortcuts in Deep Learning
• Title（参考訳）: Be Persistent: ディープラーニングにおけるショートカットの緩和のための統一ソリューションを目指して
• Authors: Hadi M. Dolatabadi, Sarah M. Erfani, Christopher Leckie,
• Abstract要約: ニューラルネットワークの多くの障害ケースの中で、ショートカット学習は至るところで行われている。 DNNでショートカット学習のための統一されたソリューションを見つけることは不可能であり、TDAはそのようなフレームワークを形成する上で重要な役割を果たす。
• 参考スコア（独自算出の注目度）: 24.200516684111175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) are vulnerable to shortcut learning: rather than learning the intended task, they tend to draw inconclusive relationships between their inputs and outputs. Shortcut learning is ubiquitous among many failure cases of neural networks, and traces of this phenomenon can be seen in their generalizability issues, domain shift, adversarial vulnerability, and even bias towards majority groups. In this paper, we argue that this commonality in the cause of various DNN issues creates a significant opportunity that should be leveraged to find a unified solution for shortcut learning. To this end, we outline the recent advances in topological data analysis (TDA), and persistent homology (PH) in particular, to sketch a unified roadmap for detecting shortcuts in deep learning. We demonstrate our arguments by investigating the topological features of computational graphs in DNNs using two cases of unlearnable examples and bias in decision-making as our test studies. Our analysis of these two failure cases of DNNs reveals that finding a unified solution for shortcut learning in DNNs is not out of reach, and TDA can play a significant role in forming such a framework.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)は、意図したタスクを学ぶのではなく、入力と出力の間に不確定な関係を描く傾向がある。 この現象の痕跡は、一般化可能性の問題、ドメインシフト、敵対的脆弱性、さらには多数派に対する偏見にも見られる。 本稿では,様々なDNN問題の原因となるこの共通性が,ショートカット学習の統一解を見つけるために活用すべき重要な機会を生んでいることを論じる。 そこで我々は,最近のトポロジカルデータ解析(TDA),特に持続的ホモロジー(PH)の進歩を概説し,深層学習におけるショートカット検出のための統一されたロードマップをスケッチする。 我々は,DNNにおける計算グラフのトポロジ的特徴を,学習不可能な例と意思決定のバイアスの2つの事例を用いて検討することによって,議論を実証する。 DNNにおけるこれらの2つの障害事例を分析してみると、DNNにおけるショートカット学習のための統一されたソリューションを見つけることは不可能であり、TDAはそのようなフレームワークを形成する上で重要な役割を果たす。

関連論文リスト

• On Logical Extrapolation for Mazes with Recurrent and Implicit Networks [2.0037131645168396]
  我々は,外挿の能力が従来提案されていたよりも頑丈でないことを示す。 INNは、より大きな迷路インスタンスに一般化できるが、迷路サイズ以外の難易度軸に沿って一般化できないことを示す。
  論文  参考訳（メタデータ） (2024-10-03T22:07:51Z)
• Causal inference through multi-stage learning and doubly robust deep neural networks [10.021381302215062]
  ディープニューラルネットワーク(DNN)は、大規模教師付き学習問題において顕著な経験的性能を示した。 本研究は、複雑な因果推論タスクの幅広い範囲にわたるDNNの適用について検討する。
  論文  参考訳（メタデータ） (2024-07-11T14:47:44Z)
• Supervised Gradual Machine Learning for Aspect Category Detection [0.9857683394266679]
  アスペクトカテゴリー検出(ACD)は、あるレビュー文の中で暗黙的かつ明示的な側面を識別することを目的としている。 本稿では,Deep Neural Networks (DNN) と Gradual Machine Learning (GML) を教師付き環境で組み合わせることで,ACDタスクに取り組む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T07:21:46Z)
• Verification-Aided Deep Ensemble Selection [4.290931412096984]
  ディープニューラルネットワーク(DNN)は、様々な複雑なタスクを実現するための選択技術となっている。 正しく分類された入力に対する知覚できない摂動でさえ、DNNによる誤分類につながる可能性がある。 本稿では,同時エラーの少ないアンサンブル構成を同定するための方法論を考案する。
  論文  参考訳（メタデータ） (2022-02-08T14:36:29Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Deep Neural Networks Are Congestion Games: From Loss Landscape to Wardrop Equilibrium and Beyond [12.622643370707328]
  我々の研究は、ディープニューラルネットワーク(DNN)を解析するための非常に有望な新しいツールを提供する、と我々は主張する。 前者を分析する際に、後者から利用できる古典的な結果の恩恵を受ける方法を示す。
  論文  参考訳（メタデータ） (2020-10-21T14:11:40Z)
• A Survey on Assessing the Generalization Envelope of Deep Neural Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くのアプリケーションで最先端のパフォーマンスを達成する。 入力を受けたDNNが、通常、その決定基準が不透明であるため、正しい出力を提供するかどうかを事前に判断することは困難である。 本調査は,機械学習手法,特にDNNの一般化性能について,大規模フレームワーク内の3つの分野を関連づけるものである。
  論文  参考訳（メタデータ） (2020-08-21T09:12:52Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Adversarial Attacks and Defenses on Graphs: A Review, A Tool and Empirical Studies [73.39668293190019]
  敵攻撃は入力に対する小さな摂動によって容易に騙される。 グラフニューラルネットワーク(GNN)がこの脆弱性を継承することを実証している。 本調査では,既存の攻撃と防御を分類し,対応する最先端の手法を概観する。
  論文  参考訳（メタデータ） (2020-03-02T04:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。