論文の概要: Tackling Shortcut Learning in Deep Neural Networks: An Iterative Approach with Interpretable Models

• arxiv url: http://arxiv.org/abs/2302.10289v9
• Date: Fri, 7 Jul 2023 05:50:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 15:44:39.414519
• Title: Tackling Shortcut Learning in Deep Neural Networks: An Iterative Approach with Interpretable Models
• Title（参考訳）: ディープニューラルネットワークにおけるショートカット学習の取り組み--解釈可能なモデルによる反復的アプローチ
• Authors: Shantanu Ghosh, Ke Yu, Forough Arabshahi, Kayhan Batmanghelich
• Abstract要約: 我々は,解釈可能な専門家 (MoIE) と残留ネットワークの混合を反復的に彫刻する。 各専門家は第一次論理(FOL)を用いてデータのサブセットを説明する サンプルを説明しながら、偏りのあるBB由来のMoIEからFOLがショートカットを効果的に検出する。
• 参考スコア（独自算出の注目度）: 19.01849806863748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We use concept-based interpretable models to mitigate shortcut learning. Existing methods lack interpretability. Beginning with a Blackbox, we iteratively carve out a mixture of interpretable experts (MoIE) and a residual network. Each expert explains a subset of data using First Order Logic (FOL). While explaining a sample, the FOL from biased BB-derived MoIE detects the shortcut effectively. Finetuning the BB with Metadata Normalization (MDN) eliminates the shortcut. The FOLs from the finetuned-BB-derived MoIE verify the elimination of the shortcut. Our experiments show that MoIE does not hurt the accuracy of the original BB and eliminates shortcuts effectively.
• Abstract（参考訳）: 概念に基づく解釈モデルを用いてショートカット学習を緩和する。 既存の方法には解釈性がない。 ブラックボックスから始めると、解釈可能な専門家(moie)と残りのネットワークの混合を反復的に作り出す。 各専門家は、FOL(First Order Logic)を使用してデータのサブセットを説明する。 サンプルを説明しながら、偏りのあるBB由来のMoIEからFOLがショートカットを効果的に検出する。 BBをメタデータ正規化(MDN)で微調整すると、ショートカットがなくなる。 微細BB由来MoIEからのFOLはショートカットの除去を検証する。 実験の結果,MoIEは元のBBの精度を損なわず,ショートカットを効果的に除去することがわかった。

関連論文リスト

• On the Shortcut Learning in Multilingual Neural Machine Translation [95.30470845501141]
  本研究は、多言語ニューラルマシン翻訳(MNMT)において、一般的に語られるオフターゲット問題を再考する。 ターゲット外の問題は、(非中心的、中心的でない)言語マッピングのショートカットが過度に適合していることに起因しています。 学習力学の解析によると、ショートカット学習はモデルトレーニングの後期に一般的に発生する。
  論文  参考訳（メタデータ） (2024-11-15T21:09:36Z)
• SPADE: Sparsity-Guided Debugging for Deep Neural Networks [46.33767395637177]
  サンプル固有の前処理ステップとして,スパーシリティを解釈プロセス自体に組み込むことができることを示す。 SPADEと呼ばれるこのアプローチは、トレーニングされたモデルに制約を課さず、サンプルの推論中にその振る舞いに影響を与えない。 本研究では,SPADEが複数の解釈可能性手法間で画像塩分マップの精度を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-10-06T18:28:33Z)
• Dividing and Conquering a BlackBox to a Mixture of Interpretable Models: Route, Interpret, Repeat [19.01849806863748]
  ブラックボックスモデルは柔軟だが説明が難しいが、解釈可能なモデルは本質的に説明可能である。 本稿では,ブラックボックスのポストホックな説明と解釈可能なモデルの構築の区別を曖昧にすることを目的としている。
  論文  参考訳（メタデータ） (2023-07-07T01:10:18Z)
• How to Construct Perfect and Worse-than-Coin-Flip Spoofing Countermeasures: A Word of Warning on Shortcut Learning [20.486639064376014]
  ショートカット学習(英: Shortcut learning、またはClever Hans effect)とは、学習エージェントがデータに存在する急激な相関を学習し、バイアスのあるモデルをもたらす状況を指す。 本研究では, 深層学習に基づくスプーフィング対策(CM)において, ある発話がスプーフィングされているか否かを予測するショートカットの発見に焦点をあてる。
  論文  参考訳（メタデータ） (2023-05-31T15:58:37Z)
• Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
  本稿では,モデル構造の角度からバックドア機構を探索する。 攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
  論文  参考訳（メタデータ） (2022-11-02T15:39:19Z)
• Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps [85.49020931411825]
  限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。 本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。 本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-07T01:12:11Z)
• Learning To Cut By Looking Ahead: Cutting Plane Selection via Imitation Learning [80.45697245527019]
  我々は、最良限の改善をもたらすカットを明示的に目指している欲求選択規則が、カット選択に対して強い決定を下すことを示す。 本研究では,頭頂部の専門家を対象とした模擬学習のための新しいニューラルアーキテクチャ(NeuralCut)を提案する。
  論文  参考訳（メタデータ） (2022-06-27T16:07:27Z)
• Evaluating Inexact Unlearning Requires Revisiting Forgetting [14.199668091405064]
  IC(Interclass Confusion)と呼ばれる,忘れ度を計測する新しいテストを導入する。 ブラックボックステストであるにもかかわらず、ICは削除セットからの情報がネットワークの初期層まで消去されたかどうかを調べることができる。 ネットワークの最終k層を破滅的に偽造する2つの単純なアンラーニング手法が、従来のアンラーニング方法と異なり、大きな削除セットにうまくスケールできることを実証的に示す。
  論文  参考訳（メタデータ） (2022-01-17T21:49:21Z)
• Towards Interpreting and Mitigating Shortcut Learning Behavior of NLU models [53.36605766266518]
  訓練されたNLUモデルは、長尾分布の先頭に位置する特徴を強く好んでいることを示す。 本研究では,ショートカット度の高いサンプルに対する過信予測を抑えるためのショートカット緩和フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-11T19:39:56Z)
• An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction [84.49035467829819]
  我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。 我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
  論文  参考訳（メタデータ） (2020-05-01T23:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。