論文の概要: Saliency Maps are Ambiguous: Analysis of Logical Relations on First and Second Order Attributions

• arxiv url: http://arxiv.org/abs/2501.14136v1
• Date: Thu, 23 Jan 2025 23:26:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:56:31.470541
• Title: Saliency Maps are Ambiguous: Analysis of Logical Relations on First and Second Order Attributions
• Title（参考訳）: 従順写像は曖昧である:一階と二階の属性に関する論理的関係の解析
• Authors: Leonid Schwenke, Martin Atzmueller,
• Abstract要約: 本手法は,すべてのシナリオにおいて必要な分類情報を全て把握できないことを示す。 具体的には,これらの手法がどのシナリオで失敗するかをよりよく理解するために,より多くのデータセットの分析を用いてこれまでの研究を拡張した。
• 参考スコア（独自算出の注目度）: 0.11510009152620666
• License:
• Abstract: Recent work uncovered potential flaws in \eg attribution or heatmap based saliency methods. A typical flaw is a confirmations bias, where the scores are compared to human expectation. Since measuring the quality of saliency methods is hard due to missing ground truth model reasoning, finding general limitations is also hard. This is further complicated, because masking-based evaluation on complex data can easily introduce a bias, as most methods cannot fully ignore inputs. In this work, we extend our previous analysis on the logical dataset framework ANDOR, where we showed that all analysed saliency methods fail to grasp all needed classification information for all possible scenarios. Specifically, this paper extends our previous work using analysis on more datasets, in order to better understand in which scenarios the saliency methods fail. Further, we apply the Global Coherence Representation as an additional evaluation method in order to enable actual input omission.
• Abstract（参考訳）: 最近の研究で、eg属性やヒートマップに基づくサリエンシ手法の潜在的な欠陥が明らかになった。 典型的な欠陥は確認バイアスであり、スコアは人間の期待値と比較される。 基礎的真理モデル推論が欠如しているため,サリエンシ法の品質測定は困難であるため,一般の限界も見いだすのが困難である。 複雑なデータに対するマスキングに基づく評価は、ほとんどのメソッドが入力を完全に無視できないため、バイアスを容易に導入できるため、さらに複雑である。 本研究では、論理データセットフレームワーク ANDOR に関する以前の分析を拡張し、分析されたすべてのサリエンシ手法が、すべてのシナリオに必要な分類情報を把握できないことを示した。 具体的には,これらの手法がどのシナリオで失敗するかをよりよく理解するために,より多くのデータセットの分析を用いてこれまでの研究を拡張した。 さらに,Global Coherence Representationを付加評価法として適用し,実際の入力省略を実現する。

関連論文リスト

• Examining False Positives under Inference Scaling for Mathematical Reasoning [59.19191774050967]
  本稿では,言語モデルにおける数学的問題解決における偽陽性解の有効性を体系的に検討する。 擬陽性が言語モデルの推論時間スケーリング行動にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2025-02-10T07:49:35Z)
• Saliency Methods are Encoders: Analysing Logical Relations Towards Interpretation [0.11510009152620666]
  ニューラルネットワークモデルの説明可能性を改善するために、サリエンシマップがしばしば生成される。 本稿では、単純な論理的データセット上で可能なすべてのモデル推論に基づく実験を提案する。 そこで本研究では,その論理的関係を利用して,異なるクラス識別シナリオにおける情報処理方法の相違点を理解することを目的とする。 以上の結果から,Saliency法は分類関連情報をSaliencyスコアの順序付けにエンコードできることがわかった。
  論文  参考訳（メタデータ） (2024-12-17T08:55:17Z)
• Towards Real World Debiasing: A Fine-grained Analysis On Spurious Correlation [17.080528126651977]
  既存のベンチマークと実世界のデータセットのバイアス分布を再検討し、データセットバイアスを分析するためのきめ細かいフレームワークを提案する。 その結果,既存の手法では現実のバイアスに対処できないことがわかった。 本稿では,Debias in Destruction (DiD) という,既存のデバイアス法に容易に適用可能な,シンプルかつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-24T06:06:41Z)
• Pre-training and Diagnosing Knowledge Base Completion Models [58.07183284468881]
  我々は,事実の集合から他の集合への知識伝達へのアプローチを,エンティティや関係マッチングを必要とせずに導入し,分析する。 主な貢献は、構造化されていないテキストから収集された事実の大規模事前学習を利用する方法である。 得られた事前学習モデルをよりよく理解するために,オープン知識ベースコンプリートのための事前学習モデルの解析のための新しいデータセットを導入する。
  論文  参考訳（メタデータ） (2024-01-27T15:20:43Z)
• Correcting Underrepresentation and Intersectional Bias for Classification [49.1574468325115]
  我々は、表現不足のバイアスによって破損したデータから学習する問題を考察する。 偏りのないデータの少ない場合、グループワイドのドロップアウト率を効率的に推定できることが示される。 本アルゴリズムは,有限VC次元のモデルクラスに対して,効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-19T18:25:44Z)
• Testing for Overfitting [0.0]
  オーバーフィッティング問題について議論し、トレーニングデータによる評価に標準値と集中値が成立しない理由を説明する。 本稿では,モデルの性能をトレーニングデータを用いて評価できる仮説テストを紹介し,議論する。
  論文  参考訳（メタデータ） (2023-05-09T22:49:55Z)
• Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
  複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。 人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
  論文  参考訳（メタデータ） (2021-04-17T21:34:10Z)
• Data Representing Ground-Truth Explanations to Evaluate XAI Methods [0.0]
  現在、説明可能な人工知能(XAI)手法は、主に解釈可能な機械学習(IML)研究に由来するアプローチで評価されている。 本稿では,XAI手法の精度を評価するために用いられる正準方程式を用いた説明法を提案する。
  論文  参考訳（メタデータ） (2020-11-18T16:54:53Z)
• A Critical Assessment of State-of-the-Art in Entity Alignment [1.7725414095035827]
  本稿では,知識グラフにおけるエンティティアライメントのタスクに対する2つの最先端(SotA)手法について検討する。 まず、ベンチマークプロセスについて慎重に検討し、いくつかの欠点を特定した。
  論文  参考訳（メタデータ） (2020-10-30T15:09:19Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。