論文の概要: Feature salience -- not task-informativeness -- drives machine learning model explanations
- arxiv url: http://arxiv.org/abs/2602.09238v1
- Date: Mon, 09 Feb 2026 22:07:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-11 20:17:43.264606
- Title: Feature salience -- not task-informativeness -- drives machine learning model explanations
- Title（参考訳）: タスク・インフォーマル性ではなく、フィーチャー・サリエンスが機械学習モデルの説明を駆動する
- Authors: Benedict Clark, Marta Oliveira, Rick Wilming, Stefan Haufe,
- Abstract要約: 情報化が実際に重要な帰属の主要因であるかどうかは不明である。
我々は2値画像分類タスクの3つの変種に基づいてディープラーニングモデルを訓練した。
重要属性はテスト時の画像構造のサリエンスによって最も強く引き起こされる。
- 参考スコア（独自算出の注目度）: 3.1727713954020937
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Explainable AI (XAI) promises to provide insight into machine learning models' decision processes, where one goal is to identify failures such as shortcut learning. This promise relies on the field's assumption that input features marked as important by an XAI must contain information about the target variable. However, it is unclear whether informativeness is indeed the main driver of importance attribution in practice, or if other data properties such as statistical suppression, novelty at test-time, or high feature salience substantially contribute. To clarify this, we trained deep learning models on three variants of a binary image classification task, in which translucent watermarks are either absent, act as class-dependent confounds, or represent class-independent noise. Results for five popular attribution methods show substantially elevated relative importance in watermarked areas (RIW) for all models regardless of the training setting ($R^2 \geq .45$). By contrast, whether the presence of watermarks is class-dependent or not only has a marginal effect on RIW ($R^2 \leq .03$), despite a clear impact impact on model performance and generalisation ability. XAI methods show similar behaviour to model-agnostic edge detection filters and attribute substantially less importance to watermarks when bright image intensities are encoded by smaller instead of larger feature values. These results indicate that importance attribution is most strongly driven by the salience of image structures at test time rather than statistical associations learned by machine learning models. Previous studies demonstrating successful XAI application should be reevaluated with respect to a possibly spurious concurrency of feature salience and informativeness, and workflows using feature attribution methods as building blocks should be scrutinised.
- Abstract（参考訳）: 説明可能なAI(XAI)は、機械学習モデルの意思決定プロセスに関する洞察を提供する。
この約束は、XAIによって重要視される入力特徴は、ターゲット変数に関する情報を含む必要があるというフィールドの仮定に依存している。
しかし,情報化が実際に重要な帰属要因であるかどうか,あるいは統計的抑制やテスト時の新規性,高機能なサリエンスなど他のデータ特性が寄与するかどうかは不明である。
そこで我々は,半透明な透かしが欠如しているか,クラス依存の欠点として振る舞うか,クラス非依存のノイズを表現するような,2値画像分類タスクの3つの変種に基づくディープラーニングモデルを訓練した。
一般的な5つの属性法の結果, トレーニング条件にかかわらず, ウォーターマーク領域 (RIW) の相対的重要性は著しく高い(R^2 \geq .45$)。
対照的に、透かしの存在がクラス依存であるか否かは、モデル性能と一般化能力に明らかな影響があるにもかかわらず、RIW(R^2 \leq .03$)に限界効果がある。
XAI法はモデルに依存しないエッジ検出フィルタと同じような振る舞いを示し、明るい画像強度が大きな特徴値ではなく小さい値で符号化される場合、透かしの重要性は著しく低い。
これらの結果は、機械学習モデルによって学習された統計的関連性よりも、テスト時の画像構造のサリエンスに最も強く寄与していることを示している。
XAIアプリケーションの成功を実証する以前の研究は、機能サリエンスと情報提供性の潜在的に急激な並行性に関して再評価されるべきであり、ビルディングブロックとして機能属性メソッドを使用したワークフローは、精査されるべきである。
関連論文リスト
- Classes Are Not Equal: An Empirical Study on Image Recognition Fairness [100.36114135663836]
我々は,クラスが等しくないことを実験的に証明し,様々なデータセットにまたがる画像分類モデルにおいて,公平性の問題が顕著であることを示した。
以上の結果から,モデルでは認識が困難であるクラスに対して,予測バイアスが大きくなる傾向が示唆された。
データ拡張および表現学習アルゴリズムは、画像分類のある程度の公平性を促進することにより、全体的なパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2024-02-28T07:54:50Z) - A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。
本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。
提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
論文 参考訳（メタデータ） (2023-11-03T17:29:46Z) - Improving Fairness using Vision-Language Driven Image Augmentation [60.428157003498995]
公平性は、特に顔領域において、ディープラーニングの識別モデルを訓練する際に重要である。
モデルは、特定の特性(年齢や肌の色など)と無関係な属性(下流タスク)を関連付ける傾向がある
本稿では,これらの相関を緩和し,公平性を向上する手法を提案する。
論文 参考訳（メタデータ） (2023-11-02T19:51:10Z) - Metric Tools for Sensitivity Analysis with Applications to Neural
Networks [0.0]
説明可能な人工知能(XAI)は、機械学習モデルによる予測の解釈を提供することを目的としている。
本稿では,計量手法を用いてMLモデルの感性を研究するための理論的枠組みを提案する。
$alpha$-curvesと呼ばれる新しいメトリクスの完全なファミリーが抽出される。
論文 参考訳（メタデータ） (2023-05-03T18:10:21Z) - BASED-XAI: Breaking Ablation Studies Down for Explainable Artificial
Intelligence [1.2948254191169823]
様々な摂動が、潜在的に欠陥のある結論を避けるのにどのように役立つかを示す。
また,ホック後の説明可能性とアブレーション研究において,カテゴリー変数の扱いが重要であることも明らかにした。
論文 参考訳（メタデータ） (2022-07-12T14:38:37Z) - Measuring Self-Supervised Representation Quality for Downstream
Classification using Discriminative Features [56.89813105411331]
我々は,SimCLR,SwaV,MoCo,BYOL,DINO,SimSiam,VICReg,Barlow Twinsといった最先端の自己教師型モデルの表現空間について検討した。
本稿では,標本が誤分類される可能性を確実に予測できる教師なしスコアである自己監督表現品質スコア(Qスコア)を提案する。
Q-Score正規化による微調整により、SSLモデルの線形探索精度はImageNet-100で5.8%、ImageNet-1Kで3.7%向上する。
論文 参考訳（メタデータ） (2022-03-03T17:48:23Z) - Investigating Power laws in Deep Representation Learning [4.996066540156903]
本研究では,非ラベルデータセットにおける表現の質を評価するためのフレームワークを提案する。
表現学習に影響を与える3つの重要な属性に対して、電力法則の係数$alpha$を推定する。
特に$alpha$はラベルの知識のない表現から計算可能であり、非ラベル付きデータセットにおける表現の質を評価するためのフレームワークを提供する。
論文 参考訳（メタデータ） (2022-02-11T18:11:32Z) - A Practical Tutorial on Explainable AI Techniques [5.671062637797752]
このチュートリアルは、コンピュータサイエンスのバックグラウンドを持つすべての読者にとって、手書きの教科書となることを意図している。
機械学習モデルの直感的な洞察を得ることを目標としている。
論文 参考訳（メタデータ） (2021-11-13T17:47:31Z) - Don't Forget to Sign the Gradients! [60.98885980669777]
GradSignsはディープニューラルネットワーク(DNN)のための新しい透かしフレームワーク
深部ニューラルネットワーク(DNN)のための新しい透かしフレームワークであるGradSignsを紹介します。
論文 参考訳（メタデータ） (2021-03-05T14:24:32Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳（メタデータ） (2020-12-08T18:03:21Z) - Value-driven Hindsight Modelling [68.658900923595]
値推定は強化学習(RL)パラダイムの重要な構成要素である。
モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。
この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。
これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
論文 参考訳（メタデータ） (2020-02-19T18:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。