論文の概要: Benchmarking the Attribution Quality of Vision Models

• arxiv url: http://arxiv.org/abs/2407.11910v1
• Date: Tue, 16 Jul 2024 17:02:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 13:53:50.859672
• Title: Benchmarking the Attribution Quality of Vision Models
• Title（参考訳）: 視覚モデルの属性品質のベンチマーク
• Authors: Robin Hesse, Simone Schaub-Meyer, Stefan Roth,
• Abstract要約: 本稿では,広く使用されているインクリメンタル削除プロトコルの2つの基本的な限界を克服する新しい評価プロトコルを提案する。 これにより、23の帰属手法と8つの異なる視覚モデルの設計選択が帰属品質にどのように影響するかを評価することができる。 本研究は,本質的に説明可能なモデルが標準モデルより優れており,生の帰属値が従来よりも高い帰属品質を示すことを発見した。
• 参考スコア（独自算出の注目度）: 13.255247017616687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attribution maps are one of the most established tools to explain the functioning of computer vision models. They assign importance scores to input features, indicating how relevant each feature is for the prediction of a deep neural network. While much research has gone into proposing new attribution methods, their proper evaluation remains a difficult challenge. In this work, we propose a novel evaluation protocol that overcomes two fundamental limitations of the widely used incremental-deletion protocol, i.e., the out-of-domain issue and lacking inter-model comparisons. This allows us to evaluate 23 attribution methods and how eight different design choices of popular vision models affect their attribution quality. We find that intrinsically explainable models outperform standard models and that raw attribution values exhibit a higher attribution quality than what is known from previous work. Further, we show consistent changes in the attribution quality when varying the network design, indicating that some standard design choices promote attribution quality.
• Abstract（参考訳）: 属性マップはコンピュータビジョンモデルの機能を説明する最も確立されたツールの1つである。 入力された特徴に重要なスコアを割り当て、ディープニューラルネットワークの予測に各機能がどの程度重要かを示す。 多くの研究が新しい帰属法を提案してきたが、それらの適切な評価は依然として難しい課題である。 本研究では,広く使用されているインクリメンタル削除プロトコルの2つの基本的な制限,すなわちドメイン外問題とモデル間比較の欠如を克服する新しい評価プロトコルを提案する。 これにより、23の帰属手法と8つの異なる視覚モデルの設計選択が帰属品質にどのように影響するかを評価することができる。 本研究は,本質的に説明可能なモデルが標準モデルより優れており,生の帰属値が従来よりも高い帰属品質を示すことを発見した。 さらに,ネットワーク設計の変更による属性品質の変化が一貫した結果,標準設計の選択によって属性品質が向上することが示唆された。

関連論文リスト

• Opinion-Unaware Blind Image Quality Assessment using Multi-Scale Deep Feature Statistics [54.08757792080732]
  我々は,事前学習された視覚モデルからの深い特徴を統計的解析モデルと統合して,意見認識のないBIQA(OU-BIQA)を実現することを提案する。 提案モデルは,最先端のBIQAモデルと比較して,人間の視覚的知覚との整合性に優れる。
  論文  参考訳（メタデータ） (2024-05-29T06:09:34Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Adaptive Contextual Perception: How to Generalize to New Backgrounds and Ambiguous Objects [75.15563723169234]
  本研究では,視覚モデルが分布外一般化の文脈をどのように適応的に利用するかを検討する。 1つの設定で優れているモデルは、もう1つの設定で苦労する傾向があります。 生物学的視覚の一般化能力を再現するためには、コンピュータビジョンモデルは背景表現に対して分解対象を持つ必要がある。
  論文  参考訳（メタデータ） (2023-06-09T15:29:54Z)
• Towards Reliable Assessments of Demographic Disparities in Multi-Label Image Classifiers [11.973749734226852]
  マルチラベル画像分類と,特に対象分類タスクについて検討する。 測定のための設計選択とトレードオフは、以前のコンピュータビジョン文学で議論されたよりもニュアンスが高い。 実装の詳細にだけ似ているが、評価の結論に大きな影響を及ぼすいくつかの設計選択を特定します。
  論文  参考訳（メタデータ） (2023-02-16T20:34:54Z)
• Assessing Out-of-Domain Language Model Performance from Few Examples [38.245449474937914]
  ドメイン外性能(OOD)を数ショットで予測するタスクに対処する。 数ショットの例でモデル精度をみると、このタスクのパフォーマンスをベンチマークする。 帰属に基づく要因がOODの相対モデルの性能のランク付けに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-13T04:45:26Z)
• FUNQUE: Fusion of Unified Quality Evaluators [42.41484412777326]
  核融合による品質評価は、高性能な品質モデルを開発するための強力な方法として登場した。 統一品質評価器を融合した品質モデルであるFUNQUEを提案する。
  論文  参考訳（メタデータ） (2022-02-23T00:21:43Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Better Model Selection with a new Definition of Feature Importance [8.914907178577476]
  特徴の重要性は、各入力特徴がモデル予測にとってどれほど重要かを測定することを目的としている。 本稿では,モデル選択のための新しいツリーモデル説明手法を提案する。
  論文  参考訳（メタデータ） (2020-09-16T14:32:22Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。