論文の概要: Saliency Cards: A Framework to Characterize and Compare Saliency Methods

• arxiv url: http://arxiv.org/abs/2206.02958v2
• Date: Tue, 30 May 2023 20:17:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 04:42:28.074482
• Title: Saliency Cards: A Framework to Characterize and Compare Saliency Methods
• Title（参考訳）: Saliency Cards: Saliencyメソッドの特徴付けと比較のためのフレームワーク
• Authors: Angie Boggust, Harini Suresh, Hendrik Strobelt, John V. Guttag, Arvind Satyanarayan
• Abstract要約: Saliencyメソッドは、各入力機能がモデルの出力に対してどれだけ重要かを計算する。 既存のアプローチでは、多様なユーザニーズを考慮しない唾液度メソッドに対して、普遍的なデシラタを仮定している。 サリエンシカード(Saliency Card)は、サリエンシメソッドの動作とパフォーマンスに関する構造化されたドキュメントである。
• 参考スコア（独自算出の注目度）: 34.38335172204263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Saliency methods are a common class of machine learning interpretability techniques that calculate how important each input feature is to a model's output. We find that, with the rapid pace of development, users struggle to stay informed of the strengths and limitations of new methods and, thus, choose methods for unprincipled reasons (e.g., popularity). Moreover, despite a corresponding rise in evaluation metrics, existing approaches assume universal desiderata for saliency methods (e.g., faithfulness) that do not account for diverse user needs. In response, we introduce saliency cards: structured documentation of how saliency methods operate and their performance across a battery of evaluative metrics. Through a review of 25 saliency method papers and 33 method evaluations, we identify 10 attributes that users should account for when choosing a method. We group these attributes into three categories that span the process of computing and interpreting saliency: methodology, or how the saliency is calculated; sensitivity, or the relationship between the saliency and the underlying model and data; and, perceptibility, or how an end user ultimately interprets the result. By collating this information, saliency cards allow users to more holistically assess and compare the implications of different methods. Through nine semi-structured interviews with users from various backgrounds, including researchers, radiologists, and computational biologists, we find that saliency cards provide a detailed vocabulary for discussing individual methods and allow for a more systematic selection of task-appropriate methods. Moreover, with saliency cards, we are able to analyze the research landscape in a more structured fashion to identify opportunities for new methods and evaluation metrics for unmet user needs.
• Abstract（参考訳）: Saliency Methodは、モデルの出力に対する各入力機能がどれだけ重要かを計算する機械学習の解釈可能性テクニックの一般的なクラスである。 私たちは、急速な開発ペースで、新しい方法の長所と限界を知らしめるのに苦労し、その結果、予期せぬ理由(例えば人気)の方法を選ぶことがわかりました。 さらに,評価指標の上昇にも拘わらず,既存のアプローチでは,多様なユーザニーズを考慮しないサリエンシ手法(忠実性など)の普遍的なデシラタを前提としている。 これに応答して、私たちはsaliency cardを紹介します。saliencyメソッドの動作方法とそれらのパフォーマンスに関する構造化ドキュメンテーション。 25紙と33本の方法評価のレビューを通じて,提案手法を選択する際,ユーザが考慮すべき属性を10個同定する。 我々は,これらの属性を3つのカテゴリに分類し,その特性をコンピュータのプロセスにまたがってサリエンシーを解釈する:方法論,あるいはサリエンシーの計算方法,感度,あるいはサリエンシーと基礎となるモデルとデータの関係,そしてパーセプティビリティ,最終的にエンドユーザが結果をどのように解釈するか。 この情報を照合することで、ユーザーは様々な方法の影響をより全体的に評価し比較することができる。 研究者や放射線学者、計算生物学者など、さまざまなバックグラウンドを持つユーザとの9つの半構造化インタビューを通じて、サリエンシーカードは個々の方法を議論するための詳細な語彙を提供し、タスクに適した方法をより体系的に選択できることがわかった。 さらに,saliency cardを使えば,より構造化された方法で研究環境を分析し,ユーザニーズに適合しない新しい手法や評価指標の機会を特定することができる。

関連論文リスト

• Identifying Reasons for Bias: An Argumentation-Based Approach [2.9465623430708905]
  そこで本研究では, 類似した個人と比較して, 個人が別々に分類される理由を決定するための, モデルに依存しない議論に基づく新しい手法を提案する。 フェアネス文献でよく用いられる2つのデータセットを用いて本手法の評価を行い,バイアスの同定に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-25T09:47:15Z)
• Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
  論文  参考訳（メタデータ） (2023-03-21T14:24:58Z)
• Reinforced Labels: Multi-Agent Deep Reinforcement Learning for Point-Feature Label Placement [0.0]
  データビジュアライゼーションにおける複雑なタスクである配置のラベル付けにReinforcement Learning(RL)を導入する。 提案手法は,多エージェント深層強化学習を用いてラベル配置戦略を学習する。 提案手法により訓練された戦略は,未学習エージェントのランダムな戦略よりも有意に優れていた。
  論文  参考訳（メタデータ） (2023-03-02T16:18:00Z)
• Using Active Learning Methods to Strategically Select Essays for Automated Scoring [0.0]
  本研究の目的は,3つのアクティブラーニング手法を記述し,評価することである。 3つのアクティブな学習方法は不確実性に基づく、トポロジに基づく、ハイブリッドな方法である。 これら3つの手法はいずれも強い結果をもたらし、トポロジカルな手法は最も効率的な分類を生み出した。
  論文  参考訳（メタデータ） (2023-01-02T12:46:10Z)
• Towards Better Understanding Attribution Methods [77.1487219861185]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
  論文  参考訳（メタデータ） (2022-05-20T20:50:17Z)
• Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or Something Else? [93.91375268580806]
  政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。 既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。 既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
  論文  参考訳（メタデータ） (2021-11-09T13:30:34Z)
• Towards Improved and Interpretable Deep Metric Learning via Attentive Grouping [103.71992720794421]
  グループ化は、様々な特徴の計算にディープ・メトリック・ラーニングでよく用いられてきた。 本稿では,任意のメトリクス学習フレームワークと柔軟に統合可能な,改良された解釈可能なグループ化手法を提案する。
  論文  参考訳（メタデータ） (2020-11-17T19:08:24Z)
• There and Back Again: Revisiting Backpropagation Saliency Methods [87.40330595283969]
  正当性法は,各入力サンプルの重要度マップを作成することによって,モデルの予測を説明する。 このような手法の一般的なクラスは、信号のバックプロパゲートと結果の勾配の分析に基づいている。 本稿では,そのような手法を統一可能な単一のフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:58:08Z)
• PONE: A Novel Automatic Evaluation Metric for Open-Domain Generative Dialogue Systems [48.99561874529323]
  オープンドメイン生成対話システムの評価には3つの方法がある。 体系的な比較が欠如しているため、どの指標がより効果的であるかは明らかでない。 本稿では,人間の判断との相関性を大幅に改善できる,新しい,実現可能な学習基準を提案する。
  論文  参考訳（メタデータ） (2020-04-06T04:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。