論文の概要: Auditing Local Explanations is Hard

• arxiv url: http://arxiv.org/abs/2407.13281v1
• Date: Thu, 18 Jul 2024 08:34:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 16:22:32.109552
• Title: Auditing Local Explanations is Hard
• Title（参考訳）: ローカルな説明の監査は難しい
• Authors: Robi Bhattacharjee, Ulrike von Luxburg,
• Abstract要約: 本研究では,第三者監査官やユーザ集団が健全性検査を行う監査フレームワークについて検討する。 監査人がこのフレームワーク内で成功するために必要なクエリの量について、上位と下位のバウンダリを証明します。 以上の結果から,複雑な高次元設定では,ポイントワイドな予測と説明が不十分である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 14.172657936593582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In sensitive contexts, providers of machine learning algorithms are increasingly required to give explanations for their algorithms' decisions. However, explanation receivers might not trust the provider, who potentially could output misleading or manipulated explanations. In this work, we investigate an auditing framework in which a third-party auditor or a collective of users attempts to sanity-check explanations: they can query model decisions and the corresponding local explanations, pool all the information received, and then check for basic consistency properties. We prove upper and lower bounds on the amount of queries that are needed for an auditor to succeed within this framework. Our results show that successful auditing requires a potentially exorbitant number of queries -- particularly in high dimensional cases. Our analysis also reveals that a key property is the ``locality'' of the provided explanations -- a quantity that so far has not been paid much attention to in the explainability literature. Looking forward, our results suggest that for complex high-dimensional settings, merely providing a pointwise prediction and explanation could be insufficient, as there is no way for the users to verify that the provided explanations are not completely made-up.
• Abstract（参考訳）: センシティブな文脈では、機械学習アルゴリズムのプロバイダは、アルゴリズムの決定を説明するためにますます必要となる。 しかし、説明レシーバーはプロバイダを信頼せず、誤解を招くか、操作された説明を出力する可能性がある。 本研究では,サードパーティの監査官やユーザ集団が,モデル決定と対応するローカル説明を問合せ,受信した情報をすべてプールし,基本的整合性を確認するという,健全性チェックを試みている監査フレームワークについて検討する。 監査人がこのフレームワーク内で成功するために必要なクエリの量について、上位と下位のバウンダリを証明します。 この結果から,特に高次元の場合において,監査を成功させるには,潜在的に過剰なクエリ数が必要であることが示唆された。分析の結果,提案された説明の「局所性」という重要な特性が説明可能性の文献であまり注目されていない量であることが判明した。 今後, 複雑な高次元設定では, ポイントワイドな予測や説明が不十分である可能性が示唆されている。

関連論文リスト

• Building Interpretable and Reliable Open Information Retriever for New Domains Overnight [67.03842581848299]
  情報検索は、オープンドメイン質問応答(QA)など、多くのダウンストリームタスクにとって重要な要素である。 本稿では、エンティティ/イベントリンクモデルとクエリ分解モデルを用いて、クエリの異なる情報単位により正確にフォーカスする情報検索パイプラインを提案する。 より解釈可能で信頼性が高いが,提案したパイプラインは,5つのIRおよびQAベンチマークにおける通過カバレッジと記述精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-09T07:47:17Z)
• Rethinking Complex Queries on Knowledge Graphs with Neural Link Predictors [58.340159346749964]
  本稿では,証明可能な推論能力を備えた複雑なクエリを用いたエンドツーエンド学習を支援するニューラルシンボリック手法を提案する。 これまでに検討されていない10種類の新しいクエリを含む新しいデータセットを開発する。 提案手法は,新しいデータセットにおいて先行手法を著しく上回り,既存データセットにおける先行手法を同時に上回っている。
  論文  参考訳（メタデータ） (2023-04-14T11:35:35Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• Interpretable by Design: Learning Predictors by Composing Interpretable Queries [8.054701719767293]
  機械学習アルゴリズムは設計によって解釈されるべきである。 正確な予測に必要なクエリの数を最小限に抑える。 視覚とNLPタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2022-07-03T02:40:34Z)
• XAudit : A Theoretical Look at Auditing with Explanations [29.55309950026882]
  この研究は、監査における説明の役割を形式化し、モデル説明が監査に役立つかどうかを調査する。 具体的には、線形分類器と決定木を検査し、特徴感度を評価するための説明に基づくアルゴリズムを提案する。 以上の結果から,非現実的説明は監査に極めて有用であることが示唆された。
  論文  参考訳（メタデータ） (2022-06-09T19:19:58Z)
• Re-Examining Human Annotations for Interpretable NLP [80.81532239566992]
  我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。 我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。 以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
  論文  参考訳（メタデータ） (2022-04-10T02:27:30Z)
• Generating Fluent Fact Checking Explanations with Unsupervised Post-Editing [22.5444107755288]
  本稿では,句レベルの編集のみを用いて,支配コメントの教師なし後編集を行う反復編集アルゴリズムを提案する。 本モデルでは, 流動性, 可読性, 非冗長性, 事実チェックのための重要な情報をカバーする説明文を生成する。
  論文  参考訳（メタデータ） (2021-12-13T15:31:07Z)
• Counterfactual Explanations Can Be Manipulated [40.78019510022835]
  反事実的説明の脆弱性を記述した最初のフレームワークを紹介し,その操作方法を示す。 反事実的説明は、それらが堅牢でないことを示す小さな摂動の下で、大きく異なる反事実に収束する可能性がある。 これらのモデルが、監査者に対して公正に見せながら、データ内の特定のサブグループに対して、不公平に低コストなリコースを提供する方法について説明する。
  論文  参考訳（メタデータ） (2021-06-04T18:56:15Z)
• Human Evaluation of Spoken vs. Visual Explanations for Open-Domain QA [22.76153284711981]
  本研究は,ODQAシステムの回答をいつ受理するか,拒否するかをユーザが正確に判断するのに役立つかを検討する。 その結果,得られたエビデンスパスから得られた説明は,モダリティ間で強いベースライン(校正信頼度)を上回る可能性が示唆された。 我々は,現在の説明に共通する障害事例を示し,説明のエンドツーエンド評価を強調し,デプロイと異なるプロキシモダリティで評価することを警告する。
  論文  参考訳（メタデータ） (2020-12-30T08:19:02Z)
• Brain-inspired Search Engine Assistant based on Knowledge Graph [53.89429854626489]
  developerbotは脳にインスパイアされた、knowledge graphの名前の検索エンジンアシスタントだ。 複雑なマルチ制約クエリを複数の順序制約に分割することで、多層クエリグラフを構築する。 次に、制約推論プロセスを認知科学の拡散活性化モデルに触発されたサブグラフ探索プロセスとしてモデル化する。
  論文  参考訳（メタデータ） (2020-12-25T06:36:11Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。