論文の概要: Human-in-the-loop model explanation via verbatim boundary identification
in generated neighborhoods
- arxiv url: http://arxiv.org/abs/2106.13093v1
- Date: Thu, 24 Jun 2021 15:24:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-25 18:27:19.365205
- Title: Human-in-the-loop model explanation via verbatim boundary identification
in generated neighborhoods
- Title（参考訳）: 生成した近傍における言語的境界同定によるループ内人間モデルの説明
- Authors: Xianlong Zeng, Fanghao Song, Zhongen Li, Krerkkiat Chusap, Chang Liu
- Abstract要約: 機械学習モデルのブラックボックスの性質は、ケースクリティカルなアプリケーションでの使用を制限する。
本稿では,動詞の近傍表現を用いた機械学習モデルを説明するために,人間とループのアプローチを提案する。
- 参考スコア（独自算出の注目度）: 2.890814607664727
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The black-box nature of machine learning models limits their use in
case-critical applications, raising faithful and ethical concerns that lead to
trust crises. One possible way to mitigate this issue is to understand how a
(mispredicted) decision is carved out from the decision boundary. This paper
presents a human-in-the-loop approach to explain machine learning models using
verbatim neighborhood manifestation. Contrary to most of the current
eXplainable Artificial Intelligence (XAI) systems, which provide hit-or-miss
approximate explanations, our approach generates the local decision boundary of
the given instance and enables human intelligence to conclude the model
behavior. Our method can be divided into three stages: 1) a neighborhood
generation stage, which generates instances based on the given sample; 2) a
classification stage, which yields classifications on the generated instances
to carve out the local decision boundary and delineate the model behavior; and
3) a human-in-the-loop stage, which involves human to refine and explore the
neighborhood of interest. In the generation stage, a generative model is used
to generate the plausible synthetic neighbors around the given instance. After
the classification stage, the classified neighbor instances provide a
multifaceted understanding of the model behavior. Three intervention points are
provided in the human-in-the-loop stage, enabling humans to leverage their own
intelligence to interpret the model behavior. Several experiments on two
datasets are conducted, and the experimental results demonstrate the potential
of our proposed approach for boosting human understanding of the complex
machine learning model.
- Abstract（参考訳）: 機械学習モデルのブラックボックスの性質は、ケースクリティカルなアプリケーションでの使用を制限し、信頼の危機につながる忠実で倫理的な懸念を提起する。
この問題を軽減する1つの可能な方法は、(誤った)決定が意思決定の境界からどのように削られるかを理解することである。
本稿では,動詞の近傍表現を用いた機械学習モデルの説明手法を提案する。
現在のeXplainable Artificial Intelligence(XAI)システムの多くとは対照的に,本手法は与えられたインスタンスの局所的な決定境界を生成し,人間の知能によるモデル動作の結論を可能にする。
1) 与えられたサンプルに基づいてインスタンスを生成する近傍生成段階, 2) 生成されたインスタンスの分類を行い, 局所的な決定境界を彫り出し, モデル行動を示す分類段階, 3) 人間による利害関係の精錬と探索を伴うヒューマン・イン・ザ・ループ段階の3段階に分けられる。
生成段階では、生成モデルを使用して、所定のインスタンス周辺の可塑性合成近傍を生成する。
分類段階の後、分類された隣接インスタンスはモデルの振る舞いを多面的に理解する。
3つの介入ポイントがヒューマン・イン・ザ・ループの段階で提供され、人間が自身の知性を利用してモデルの振る舞いを解釈できる。
2つのデータセットについていくつかの実験を行い,提案手法が複雑な機械学習モデルの人間の理解を促進する可能性を実証した。
関連論文リスト
- Learning Multiple Probabilistic Decisions from Latent World Model in Autonomous Driving [40.4491758280365]
自己回帰世界モデルは、堅牢な一般化能力を示すが、不確実性モデリングや自己導出が不十分なため、行動の導出に困難に直面する。
本研究では,環境の次状態とエゴ車両の動作を混合分布としてモデル化するフレームワークであるLatentDriverを提案する。
LatentDriverは最先端の強化学習と模倣学習を超越し、エキスパートレベルのパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-09-24T04:26:24Z) - Finding Patterns in Ambiguity: Interpretable Stress Testing in the Decision~Boundary [3.66599628097164]
本稿では,深層二元分類器の解釈可能性を高める新しい手法を提案する。
決定境界から代表サンプルを選択し,モデル後説明アルゴリズムを適用した。
私たちの研究は、信頼性の高い機械学習システムの開発と展開に寄与します。
論文 参考訳（メタデータ） (2024-08-12T17:14:41Z) - Neural Lineage [56.34149480207817]
本稿では,親子間の系統関係の発見を目的としたニューラルライン検出という新しいタスクを提案する。
実用上,ニューラルネットワーク表現類似度指標に微調整プロセスの近似を組み込んだ学習自由アプローチを導入する。
精度を追求するために,エンコーダと変圧器検出器からなる学習系系統検出装置を導入する。
論文 参考訳（メタデータ） (2024-06-17T01:11:53Z) - Closely Interactive Human Reconstruction with Proxemics and Physics-Guided Adaption [64.07607726562841]
既存の人間再建アプローチは主に、正確なポーズの回復や侵入を避けることに焦点を当てている。
本研究では,モノクロ映像から密に対話的な人間を再構築する作業に取り組む。
本稿では,視覚情報の欠如を補うために,確率的行動や物理からの知識を活用することを提案する。
論文 参考訳（メタデータ） (2024-04-17T11:55:45Z) - Representation Surgery: Theory and Practice of Affine Steering [72.61363182652853]
言語モデルは、しばしば好ましくない振る舞いを示す。
モデルが望ましくない振る舞いを示すのを防ぐための自然な(そして一般的な)アプローチの1つは、モデルの表現を操ることである。
本稿では, ステアリング機能の形式的および経験的特性について検討する。
論文 参考訳（メタデータ） (2024-02-15T00:20:30Z) - Imitating Human Behaviour with Diffusion Models [25.55215280101109]
拡散モデルはテキスト・ツー・イメージ領域において強力な生成モデルとして出現している。
本稿では, 連続した環境下での人間の行動を模倣する観察行動モデルとしての利用について検討する。
論文 参考訳（メタデータ） (2023-01-25T16:31:05Z) - When and How to Fool Explainable Models (and Humans) with Adversarial
Examples [1.439518478021091]
説明可能な機械学習モデルに対する敵攻撃の可能性と限界について検討する。
まず、逆例の概念を拡張して、説明可能な機械学習シナリオに適合する。
次に、説明可能なモデルに対して、逆例を生成できるかどうかを総合的に検討する枠組みを提案する。
論文 参考訳（メタデータ） (2021-07-05T11:20:55Z) - Dissecting Generation Modes for Abstractive Summarization Models via
Ablation and Attribution [34.2658286826597]
本稿では,要約モデル決定を解釈する2段階の手法を提案する。
まず、各デコーダ決定を複数の生成モードの1つに分類するために、モデル全体を非難することでモデルの振舞いを解析する。
入力に依存する決定を分離した後、いくつかの異なる帰属法を用いてこれらの決定を解釈する。
論文 参考訳（メタデータ） (2021-06-03T00:54:16Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳（メタデータ） (2021-03-18T12:57:34Z) - On the Transferability of Adversarial Attacksagainst Neural Text
Classifier [121.6758865857686]
テキスト分類モデルの逆例の転送可能性について検討する。
本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。
これらの逆例からモデル診断に使用できる単語置換規則を導出する。
論文 参考訳（メタデータ） (2020-11-17T10:45:05Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳（メタデータ） (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。