論文の概要: A Typology to Explore and Guide Explanatory Interactive Machine Learning
- arxiv url: http://arxiv.org/abs/2203.03668v1
- Date: Fri, 4 Mar 2022 14:16:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-10 11:45:09.904878
- Title: A Typology to Explore and Guide Explanatory Interactive Machine Learning
- Title(参考訳): 解説型対話型機械学習の探索と指導のためのタイポロジー
- Authors: Felix Friedrich, Wolfgang Stammer, Patrick Schramowski, Kristian
Kersting
- Abstract要約: これまでのところ、これらの作品の包括的な評価は行われていない。
私たちの研究は、はじめて、様々な手法を一つの型にまとめました。
したがって、この型は、特定されたモジュールに基づいて既存の XIL メソッドと将来の XIL メソッドを分類するのに使うことができる。
- 参考スコア(独自算出の注目度): 21.645935518842744
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, more and more eXplanatory Interactive machine Learning (XIL)
methods have been proposed with the goal of extending a model's learning
process by integrating human user supervision on the model's explanations.
These methods were often developed independently, provide different motivations
and stem from different applications. Notably, up to now, there has not been a
comprehensive evaluation of these works. By identifying a common set of basic
modules and providing a thorough discussion of these modules, our work, for the
first time, comes up with a unification of the various methods into a single
typology. This typology can thus be used to categorize existing and future XIL
methods based on the identified modules. Moreover, our work contributes by
surveying six existing XIL methods. In addition to benchmarking these methods
on their overall ability to revise a model, we perform additional benchmarks
regarding wrong reason revision, interaction efficiency, robustness to feedback
quality, and the ability to revise a strongly corrupted model. Apart from
introducing these novel benchmarking tasks, for improved quantitative
evaluations, we further introduce a novel Wrong Reason (\wrnospace) metric
which measures the average wrong reason activation in a model's explanations to
complement a qualitative inspection. In our evaluations, all methods prove to
revise a model successfully. However, we found significant differences between
the methods on individual benchmark tasks, revealing valuable
application-relevant aspects not only for comparing current methods but also to
motivate the necessity of incorporating these benchmarks in the development of
future XIL methods.
- Abstract(参考訳): 近年,モデルの説明に人的ユーザの監督を統合することで,モデルの学習プロセスを拡張することを目的として,eXplanatory Interactive Machine Learning (XIL) 手法がますます多く提案されている。
これらの手法はしばしば独立して開発され、異なるモチベーションと異なる応用から生じている。
これまでにこれらの作品の総合的な評価は行われていない。
共通する基本モジュールの集合を特定し、これらのモジュールについて徹底的な議論を行うことで、我々の研究は初めて、様々なメソッドを単一のタイプロジーに統一する。
この型は、特定されたモジュールに基づいて既存のXILメソッドと将来のXILメソッドを分類するために使用できる。
さらに,既存の6つのXIL法を調査した。
モデル変更の全体的な能力に関するこれらの手法のベンチマークに加えて、誤った理由修正、インタラクション効率、フィードバック品質に対する堅牢性、強弱に破損したモデル修正能力に関する追加ベンチマークを実行します。
定量的評価を改善するために、これらの新しいベンチマークタスクを導入するのとは別に、定性検査を補完するモデルの説明において、平均的な誤った理由のアクティベーションを測定する新しいWrong Reason(\wrnospace)メトリクスを導入する。
評価では、全ての手法がモデルの再検討を成功に導く。
しかし,ベンチマークタスクごとに有意な差異を認め,現在の手法を比較するだけでなく,将来のxil手法の開発においてこれらのベンチマークを組み込むことの必要性も明らかにした。
関連論文リスト
- Experimental Analysis of Large-scale Learnable Vector Storage
Compression [42.52474894105165]
学習可能な埋め込みベクトルは、機械学習において最も重要な応用の1つである。
推薦タスクにおけるスパースデータの高次元性と検索関連タスクにおける大量のコーパスは、埋め込みテーブルのメモリ消費を増大させる。
近年の研究では, モデル品質の低下や, その他のオーバーヘッドを伴って, 埋め込みを圧縮する方法が提案されている。
論文 参考訳(メタデータ) (2023-11-27T07:11:47Z) - Knowledge-Guided Additive Modeling For Supervised Regression [6.600299648478795]
本稿では,パラメトリックな物理項と機械学習の項を付加的に組み合わせたハイブリッド手法に着目し,モデルに依存しない訓練手順について検討する。
ツリーベースモデルや人工ニューラルネットワークなど、さまざまなタイプの機械学習モデルで実験が実施されている。
論文 参考訳(メタデータ) (2023-07-05T12:13:56Z) - Better Understanding Differences in Attribution Methods via Systematic
Evaluations [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文 参考訳(メタデータ) (2023-03-21T14:24:58Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - On the role of benchmarking data sets and simulations in method
comparison studies [0.0]
本稿では,シミュレーション研究とベンチマーク研究の相違点と類似点について検討する。
混合手法研究や臨床シナリオ評価など,さまざまな文脈からアイデアを借りる。
論文 参考訳(メタデータ) (2022-08-02T13:47:53Z) - EASY: Ensemble Augmented-Shot Y-shaped Learning: State-Of-The-Art
Few-Shot Classification with Simple Ingredients [2.0935101589828244]
1つ以上のディープラーニングモデルで学習した知識を活用することを目的として,新しい問題に対する優れた分類性能を得る。
フィールドの標準化された複数のベンチマークで、アートパフォーマンスの状態を達成または打ち負かすような、シンプルな手法を提案する。
論文 参考訳(メタデータ) (2022-01-24T14:08:23Z) - FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural
Language Understanding [89.92513889132825]
本稿では,従来の評価手順を,テスト性能,開発-テスト相関,安定性の3つの重要な側面で改善する評価フレームワークを提案する。
評価フレームワークを実装したツールキットFewNLUと、最先端のメソッドをオープンソースとして公開しています。
論文 参考訳(メタデータ) (2021-09-27T00:57:30Z) - A Survey on Deep Semi-supervised Learning [51.26862262550445]
まず,既存の手法を分類した深層半指導学習の分類法を提案する。
次に、損失の種類、貢献度、アーキテクチャの違いの観点から、これらのメソッドを詳細に比較します。
論文 参考訳(メタデータ) (2021-02-28T16:22:58Z) - A Brief Introduction to Generative Models [8.031257560764336]
我々は、機械学習の中心課題として生成モデリングを導入し、動機づける。
KL-発散の最小化としてどのように解釈できるかを概説する。
本稿では,推定分布と実データ分布の差異を考察する代替逆アプローチを検討する。
論文 参考訳(メタデータ) (2021-02-27T16:49:41Z) - Evaluating the Disentanglement of Deep Generative Models through
Manifold Topology [66.06153115971732]
本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。
複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
論文 参考訳(メタデータ) (2020-06-05T20:54:11Z) - Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。
我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
論文 参考訳(メタデータ) (2020-03-09T20:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。