論文の概要: A Typology to Explore and Guide Explanatory Interactive Machine Learning
- arxiv url: http://arxiv.org/abs/2203.03668v1
- Date: Fri, 4 Mar 2022 14:16:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-10 11:45:09.904878
- Title: A Typology to Explore and Guide Explanatory Interactive Machine Learning
- Title（参考訳）: 解説型対話型機械学習の探索と指導のためのタイポロジー
- Authors: Felix Friedrich, Wolfgang Stammer, Patrick Schramowski, Kristian
Kersting
- Abstract要約: これまでのところ、これらの作品の包括的な評価は行われていない。
私たちの研究は、はじめて、様々な手法を一つの型にまとめました。
したがって、この型は、特定されたモジュールに基づいて既存の XIL メソッドと将来の XIL メソッドを分類するのに使うことができる。
- 参考スコア（独自算出の注目度）: 21.645935518842744
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, more and more eXplanatory Interactive machine Learning (XIL)
methods have been proposed with the goal of extending a model's learning
process by integrating human user supervision on the model's explanations.
These methods were often developed independently, provide different motivations
and stem from different applications. Notably, up to now, there has not been a
comprehensive evaluation of these works. By identifying a common set of basic
modules and providing a thorough discussion of these modules, our work, for the
first time, comes up with a unification of the various methods into a single
typology. This typology can thus be used to categorize existing and future XIL
methods based on the identified modules. Moreover, our work contributes by
surveying six existing XIL methods. In addition to benchmarking these methods
on their overall ability to revise a model, we perform additional benchmarks
regarding wrong reason revision, interaction efficiency, robustness to feedback
quality, and the ability to revise a strongly corrupted model. Apart from
introducing these novel benchmarking tasks, for improved quantitative
evaluations, we further introduce a novel Wrong Reason (\wrnospace) metric
which measures the average wrong reason activation in a model's explanations to
complement a qualitative inspection. In our evaluations, all methods prove to
revise a model successfully. However, we found significant differences between
the methods on individual benchmark tasks, revealing valuable
application-relevant aspects not only for comparing current methods but also to
motivate the necessity of incorporating these benchmarks in the development of
future XIL methods.
- Abstract（参考訳）: 近年,モデルの説明に人的ユーザの監督を統合することで,モデルの学習プロセスを拡張することを目的として,eXplanatory Interactive Machine Learning (XIL) 手法がますます多く提案されている。
これらの手法はしばしば独立して開発され、異なるモチベーションと異なる応用から生じている。
これまでにこれらの作品の総合的な評価は行われていない。
共通する基本モジュールの集合を特定し、これらのモジュールについて徹底的な議論を行うことで、我々の研究は初めて、様々なメソッドを単一のタイプロジーに統一する。
この型は、特定されたモジュールに基づいて既存のXILメソッドと将来のXILメソッドを分類するために使用できる。
さらに,既存の6つのXIL法を調査した。
モデル変更の全体的な能力に関するこれらの手法のベンチマークに加えて、誤った理由修正、インタラクション効率、フィードバック品質に対する堅牢性、強弱に破損したモデル修正能力に関する追加ベンチマークを実行します。
定量的評価を改善するために、これらの新しいベンチマークタスクを導入するのとは別に、定性検査を補完するモデルの説明において、平均的な誤った理由のアクティベーションを測定する新しいWrong Reason(\wrnospace)メトリクスを導入する。
評価では、全ての手法がモデルの再検討を成功に導く。
しかし,ベンチマークタスクごとに有意な差異を認め,現在の手法を比較するだけでなく,将来のxil手法の開発においてこれらのベンチマークを組み込むことの必要性も明らかにした。
関連論文リスト
- Enhancing binary classification: A new stacking method via leveraging computational geometry [5.906199156511947]
本稿では,計算幾何学的手法,特に最大重み付き矩形問題の解法を統合した新しいメタモデルを提案する。
本手法は複数のオープンデータセットを用いて評価し,その安定性と精度の向上を示す統計解析を行った。
本手法は, アンサンブル学習の積み重ねだけでなく, 病院の健康評価評価や銀行信用評価システムなど, 様々な実世界の応用にも応用できる。
論文 参考訳（メタデータ） (2024-10-30T06:11:08Z) - Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。
これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
論文 参考訳（メタデータ） (2024-08-14T16:58:48Z) - A Survey on Model MoErging: Recycling and Routing Among Specialized Experts for Collaborative Learning [136.89318317245855]
MoErgingは、専門家のモデルをリサイクルして、パフォーマンスや一般化を改善した集約システムを構築することを目的としている。
MoErgingメソッドの重要なコンポーネントは、特定の入力やアプリケーションに使用する専門家モデルを決定するルータの作成である。
このサーベイには、キーデザインの選択をカタログ化し、各手法に適した適用方法を明確にするための新しい分類が含まれている。
論文 参考訳（メタデータ） (2024-08-13T17:49:00Z) - POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation [76.67608003501479]
主評価指標の基礎に基づいて計算された領域関連メトリクスの範囲を定義する評価プロトコルを導入・指定する。
このような比較の結果は、様々な最先端のMARL、検索ベース、ハイブリッド手法を含むものである。
論文 参考訳（メタデータ） (2024-07-20T16:37:21Z) - EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods [1.6383837447674294]
本稿では、初期ベンチマークプラットフォームにおいて、様々なベンチマークデータセットと新しいパフォーマンス指標をまとめる。
我々のデータセットには、クラス条件の特徴に対する真実の説明が組み込まれています。
このプラットフォームは、それらが生成する説明の品質において、ポストホックなXAIメソッドのパフォーマンスを評価する。
論文 参考訳（メタデータ） (2024-05-20T14:16:06Z) - Experimental Analysis of Large-scale Learnable Vector Storage
Compression [42.52474894105165]
学習可能な埋め込みベクトルは、機械学習において最も重要な応用の1つである。
推薦タスクにおけるスパースデータの高次元性と検索関連タスクにおける大量のコーパスは、埋め込みテーブルのメモリ消費を増大させる。
近年の研究では, モデル品質の低下や, その他のオーバーヘッドを伴って, 埋め込みを圧縮する方法が提案されている。
論文 参考訳（メタデータ） (2023-11-27T07:11:47Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳（メタデータ） (2022-10-06T00:33:01Z) - On the role of benchmarking data sets and simulations in method
comparison studies [0.0]
本稿では,シミュレーション研究とベンチマーク研究の相違点と類似点について検討する。
混合手法研究や臨床シナリオ評価など,さまざまな文脈からアイデアを借りる。
論文 参考訳（メタデータ） (2022-08-02T13:47:53Z) - EASY: Ensemble Augmented-Shot Y-shaped Learning: State-Of-The-Art
Few-Shot Classification with Simple Ingredients [2.0935101589828244]
1つ以上のディープラーニングモデルで学習した知識を活用することを目的として,新しい問題に対する優れた分類性能を得る。
フィールドの標準化された複数のベンチマークで、アートパフォーマンスの状態を達成または打ち負かすような、シンプルな手法を提案する。
論文 参考訳（メタデータ） (2022-01-24T14:08:23Z) - A Survey on Deep Semi-supervised Learning [51.26862262550445]
まず,既存の手法を分類した深層半指導学習の分類法を提案する。
次に、損失の種類、貢献度、アーキテクチャの違いの観点から、これらのメソッドを詳細に比較します。
論文 参考訳（メタデータ） (2021-02-28T16:22:58Z) - Evaluating the Disentanglement of Deep Generative Models through
Manifold Topology [66.06153115971732]
本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。
複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
論文 参考訳（メタデータ） (2020-06-05T20:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。