論文の概要: A Typology for Exploring the Mitigation of Shortcut Behavior
- arxiv url: http://arxiv.org/abs/2203.03668v6
- Date: Thu, 14 Mar 2024 15:25:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-16 03:29:29.805666
- Title: A Typology for Exploring the Mitigation of Shortcut Behavior
- Title(参考訳): ショートカット行動の緩和を探求するタイポロジー
- Authors: Felix Friedrich, Wolfgang Stammer, Patrick Schramowski, Kristian Kersting,
- Abstract要約: 基本モジュールの共通集合を確立することにより,様々なXIL手法を単一型に統一する。
評価では、全ての手法がモデルの再検討を成功に導く。
しかし、個々のベンチマークタスクに顕著な違いが見られ、アプリケーションに関連する重要な側面が明らかになりました。
- 参考スコア(独自算出の注目度): 29.38025128165229
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As machine learning models become increasingly larger, trained weakly supervised on large, possibly uncurated data sets, it becomes increasingly important to establish mechanisms for inspecting, interacting, and revising models to mitigate learning shortcuts and guarantee their learned knowledge is aligned with human knowledge. The recently proposed XIL framework was developed for this purpose, and several such methods have been introduced, each with individual motivations and methodological details. In this work, we provide a unification of various XIL methods into a single typology by establishing a common set of basic modules. In doing so, we pave the way for a principled comparison of existing, but, importantly, also future XIL approaches. In addition, we discuss existing and introduce novel measures and benchmarks for evaluating the overall abilities of a XIL method. Given this extensive toolbox, including our typology, measures, and benchmarks, we finally compare several recent XIL methods methodologically and quantitatively. In our evaluations, all methods prove to revise a model successfully. However, we found remarkable differences in individual benchmark tasks, revealing valuable application-relevant aspects for integrating these benchmarks in developing future methods.
- Abstract(参考訳): 機械学習モデルはますます大きくなり、潜在的に未処理のデータセットに対して弱い教師付きで訓練されるようになると、学習のショートカットを緩和し、学習知識が人間の知識と一致していることを保証するために、モデルを検査、相互作用、修正するためのメカニズムを確立することがますます重要になる。
この目的のために最近提案されたXILフレームワークが開発され、それぞれが個別のモチベーションと方法論の詳細を持ついくつかの手法が導入された。
本研究では,基本モジュールの共通集合を確立することにより,XIL法を単一型に統一する。
そうすることで、私たちは既存の、しかし重要なことに、将来のXILアプローチを原則的に比較する道を開いたのです。
さらに,本研究では,XIL手法の全体的な能力を評価するための新しい尺度とベンチマークについて論じる。
タイポロジーや測定,ベンチマークなど,この広範なツールボックスを考慮に入れた上で,最近のXIL手法を方法論的,定量的に比較した。
我々の評価では、全ての手法がモデルを再修正することを証明している。
しかし、個々のベンチマークタスクに顕著な違いが見られ、これらのベンチマークを将来の手法に組み込む上で、貴重なアプリケーション関連側面が明らかになった。
関連論文リスト
- Enhancing binary classification: A new stacking method via leveraging computational geometry [5.906199156511947]
本稿では,計算幾何学的手法,特に最大重み付き矩形問題の解法を統合した新しいメタモデルを提案する。
本手法は複数のオープンデータセットを用いて評価し,その安定性と精度の向上を示す統計解析を行った。
本手法は, アンサンブル学習の積み重ねだけでなく, 病院の健康評価評価や銀行信用評価システムなど, 様々な実世界の応用にも応用できる。
論文 参考訳(メタデータ) (2024-10-30T06:11:08Z) - Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。
これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
論文 参考訳(メタデータ) (2024-08-14T16:58:48Z) - A Survey on Model MoErging: Recycling and Routing Among Specialized Experts for Collaborative Learning [136.89318317245855]
MoErgingは、専門家のモデルをリサイクルして、パフォーマンスや一般化を改善した集約システムを構築することを目的としている。
MoErgingメソッドの重要なコンポーネントは、特定の入力やアプリケーションに使用する専門家モデルを決定するルータの作成である。
このサーベイには、キーデザインの選択をカタログ化し、各手法に適した適用方法を明確にするための新しい分類が含まれている。
論文 参考訳(メタデータ) (2024-08-13T17:49:00Z) - POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation [76.67608003501479]
主評価指標の基礎に基づいて計算された領域関連メトリクスの範囲を定義する評価プロトコルを導入・指定する。
このような比較の結果は、様々な最先端のMARL、検索ベース、ハイブリッド手法を含むものである。
論文 参考訳(メタデータ) (2024-07-20T16:37:21Z) - EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods [1.6383837447674294]
本稿では、初期ベンチマークプラットフォームにおいて、様々なベンチマークデータセットと新しいパフォーマンス指標をまとめる。
我々のデータセットには、クラス条件の特徴に対する真実の説明が組み込まれています。
このプラットフォームは、それらが生成する説明の品質において、ポストホックなXAIメソッドのパフォーマンスを評価する。
論文 参考訳(メタデータ) (2024-05-20T14:16:06Z) - Experimental Analysis of Large-scale Learnable Vector Storage
Compression [42.52474894105165]
学習可能な埋め込みベクトルは、機械学習において最も重要な応用の1つである。
推薦タスクにおけるスパースデータの高次元性と検索関連タスクにおける大量のコーパスは、埋め込みテーブルのメモリ消費を増大させる。
近年の研究では, モデル品質の低下や, その他のオーバーヘッドを伴って, 埋め込みを圧縮する方法が提案されている。
論文 参考訳(メタデータ) (2023-11-27T07:11:47Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - On the role of benchmarking data sets and simulations in method
comparison studies [0.0]
本稿では,シミュレーション研究とベンチマーク研究の相違点と類似点について検討する。
混合手法研究や臨床シナリオ評価など,さまざまな文脈からアイデアを借りる。
論文 参考訳(メタデータ) (2022-08-02T13:47:53Z) - EASY: Ensemble Augmented-Shot Y-shaped Learning: State-Of-The-Art
Few-Shot Classification with Simple Ingredients [2.0935101589828244]
1つ以上のディープラーニングモデルで学習した知識を活用することを目的として,新しい問題に対する優れた分類性能を得る。
フィールドの標準化された複数のベンチマークで、アートパフォーマンスの状態を達成または打ち負かすような、シンプルな手法を提案する。
論文 参考訳(メタデータ) (2022-01-24T14:08:23Z) - A Survey on Deep Semi-supervised Learning [51.26862262550445]
まず,既存の手法を分類した深層半指導学習の分類法を提案する。
次に、損失の種類、貢献度、アーキテクチャの違いの観点から、これらのメソッドを詳細に比較します。
論文 参考訳(メタデータ) (2021-02-28T16:22:58Z) - Evaluating the Disentanglement of Deep Generative Models through
Manifold Topology [66.06153115971732]
本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。
複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
論文 参考訳(メタデータ) (2020-06-05T20:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。