論文の概要: A Typology for Exploring the Mitigation of Shortcut Behavior
- arxiv url: http://arxiv.org/abs/2203.03668v6
- Date: Thu, 14 Mar 2024 15:25:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-16 03:29:29.805666
- Title: A Typology for Exploring the Mitigation of Shortcut Behavior
- Title(参考訳): ショートカット行動の緩和を探求するタイポロジー
- Authors: Felix Friedrich, Wolfgang Stammer, Patrick Schramowski, Kristian Kersting,
- Abstract要約: 基本モジュールの共通集合を確立することにより,様々なXIL手法を単一型に統一する。
評価では、全ての手法がモデルの再検討を成功に導く。
しかし、個々のベンチマークタスクに顕著な違いが見られ、アプリケーションに関連する重要な側面が明らかになりました。
- 参考スコア(独自算出の注目度): 29.38025128165229
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As machine learning models become increasingly larger, trained weakly supervised on large, possibly uncurated data sets, it becomes increasingly important to establish mechanisms for inspecting, interacting, and revising models to mitigate learning shortcuts and guarantee their learned knowledge is aligned with human knowledge. The recently proposed XIL framework was developed for this purpose, and several such methods have been introduced, each with individual motivations and methodological details. In this work, we provide a unification of various XIL methods into a single typology by establishing a common set of basic modules. In doing so, we pave the way for a principled comparison of existing, but, importantly, also future XIL approaches. In addition, we discuss existing and introduce novel measures and benchmarks for evaluating the overall abilities of a XIL method. Given this extensive toolbox, including our typology, measures, and benchmarks, we finally compare several recent XIL methods methodologically and quantitatively. In our evaluations, all methods prove to revise a model successfully. However, we found remarkable differences in individual benchmark tasks, revealing valuable application-relevant aspects for integrating these benchmarks in developing future methods.
- Abstract(参考訳): 機械学習モデルはますます大きくなり、潜在的に未処理のデータセットに対して弱い教師付きで訓練されるようになると、学習のショートカットを緩和し、学習知識が人間の知識と一致していることを保証するために、モデルを検査、相互作用、修正するためのメカニズムを確立することがますます重要になる。
この目的のために最近提案されたXILフレームワークが開発され、それぞれが個別のモチベーションと方法論の詳細を持ついくつかの手法が導入された。
本研究では,基本モジュールの共通集合を確立することにより,XIL法を単一型に統一する。
そうすることで、私たちは既存の、しかし重要なことに、将来のXILアプローチを原則的に比較する道を開いたのです。
さらに,本研究では,XIL手法の全体的な能力を評価するための新しい尺度とベンチマークについて論じる。
タイポロジーや測定,ベンチマークなど,この広範なツールボックスを考慮に入れた上で,最近のXIL手法を方法論的,定量的に比較した。
我々の評価では、全ての手法がモデルを再修正することを証明している。
しかし、個々のベンチマークタスクに顕著な違いが見られ、これらのベンチマークを将来の手法に組み込む上で、貴重なアプリケーション関連側面が明らかになった。
関連論文リスト
- Experimental Analysis of Large-scale Learnable Vector Storage
Compression [42.52474894105165]
学習可能な埋め込みベクトルは、機械学習において最も重要な応用の1つである。
推薦タスクにおけるスパースデータの高次元性と検索関連タスクにおける大量のコーパスは、埋め込みテーブルのメモリ消費を増大させる。
近年の研究では, モデル品質の低下や, その他のオーバーヘッドを伴って, 埋め込みを圧縮する方法が提案されている。
論文 参考訳(メタデータ) (2023-11-27T07:11:47Z) - Knowledge-Guided Additive Modeling For Supervised Regression [6.600299648478795]
本稿では,パラメトリックな物理項と機械学習の項を付加的に組み合わせたハイブリッド手法に着目し,モデルに依存しない訓練手順について検討する。
ツリーベースモデルや人工ニューラルネットワークなど、さまざまなタイプの機械学習モデルで実験が実施されている。
論文 参考訳(メタデータ) (2023-07-05T12:13:56Z) - Better Understanding Differences in Attribution Methods via Systematic
Evaluations [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文 参考訳(メタデータ) (2023-03-21T14:24:58Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - On the role of benchmarking data sets and simulations in method
comparison studies [0.0]
本稿では,シミュレーション研究とベンチマーク研究の相違点と類似点について検討する。
混合手法研究や臨床シナリオ評価など,さまざまな文脈からアイデアを借りる。
論文 参考訳(メタデータ) (2022-08-02T13:47:53Z) - EASY: Ensemble Augmented-Shot Y-shaped Learning: State-Of-The-Art
Few-Shot Classification with Simple Ingredients [2.0935101589828244]
1つ以上のディープラーニングモデルで学習した知識を活用することを目的として,新しい問題に対する優れた分類性能を得る。
フィールドの標準化された複数のベンチマークで、アートパフォーマンスの状態を達成または打ち負かすような、シンプルな手法を提案する。
論文 参考訳(メタデータ) (2022-01-24T14:08:23Z) - FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural
Language Understanding [89.92513889132825]
本稿では,従来の評価手順を,テスト性能,開発-テスト相関,安定性の3つの重要な側面で改善する評価フレームワークを提案する。
評価フレームワークを実装したツールキットFewNLUと、最先端のメソッドをオープンソースとして公開しています。
論文 参考訳(メタデータ) (2021-09-27T00:57:30Z) - A Survey on Deep Semi-supervised Learning [51.26862262550445]
まず,既存の手法を分類した深層半指導学習の分類法を提案する。
次に、損失の種類、貢献度、アーキテクチャの違いの観点から、これらのメソッドを詳細に比較します。
論文 参考訳(メタデータ) (2021-02-28T16:22:58Z) - A Brief Introduction to Generative Models [8.031257560764336]
我々は、機械学習の中心課題として生成モデリングを導入し、動機づける。
KL-発散の最小化としてどのように解釈できるかを概説する。
本稿では,推定分布と実データ分布の差異を考察する代替逆アプローチを検討する。
論文 参考訳(メタデータ) (2021-02-27T16:49:41Z) - Evaluating the Disentanglement of Deep Generative Models through
Manifold Topology [66.06153115971732]
本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。
複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
論文 参考訳(メタデータ) (2020-06-05T20:54:11Z) - Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。
我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
論文 参考訳(メタデータ) (2020-03-09T20:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。