論文の概要: LETA: Learning Transferable Attribution for Generic Vision Explainer
- arxiv url: http://arxiv.org/abs/2312.15359v1
- Date: Sat, 23 Dec 2023 21:49:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 18:28:43.342139
- Title: LETA: Learning Transferable Attribution for Generic Vision Explainer
- Title(参考訳): LETA:Generic Vision Explainerのための伝達可能な属性の学習
- Authors: Guanchu Wang and Yu-Neng Chuang and Fan Yang and Mengnan Du and
Chia-Yuan Chang and Shaochen Zhong and Zirui Liu and Zhaozhuo Xu and Kaixiong
Zhou and Xuanting Cai and Xia Hu
- Abstract要約: 大規模画像データセットの汎用的説明器を開発し、その伝達可能性を活用して、下流タスクの様々な視覚モデルを説明する。
LETAは、ジェネリック・アナトリビューションに対するジェネリック・アナトリビュータの事前トレーニングをガイドし、下流のタスクを説明するために、トランストリビュータのルールベースの適応を導入する。
実験結果から,LETAは下流タスクのデータに対する追加トレーニングを必要とせず,これらのタスクを説明するのに有効であることが示唆された。
- 参考スコア(独自算出の注目度): 78.96465840557056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explainable machine learning significantly improves the transparency of deep
neural networks~(DNN). However, existing work is constrained to explaining the
behavior of individual model predictions, and lacks the ability to transfer the
explanation across various models and tasks. This limitation results in
explaining various tasks being time- and resource-consuming. To address this
problem, we develop a pre-trained, DNN-based, generic explainer on large-scale
image datasets, and leverage its transferability to explain various vision
models for downstream tasks. In particular, the pre-training of generic
explainer focuses on LEarning Transferable Attribution (LETA). The transferable
attribution takes advantage of the versatile output of the target backbone
encoders to comprehensively encode the essential attribution for explaining
various downstream tasks. LETA guides the pre-training of the generic explainer
towards the transferable attribution, and introduces a rule-based adaptation of
the transferable attribution for explaining downstream tasks, without the need
for additional training on downstream data. Theoretical analysis demonstrates
that the pre-training of LETA enables minimizing the explanation error bound
aligned with the conditional $\mathcal{V}$-information on downstream tasks.
Empirical studies involve explaining three different architectures of vision
models across three diverse downstream datasets. The experiment results
indicate LETA is effective in explaining these tasks without the need for
additional training on the data of downstream tasks.
- Abstract(参考訳): 説明可能な機械学習はディープニューラルネットワークの透明性を大幅に改善する(DNN)。
しかし、既存の作業は個々のモデル予測の振る舞いを説明することに制約されており、様々なモデルやタスク間で説明を伝達する能力に欠ける。
この制限は、時間とリソースを消費する様々なタスクを説明する結果となる。
この問題に対処するため,大規模な画像データセット上で事前学習されたDNNベースの汎用説明器を開発し,その転送可能性を活用して,下流タスクの様々な視覚モデルを説明する。
特に、ジェネリック・スクリプタの事前学習は、Learning Transferable Attribution (LETA)に焦点を当てている。
転送可能な帰属は、ターゲットのバックボーンエンコーダの多彩な出力を利用して、様々な下流タスクを説明するために必要な帰属を包括的にエンコードする。
LETAは、転送可能な属性に対するジェネリック説明器の事前トレーニングをガイドし、下流データに対する追加のトレーニングを必要とせずに、下流タスクを説明するための転送可能な属性のルールベースの適応を導入する。
理論的解析により、LETAの事前学習により、下流タスクにおける条件付き$\mathcal{V}$-informationと結びついた説明誤差を最小化できることが示された。
実証的研究では、3つの異なる下流データセットにわたるビジョンモデルの3つの異なるアーキテクチャを説明する。
実験の結果,LETAは下流タスクのデータに関する追加のトレーニングを必要とせず,これらのタスクを説明するのに有効であることが示唆された。
関連論文リスト
- What Sketch Explainability Really Means for Downstream Tasks [121.85845328822641]
我々は、人間の脳卒中の影響を強く強調し、説明可能性のためのスケッチの独特なモダリティを探求する。
我々は軽量でポータブルな説明可能性ソリューションを提案します -- 事前訓練されたモデルとシームレスに統合するプラグインです。
論文 参考訳(メタデータ) (2024-03-14T15:22:33Z) - SPOT: Scalable 3D Pre-training via Occupancy Prediction for Autonomous
Driving [84.22159537581742]
職業予測は一般表現の学習に有望であることが示されている。
SPOTは、ポイントクラウド拡張にビーム再サンプリング技術を使用し、クラスバランス戦略を適用している。
論文 参考訳(メタデータ) (2023-09-19T11:13:01Z) - Frozen Overparameterization: A Double Descent Perspective on Transfer
Learning of Deep Neural Networks [27.17697714584768]
ディープニューラルネットワーク(DNN)の伝達学習の一般化挙動について検討する。
目標トレーニング中のテストエラーの進化は、目標トレーニングデータセットが十分に大きい場合、より顕著な二重降下効果を有することを示す。
また、二重降下現象は、より関連するソースタスクからの転送よりも、関連するソースタスクからの転送をより良くする可能性があることを示す。
論文 参考訳(メタデータ) (2022-11-20T20:26:23Z) - Harnessing the Power of Explanations for Incremental Training: A
LIME-Based Approach [6.244905619201076]
この研究では、モデル説明がフィードフォワードトレーニングにフィードバックされ、モデルをより一般化するのに役立つ。
このフレームワークは、シーケンシャルなテストセットのパフォーマンスを維持するために、Elastic Weight Consolidation (EWC)によるカスタム重み付き損失を取り入れている。
提案したカスタムトレーニング手順は、インクリメンタルラーニングセットアップのすべてのフェーズにおいて、0.5%から1.5%までの精度を一貫して向上させる。
論文 参考訳(メタデータ) (2022-11-02T18:16:17Z) - Task-Agnostic Graph Explanations [50.17442349253348]
グラフニューラルネットワーク(GNN)は、グラフ構造化データをエンコードする強力なツールとして登場した。
既存の学習ベースのGNN説明手法は、訓練においてタスク固有である。
本稿では、下流タスクの知識のない自己監督下で訓練されたタスク非依存のGNN Explainer(TAGE)を提案する。
論文 参考訳(メタデータ) (2022-02-16T21:11:47Z) - On the Transferability of Pre-trained Language Models: A Study from
Artificial Datasets [74.11825654535895]
大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。
我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
論文 参考訳(メタデータ) (2021-09-08T10:39:57Z) - Explain and Predict, and then Predict Again [6.865156063241553]
説明生成フェーズにおけるマルチタスク学習を用いたExPredを、効果的なトレードオフ説明と予測損失として提案します。
3つの多様な言語データセットに対するアプローチを幅広く評価しています。
論文 参考訳(メタデータ) (2021-01-11T19:36:52Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。