論文の概要: Towards interpretable-by-design deep learning algorithms
- arxiv url: http://arxiv.org/abs/2311.11396v1
- Date: Sun, 19 Nov 2023 18:40:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 20:30:00.938424
- Title: Towards interpretable-by-design deep learning algorithms
- Title（参考訳）: 深層学習アルゴリズムの解釈可能化に向けて
- Authors: Plamen Angelov, Dmitry Kangin, Ziyang Zhang
- Abstract要約: I という名前のフレームワークは、標準教師付き分類問題をトレーニングデータから派生したプロトタイプのセットに類似した関数に再キャストする。
本稿では,そのようなDLモデルを概念的にシンプルで説明可能なプロトタイプモデルにすることができることを示す。
- 参考スコア（独自算出の注目度）: 11.154826546951414
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The proposed framework named IDEAL (Interpretable-by-design DEep learning
ALgorithms) recasts the standard supervised classification problem into a
function of similarity to a set of prototypes derived from the training data,
while taking advantage of existing latent spaces of large neural networks
forming so-called Foundation Models (FM). This addresses the issue of
explainability (stage B) while retaining the benefits from the tremendous
achievements offered by DL models (e.g., visual transformers, ViT) pre-trained
on huge data sets such as IG-3.6B + ImageNet-1K or LVD-142M (stage A). We show
that one can turn such DL models into conceptually simpler,
explainable-through-prototypes ones.
The key findings can be summarized as follows: (1) the proposed models are
interpretable through prototypes, mitigating the issue of confounded
interpretations, (2) the proposed IDEAL framework circumvents the issue of
catastrophic forgetting allowing efficient class-incremental learning, and (3)
the proposed IDEAL approach demonstrates that ViT architectures narrow the gap
between finetuned and non-finetuned models allowing for transfer learning in a
fraction of time \textbf{without} finetuning of the feature space on a target
dataset with iterative supervised methods.
- Abstract（参考訳）: IDEAL(Interpretable-by-deep learning algorithms)というフレームワークは、標準教師付き分類問題をトレーニングデータから派生したプロトタイプのセットに類似した関数に再キャストすると同時に、いわゆるファンデーションモデル(FM)を形成する大規模ニューラルネットワークの既存の潜時空間を活用する。
これは、IG-3.6B + ImageNet-1K や LVD-142M (stage A) のような巨大なデータセット上で事前訓練されたDLモデル(例えば、ビジュアルトランスフォーマー、ViT)の素晴らしい成果から恩恵を受けながら、説明可能性(ステージB)の問題に対処する。
dlモデルを概念的にシンプルで説明可能なプロトタイプにすることができることを示す。
The key findings can be summarized as follows: (1) the proposed models are interpretable through prototypes, mitigating the issue of confounded interpretations, (2) the proposed IDEAL framework circumvents the issue of catastrophic forgetting allowing efficient class-incremental learning, and (3) the proposed IDEAL approach demonstrates that ViT architectures narrow the gap between finetuned and non-finetuned models allowing for transfer learning in a fraction of time \textbf{without} finetuning of the feature space on a target dataset with iterative supervised methods.
関連論文リスト
- Distilling Vision-Language Foundation Models: A Data-Free Approach via Prompt Diversification [49.41632476658246]
我々は、数十億レベルの画像テキストデータセットにアクセスすることなく、DFKDをVision-Language Foundation Modelsに拡張することについて議論する。
目的は,配当に依存しないダウンストリームタスクに対して,与えられたカテゴリ概念を学生モデルにカスタマイズすることである。
本稿では,多様なスタイルで画像合成を促進するために,3つの新しいプロンプト分岐法を提案する。
論文 参考訳（メタデータ） (2024-07-21T13:26:30Z) - Learning Transferable Conceptual Prototypes for Interpretable
Unsupervised Domain Adaptation [79.22678026708134]
本稿では,Transferable Prototype Learning (TCPL) という,本質的に解釈可能な手法を提案する。
この目的を達成するために、ソースドメインからターゲットドメインにカテゴリの基本概念を転送する階層的なプロトタイプモジュールを設計し、基礎となる推論プロセスを説明するためにドメイン共有プロトタイプを学習する。
総合的な実験により,提案手法は有効かつ直感的な説明を提供するだけでなく,従来の最先端技術よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-10-12T06:36:41Z) - Unbiased Learning of Deep Generative Models with Structured Discrete
Representations [7.9057320008285945]
構造化可変オートエンコーダ(SVAE)の学習のための新しいアルゴリズムを提案する。
我々はSVAEがデータの欠落時に個別の潜伏変数を組み込むことでマルチモーダル不確実性を扱う能力を初めて示す。
メモリ効率の高い暗黙差分法により,SVAEは不完全最適化に対して頑健さを示しつつ,勾配降下により学習しやすくなった。
論文 参考訳（メタデータ） (2023-06-14T03:59:21Z) - GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot
Learning [55.79997930181418]
Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。
生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。
本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-05T04:04:37Z) - Cross-modal Representation Learning for Zero-shot Action Recognition [67.57406812235767]
我々は、ゼロショット動作認識(ZSAR)のためのビデオデータとテキストラベルを共同で符号化するクロスモーダルトランスフォーマーベースのフレームワークを提案する。
我々のモデルは概念的に新しいパイプラインを使用し、視覚的表現と視覚的意味的関連をエンドツーエンドで学習する。
実験結果から,本モデルはZSARの芸術的状況に大きく改善され,UCF101,HMDB51,ActivityNetベンチマークデータセット上でトップ1の精度が向上した。
論文 参考訳（メタデータ） (2022-05-03T17:39:27Z) - Prototypical Model with Novel Information-theoretic Loss Function for
Generalized Zero Shot Learning [3.870962269034544]
一般ゼロショット学習(GZSL)は、ディープラーニングの技術的課題である。
本稿では,知識伝達と意味的関係の定量化について,情報理論の観点から考察する。
決定論的GZSLモデルのための情報理論損失関数を3つ提案する。
論文 参考訳（メタデータ） (2021-12-06T16:01:46Z) - Towards Robust and Adaptive Motion Forecasting: A Causal Representation
Perspective [72.55093886515824]
本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。
我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。
合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
論文 参考訳（メタデータ） (2021-11-29T18:59:09Z) - Inducing Semantic Grouping of Latent Concepts for Explanations: An
Ante-Hoc Approach [18.170504027784183]
我々は,潜伏状態を利用してモデルの異なる部分を適切に修正することにより,より良い説明が得られ,予測性能が向上することを示した。
また,2つの異なる自己スーパービジョン技術を用いて,考察対象の自己スーパービジョンのタイプに関連する意味ある概念を抽出する手法を提案した。
論文 参考訳（メタデータ） (2021-08-25T07:09:57Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z) - Mixing Consistent Deep Clustering [3.5786621294068373]
良い潜在表現は、2つの潜在表現の線形を復号する際に意味的に混合出力を生成する。
本稿では,表現をリアルに見せるための混合一貫性深層クラスタリング手法を提案する。
提案手法は,クラスタリング性能を向上させるために,既存のオートエンコーダに付加可能であることを示す。
論文 参考訳（メタデータ） (2020-11-03T19:47:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。