論文の概要: Benchmarking and Enhancing Disentanglement in Concept-Residual Models
- arxiv url: http://arxiv.org/abs/2312.00192v1
- Date: Thu, 30 Nov 2023 21:07:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 16:25:27.836518
- Title: Benchmarking and Enhancing Disentanglement in Concept-Residual Models
- Title(参考訳): 概念レシデントモデルにおける不連続のベンチマークと強化
- Authors: Renos Zabounidis, Ini Oguntola, Konghao Zhao, Joseph Campbell, Simon
Stepputtis, Katia Sycara
- Abstract要約: 概念ボトルネックモデル (CBM) は、まず意味論的に意味のある一連の特徴を予測する解釈可能なモデルである。
CBMの性能はエンジニアリングされた機能に依存しており、不完全な概念のセットに苦しむことがある。
本研究は,情報漏洩を解消するための3つの新しい手法を提案する。
- 参考スコア(独自算出の注目度): 4.177318966048984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Concept bottleneck models (CBMs) are interpretable models that first predict
a set of semantically meaningful features, i.e., concepts, from observations
that are subsequently used to condition a downstream task. However, the model's
performance strongly depends on the engineered features and can severely suffer
from incomplete sets of concepts. Prior works have proposed a side channel -- a
residual -- that allows for unconstrained information flow to the downstream
task, thus improving model performance but simultaneously introducing
information leakage, which is undesirable for interpretability. This work
proposes three novel approaches to mitigate information leakage by
disentangling concepts and residuals, investigating the critical balance
between model performance and interpretability. Through extensive empirical
analysis on the CUB, OAI, and CIFAR 100 datasets, we assess the performance of
each disentanglement method and provide insights into when they work best.
Further, we show how each method impacts the ability to intervene over the
concepts and their subsequent impact on task performance.
- Abstract(参考訳): 概念ボトルネックモデル (concept bottleneck model, CBM) は、まず、下流タスクの条件付けに使用される観測から意味論的に意味のある一連の特徴、すなわち概念を予測する解釈可能なモデルである。
しかし、モデルの性能は、設計された特徴に強く依存し、不完全な概念セットに苦しむことがある。
以前の研究では、下流タスクへの制約のない情報フローを可能にするサイドチャネル -- 残差 -- を提案しており、モデルパフォーマンスを改善しつつ、解釈可能性には望ましくない情報漏洩も導入している。
本研究は, モデル性能と解釈可能性の臨界バランスを解明し, 概念と残差を解消し, 情報漏洩を緩和する3つの新しい手法を提案する。
CUB、OAI、CIFAR 100データセットの広範な実験分析を通じて、各解離法の性能を評価し、最も機能するタイミングについての洞察を提供する。
さらに,各手法が各概念にどう介入し,その後のタスク性能に影響を及ぼすかを示す。
関連論文リスト
- Disentangled Representation Learning with Transmitted Information
Bottleneck [73.0553263960709]
textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
論文 参考訳(メタデータ) (2023-11-03T03:18:40Z) - Towards Better Modeling with Missing Data: A Contrastive Learning-based
Visual Analytics Perspective [7.577040836988683]
データ不足は機械学習(ML)モデリングの課題となる可能性がある。
現在のアプローチは、特徴計算とラベル予測に分類される。
本研究は、観測データに欠落した値でモデル化するコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-18T13:16:24Z) - Consistent Explanations in the Face of Model Indeterminacy via
Ensembling [12.661530681518899]
この研究は、モデル不確定性の存在下で予測モデルに対して一貫した説明を提供することの課題に対処する。
これらのシナリオで提供される説明の一貫性を高めるためのアンサンブル手法を導入する。
本研究は,説明文の解釈において,モデル不確定性を考慮することの重要性を強調した。
論文 参考訳(メタデータ) (2023-06-09T18:45:43Z) - Using Explanations to Guide Models [68.64377323216817]
モデルガイダンスは、時にはモデルパフォーマンスも改善できることを示す。
本研究では,物体の特徴に着目したモデルの有効性を示す新しいエネルギー損失を提案する。
また、バウンディングボックスアノテーションのわずかな部分でも、これらのゲインが達成可能であることも示しています。
論文 参考訳(メタデータ) (2023-03-21T15:34:50Z) - Harnessing the Power of Explanations for Incremental Training: A
LIME-Based Approach [6.244905619201076]
この研究では、モデル説明がフィードフォワードトレーニングにフィードバックされ、モデルをより一般化するのに役立つ。
このフレームワークは、シーケンシャルなテストセットのパフォーマンスを維持するために、Elastic Weight Consolidation (EWC)によるカスタム重み付き損失を取り入れている。
提案したカスタムトレーニング手順は、インクリメンタルラーニングセットアップのすべてのフェーズにおいて、0.5%から1.5%までの精度を一貫して向上させる。
論文 参考訳(メタデータ) (2022-11-02T18:16:17Z) - Sparse Relational Reasoning with Object-Centric Representations [78.83747601814669]
対象中心表現の操作において,リレーショナルニューラルアーキテクチャによって学習されたソフトルールの構成可能性について検討する。
特に特徴量の増加は,いくつかのモデルの性能を向上し,より単純な関係をもたらすことが判明した。
論文 参考訳(メタデータ) (2022-07-15T14:57:33Z) - Explainability in Process Outcome Prediction: Guidelines to Obtain
Interpretable and Faithful Models [77.34726150561087]
本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。
本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
論文 参考訳(メタデータ) (2022-03-30T05:59:50Z) - Towards Robust and Adaptive Motion Forecasting: A Causal Representation
Perspective [72.55093886515824]
本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。
我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。
合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
論文 参考訳(メタデータ) (2021-11-29T18:59:09Z) - Inducing Semantic Grouping of Latent Concepts for Explanations: An
Ante-Hoc Approach [18.170504027784183]
我々は,潜伏状態を利用してモデルの異なる部分を適切に修正することにより,より良い説明が得られ,予測性能が向上することを示した。
また,2つの異なる自己スーパービジョン技術を用いて,考察対象の自己スーパービジョンのタイプに関連する意味ある概念を抽出する手法を提案した。
論文 参考訳(メタデータ) (2021-08-25T07:09:57Z) - Generative Counterfactuals for Neural Networks via Attribute-Informed
Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。
異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。
実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文 参考訳(メタデータ) (2021-01-18T08:37:13Z) - Debiasing Concept-based Explanations with Causal Analysis [4.911435444514558]
本研究は,特徴の相違する情報と相関する概念の問題点について考察する。
観測されていない変数の影響をモデル化するための新しい因果前グラフを提案する。
提案手法は,概念が完成していない場合に有効であることを示す。
論文 参考訳(メタデータ) (2020-07-22T15:42:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。