論文の概要: Explaining Domain Shifts in Language: Concept erasing for Interpretable Image Classification
- arxiv url: http://arxiv.org/abs/2503.18483v1
- Date: Mon, 24 Mar 2025 09:35:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 14:35:54.969783
- Title: Explaining Domain Shifts in Language: Concept erasing for Interpretable Image Classification
- Title（参考訳）: 言語におけるドメインシフトの説明:解釈可能な画像分類のための概念消去
- Authors: Zequn Zeng, Yudi Su, Jianqiao Sun, Tiansheng Wen, Hao Zhang, Zhengjue Wang, Bo Chen, Hongwei Liu, Jiawei Ma,
- Abstract要約: 概念に基づくモデルは、ブラックボックス表現を人間の理解可能な概念にマッピングすることができる。
しかし、ドメイン固有の概念は最終的な予測に影響を与えることが多い。
本稿では,新しい言語誘導概念提示フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 20.513553071049557
- License:
- Abstract: Concept-based models can map black-box representations to human-understandable concepts, which makes the decision-making process more transparent and then allows users to understand the reason behind predictions. However, domain-specific concepts often impact the final predictions, which subsequently undermine the model generalization capabilities, and prevent the model from being used in high-stake applications. In this paper, we propose a novel Language-guided Concept-Erasing (LanCE) framework. In particular, we empirically demonstrate that pre-trained vision-language models (VLMs) can approximate distinct visual domain shifts via domain descriptors while prompting large Language Models (LLMs) can easily simulate a wide range of descriptors of unseen visual domains. Then, we introduce a novel plug-in domain descriptor orthogonality (DDO) regularizer to mitigate the impact of these domain-specific concepts on the final predictions. Notably, the DDO regularizer is agnostic to the design of concept-based models and we integrate it into several prevailing models. Through evaluation of domain generalization on four standard benchmarks and three newly introduced benchmarks, we demonstrate that DDO can significantly improve the out-of-distribution (OOD) generalization over the previous state-of-the-art concept-based models.Our code is available at https://github.com/joeyz0z/LanCE.
- Abstract（参考訳）: 概念ベースのモデルは、ブラックボックス表現を人間に理解可能な概念にマッピングすることで、意思決定プロセスをより透明にし、ユーザーは予測の背後にある理由を理解することができる。
しかし、ドメイン固有の概念は最終的な予測に影響を与え、それによってモデルの一般化能力が損なわれ、モデルが高精細なアプリケーションで使用されるのを防ぐ。
本稿では,新しいLanguage-guided Concept-Erasing(LanCE)フレームワークを提案する。
特に、事前学習された視覚言語モデル(VLM)は、ドメイン記述子を介して異なる視覚領域シフトを近似できる一方で、大きな言語モデル(LLM)は、目に見えない視覚領域の幅広い記述子を簡単にシミュレートできることを実証的に示す。
次に、これらのドメイン固有の概念が最終的な予測に与える影響を軽減するために、新しいプラグインドメイン記述直交(DDO)正則化器を導入する。
特に、DDO正則化器は概念ベースモデルの設計に非依存であり、それをいくつかの一般的なモデルに統合する。
4つの標準ベンチマークと3つの新しいベンチマークでドメインの一般化を評価することで、DDOは従来の最先端のコンセプトベースモデルよりも、アウト・オブ・ディストリビューション(OOD)の一般化を著しく改善できることを示し、我々のコードはhttps://github.com/joeyz0z/LanCEで公開されている。
関連論文リスト
- Concept Layers: Enhancing Interpretability and Intervenability via LLM Conceptualization [2.163881720692685]
本稿では,概念層をアーキテクチャに組み込むことにより,解釈可能性とインターベンタビリティを既存モデルに組み込む新しい手法を提案する。
我々のアプローチは、モデルの内部ベクトル表現を、再構成してモデルにフィードバックする前に、概念的で説明可能なベクトル空間に投影する。
複数のタスクにまたがるCLを評価し、本来のモデルの性能と合意を維持しつつ、意味のある介入を可能にしていることを示す。
論文 参考訳（メタデータ） (2025-02-19T11:10:19Z) - Analyzing Fine-tuning Representation Shift for Multimodal LLMs Steering alignment [53.90425382758605]
モデルの内部構造が微調整によってどのように変化し、新しいマルチモーダルタスクを専門化するかを示す。
我々の研究は、微調整によってマルチモーダル表現がどのように進化するかに光を当て、マルチモーダルタスクにおけるモデル適応を解釈するための新しい視点を提供する。
論文 参考訳（メタデータ） (2025-01-06T13:37:13Z) - TIDE: Training Locally Interpretable Domain Generalization Models Enables Test-time Correction [14.396966854171273]
単一ソース領域の一般化の問題を考える。
既存の手法は通常、訓練中に様々な領域を合成的にカバーする広範囲な拡張に依存している。
予測において,そのような局所的な概念を活用するためにモデルを補完する手法を提案する。
論文 参考訳（メタデータ） (2024-11-25T08:46:37Z) - FUSE-ing Language Models: Zero-Shot Adapter Discovery for Prompt Optimization Across Tokenizers [55.2480439325792]
FUSEは、あるモデルのテキスト埋め込み空間から別のモデルへのマッピングを行うアダプタ層を、異なるトークン化器にまたがっても近似するアプローチである。
画像キャプションと感情に基づく画像キャプションのための視覚言語モデルと因果言語モデルに対する多目的最適化によるアプローチの有効性を示す。
論文 参考訳（メタデータ） (2024-08-09T02:16:37Z) - Self-supervised Interpretable Concept-based Models for Text Classification [9.340843984411137]
本稿では,自己教師型解釈可能な概念埋め込みモデル(ICEM)を提案する。
我々は,大規模言語モデルの一般化能力を活用し,概念ラベルを自己管理的に予測する。
ICEMは、完全に教師されたコンセプトベースモデルやエンドツーエンドのブラックボックスモデルと同じようなパフォーマンスを達成するために、自己管理的な方法でトレーニングすることができる。
論文 参考訳（メタデータ） (2024-06-20T14:04:53Z) - Locally Testing Model Detections for Semantic Global Concepts [3.112979958793927]
本稿では,グローバルな概念エンコーディングを単一ネットワーク入力の局所処理にリンクするフレームワークを提案する。
提案手法は,セマンティック概念のモデル内符号化を完全に網羅する利点がある。
その結果, 個々のグローバルな概念エンコーディングの局所的認識と使用法に大きな違いが認められた。
論文 参考訳（メタデータ） (2024-05-27T12:52:45Z) - Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。
既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。
本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
論文 参考訳（メタデータ） (2024-05-02T17:59:01Z) - MCPNet: An Interpretable Classifier via Multi-Level Concept Prototypes [24.28807025839685]
我々は、低レベルの特徴の意思決定プロセスに関する洞察が欠如している説明は、完全に忠実でも有用でもないと論じる。
本稿では,クラス認識概念分布(CCD)の損失を通じて,分類目的のマルチレベル概念のプロトタイプ分布を学習・調整する新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2024-04-13T11:13:56Z) - Learning Transferable Conceptual Prototypes for Interpretable
Unsupervised Domain Adaptation [79.22678026708134]
本稿では,Transferable Prototype Learning (TCPL) という,本質的に解釈可能な手法を提案する。
この目的を達成するために、ソースドメインからターゲットドメインにカテゴリの基本概念を転送する階層的なプロトタイプモジュールを設計し、基礎となる推論プロセスを説明するためにドメイン共有プロトタイプを学習する。
総合的な実験により,提案手法は有効かつ直感的な説明を提供するだけでなく,従来の最先端技術よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-10-12T06:36:41Z) - Domain-Agnostic Tuning-Encoder for Fast Personalization of Text-To-Image
Models [59.094601993993535]
テキスト・ツー・イメージ(T2I)のパーソナライズにより、ユーザーは自然言語のプロンプトに自身の視覚的概念を組み合わせることができる。
既存のエンコーダのほとんどは単一クラスドメインに限定されており、多様な概念を扱う能力を妨げる。
個人化された概念に関する特別なデータセットや事前情報を必要としないドメインに依存しない手法を提案する。
論文 参考訳（メタデータ） (2023-07-13T17:46:42Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳（メタデータ） (2022-10-26T13:27:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。