論文の概要: Towards Reasonable Concept Bottleneck Models
- arxiv url: http://arxiv.org/abs/2506.05014v1
- Date: Thu, 05 Jun 2025 13:22:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-06 21:53:49.72631
- Title: Towards Reasonable Concept Bottleneck Models
- Title（参考訳）: 推論可能な概念ボトルネックモデルを目指して
- Authors: Nektarios Kalampalikis, Kavya Gupta, Georgi Vitanov, Isabel Valera,
- Abstract要約: CREAMはConcept Bottleneck Models(CBM)の新しいファミリーである
CBMは概念概念(texttC-C$)と概念タスク(texttC$rightarrow$Y$)の関係を明示的にエンコードし、望ましいモデル推論を強制する。
- 参考スコア（独自算出の注目度）: 9.882491176261441
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose $\textbf{C}$oncept $\textbf{REA}$soning $\textbf{M}$odels (CREAM), a novel family of Concept Bottleneck Models (CBMs) that: (i) explicitly encodes concept-concept (${\texttt{C-C}}$) and concept-task (${\texttt{C$\rightarrow$Y}}$) relationships to enforce a desired model reasoning; and (ii) use a regularized side-channel to achieve competitive task performance, while keeping high concept importance. Specifically, CREAM architecturally embeds (bi)directed concept-concept, and concept to task relationships specified by a human expert, while severing undesired information flows (e.g., to handle mutually exclusive concepts). Moreover, CREAM integrates a black-box side-channel that is regularized to encourage task predictions to be grounded in the relevant concepts, thereby utilizing the side-channel only when necessary to enhance performance. Our experiments show that: (i) CREAM mainly relies on concepts while achieving task performance on par with black-box models; and (ii) the embedded ${\texttt{C-C}}$ and ${\texttt{C$\rightarrow$Y}}$ relationships ease model interventions and mitigate concept leakage.
- Abstract（参考訳）: 本稿では,概念ボトルネックモデル(CBM)の新しいファミリーである $\textbf{C}$oncept $\textbf{REA}$soning $\textbf{M}$odels (CREAM)を提案する。
(i)概念概念(${\texttt{C-C}}$)と概念タスク(${\texttt{C$\rightarrow$Y}}$)の関係を明示的にエンコードして、望ましいモデル推論を強制する。
(II) 高い概念的重要性を維持しつつ、競争力のあるタスク性能を達成するために、正規化されたサイドチャネルを使用する。
具体的には、CREAMはアーキテクチャ的に(bi)指向の概念と、人間の専門家が指定したタスク関係への概念を組み込むと同時に、望ましくない情報フロー(例えば、相互排他的な概念を扱うために)を精査する。
さらに、CREAMはブラックボックスのサイドチャネルを統合し、タスク予測を関連概念に基礎付けるように促し、パフォーマンスを高めるために必要な場合にのみサイドチャネルを利用する。
私たちの実験は、こう示しています。
(i)CREAMは、ブラックボックスモデルと同等のタスク性能を達成しつつ、主に概念に依存している。
(ii) ${\textt{C-C}}$と${\textt{C$\rightarrow$Y}}$リレーションはモデルの介入を緩和し、概念リークを軽減する。
関連論文リスト
- Concept Layers: Enhancing Interpretability and Intervenability via LLM Conceptualization [2.163881720692685]
本稿では,概念層をアーキテクチャに組み込むことにより,解釈可能性とインターベンタビリティを既存モデルに組み込む新しい手法を提案する。
我々のアプローチは、モデルの内部ベクトル表現を、再構成してモデルにフィードバックする前に、概念的で説明可能なベクトル空間に投影する。
複数のタスクにまたがるCLを評価し、本来のモデルの性能と合意を維持しつつ、意味のある介入を可能にしていることを示す。
論文 参考訳（メタデータ） (2025-02-19T11:10:19Z) - LLM Pretraining with Continuous Concepts [71.98047075145249]
次のトークン予測は、大規模言語モデルの事前トレーニングで使用される標準的なトレーニング目標である。
離散的な次のトークン予測と連続的な概念を組み合わせた新しい事前学習フレームワークであるContinuous Concept Mixing (CoCoMix)を提案する。
論文 参考訳（メタデータ） (2025-02-12T16:00:11Z) - How to Continually Adapt Text-to-Image Diffusion Models for Flexible Customization? [91.49559116493414]
本稿では,CIDM(Concept-Incremental Text-to-image Diffusion Model)を提案する。
破滅的な忘れと概念の無視を解決し、新しいカスタマイズタスクを概念的な方法で学習する。
実験により、CIDMが既存のカスタム拡散モデルを上回ることが確認された。
論文 参考訳（メタデータ） (2024-10-23T06:47:29Z) - Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。
本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。
我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
論文 参考訳（メタデータ） (2024-07-19T17:50:11Z) - Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。
既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。
本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
論文 参考訳（メタデータ） (2024-05-02T17:59:01Z) - Beyond Concept Bottleneck Models: How to Make Black Boxes Intervenable? [8.391254800873599]
本稿では,設計によって解釈できない事前学習型ニューラルネットワークに対して,概念に基づく介入を行う手法を提案する。
我々は、インターベンタビリティの概念を概念に基づく介入の有効性の尺度として定式化し、この定義を微調整ブラックボックスに活用する。
論文 参考訳（メタデータ） (2024-01-24T16:02:14Z) - Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。
CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。
本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
論文 参考訳（メタデータ） (2023-11-18T15:50:07Z) - Concept Bottleneck Model with Additional Unsupervised Concepts [0.5939410304994348]
概念ボトルネックモデル(CBM)に基づく新しい解釈可能なモデルを提案する。
CBMは概念ラベルを使用して、中間層を追加の可視層としてトレーニングする。
これら2つの概念をシームレスにトレーニングし,計算量を削減することにより,教師付き概念と教師なし概念を同時に得ることができる。
論文 参考訳（メタデータ） (2022-02-03T08:30:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。