論文の概要: Graph Integrated Multimodal Concept Bottleneck Model

• arxiv url: http://arxiv.org/abs/2510.00701v1
• Date: Wed, 01 Oct 2025 09:18:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.493504
• Title: Graph Integrated Multimodal Concept Bottleneck Model
• Title（参考訳）: グラフ統合マルチモーダル概念ボトルネックモデル
• Authors: Jiakai Lin, Jinchang Zhang, Guoyu Lu,
• Abstract要約: MoE-SGTは、Graph TransformerとMixture of Experts (MoE)モジュールを注入する構造でConcept Bottleneck Models (CBM)を拡張するフレームワークである。 我々は,概念間の構造的関係を明示的にモデル化するために,マルチモーダル入力のための回答概念と回答探索グラフを構築した。 MoE-SGTは、複数のデータセット上の他の概念ボトルネックネットワークよりも高い精度を達成する。
• 参考スコア（独自算出の注目度）: 24.726638033402747
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With growing demand for interpretability in deep learning, especially in high stakes domains, Concept Bottleneck Models (CBMs) address this by inserting human understandable concepts into the prediction pipeline, but they are generally single modal and ignore structured concept relationships. To overcome these limitations, we present MoE-SGT, a reasoning driven framework that augments CBMs with a structure injecting Graph Transformer and a Mixture of Experts (MoE) module. We construct answer-concept and answer-question graphs for multimodal inputs to explicitly model the structured relationships among concepts. Subsequently, we integrate Graph Transformer to capture multi level dependencies, addressing the limitations of traditional Concept Bottleneck Models in modeling concept interactions. However, it still encounters bottlenecks in adapting to complex concept patterns. Therefore, we replace the feed forward layers with a Mixture of Experts (MoE) module, enabling the model to have greater capacity in learning diverse concept relationships while dynamically allocating reasoning tasks to different sub experts, thereby significantly enhancing the model's adaptability to complex concept reasoning. MoE-SGT achieves higher accuracy than other concept bottleneck networks on multiple datasets by modeling structured relationships among concepts and utilizing a dynamic expert selection mechanism.
• Abstract（参考訳）: ディープラーニングにおける解釈可能性の需要の増加、特に高利害な領域において、概念ボトルネックモデル(CBM)は、人間の理解可能な概念を予測パイプラインに挿入することでこの問題に対処するが、一般的には単一のモーダルであり、構造化された概念関係を無視する。 これらの制限を克服するために,グラフトランスフォーマーとMixture of Experts (MoE)モジュールを注入する構造でCBMを増強する推論駆動フレームワークであるMoE-SGTを提案する。 我々は,概念間の構造的関係を明示的にモデル化するために,マルチモーダル入力のための回答概念と回答探索グラフを構築した。 その後、Graph Transformerを統合してマルチレベルの依存関係をキャプチャし、モデリングコンセプトインタラクションにおける従来のConcept Bottleneck Modelの制限に対処する。 しかし、複雑な概念パターンに適応する際のボトルネックにはまだ遭遇する。 したがって、フィードフォワード層をMixture of Experts (MoE)モジュールに置き換えることで、モデルが様々なサブエキスパートに推論タスクを動的に割り当てながら、多様な概念関係を学習する能力を大きく向上し、複雑な概念推論へのモデルの適応性を著しく向上させることができる。 MoE-SGTは、概念間の構造的関係をモデル化し、動的専門家選択機構を利用することにより、複数のデータセット上の他の概念ボトルネックネットワークよりも高い精度を達成する。

関連論文リスト

• OneCAT: Decoder-Only Auto-Regressive Model for Unified Understanding and Generation [91.45421429922506]
  OneCATは、理解、生成、編集をシームレスに統合する統合マルチモーダルモデルである。 我々のフレームワークは、推論中に視覚変換器(ViT)や視覚トークン化器などの外部コンポーネントを不要にする。
  論文  参考訳（メタデータ） (2025-09-03T17:29:50Z)
• Mod-Adapter: Tuning-Free and Versatile Multi-concept Personalization via Modulation Adapter [57.49476151976054]
  テストタイムの微調整なしにオブジェクトと抽象概念を効果的にカスタマイズできるマルチコンセプトパーソナライズのためのチューニング不要な手法を提案する。 本手法は, 定量的, 質的, 人的評価によって支援された多概念パーソナライゼーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-24T09:21:32Z)
• Concept Layers: Enhancing Interpretability and Intervenability via LLM Conceptualization [2.163881720692685]
  本稿では,概念層をアーキテクチャに組み込むことにより,解釈可能性とインターベンタビリティを既存モデルに組み込む新しい手法を提案する。 我々のアプローチは、モデルの内部ベクトル表現を、再構成してモデルにフィードバックする前に、概念的で説明可能なベクトル空間に投影する。 複数のタスクにまたがるCLを評価し、本来のモデルの性能と合意を維持しつつ、意味のある介入を可能にしていることを示す。
  論文  参考訳（メタデータ） (2025-02-19T11:10:19Z)
• Analyzing Finetuning Representation Shift for Multimodal LLMs Steering [56.710375516257876]
  隠れた状態を解釈可能な視覚的概念とテキスト的概念にマッピングすることを提案する。 これにより、オリジナルモデルや微調整モデルからのシフトなど、特定のセマンティックダイナミクスをより効率的に比較することが可能になります。 また,これらの変化を捉えるためにシフトベクトルを用いることを実証する。
  論文  参考訳（メタデータ） (2025-01-06T13:37:13Z)
• Learning New Concepts, Remembering the Old: Continual Learning for Multimodal Concept Bottleneck Models [11.716449233474451]
  概念ボトルネックモデル(CBM)は、人間の理解可能な概念で視覚的な入力をブリッジすることで、AIシステムの解釈可能性を高める。 既存のCBMは静的データセットを前提としており、実際のマルチモーダルデータストリームへの適応性を制限している。 我々は,CBMのための新しい継続学習タスクを定義し,概念・増分学習とクラス・増分学習を同時に扱う。
  論文  参考訳（メタデータ） (2024-11-25T10:44:14Z)
• Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。 既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。 本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
  論文  参考訳（メタデータ） (2024-05-02T17:59:01Z)
• Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
  コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。 CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。 本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
  論文  参考訳（メタデータ） (2023-11-18T15:50:07Z)
• Relational Concept Bottleneck Models [13.311396882130033]
  概念ボトルネックモデル(CBM)は問題を解決するために設計されていない。 R-CBMは標準CBMとリレーショナルGNNの両方を表現できる。 特に,R-CBMが概念に基づく説明の生成を支援することを示す。
  論文  参考訳（メタデータ） (2023-08-23T08:25:33Z)
• Concept-Centric Transformers: Enhancing Model Interpretability through Object-Centric Concept Learning within a Shared Global Workspace [1.6574413179773757]
  概念中心変換器は、解釈可能性のための共有グローバルワークスペースの単純かつ効果的な構成である。 本モデルでは,すべての問題に対して,すべてのベースラインの分類精度が向上することを示す。
  論文  参考訳（メタデータ） (2023-05-25T06:37:39Z)
• Obtaining Faithful Interpretations from Compositional Neural Networks [72.41100663462191]
  NLVR2およびDROPデータセット上でNMNの中間出力を評価する。 中間出力は期待出力と異なり,ネットワーク構造がモデル動作の忠実な説明を提供していないことを示す。
  論文  参考訳（メタデータ） (2020-05-02T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。