論文の概要: Mixture of Concept Bottleneck Experts
- arxiv url: http://arxiv.org/abs/2602.02886v1
- Date: Mon, 02 Feb 2026 22:44:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 18:37:15.12115
- Title: Mixture of Concept Bottleneck Experts
- Title(参考訳): コンセプトボトルネック専門家の混在
- Authors: Francesco De Santis, Gabriele Ciravegna, Giovanni De Felice, Arianna Casanova, Francesco Giannini, Michelangelo Diligenti, Mateo Espinosa Zarlenga, Pietro Barbiero, Johannes Schneider, Danilo Giordano,
- Abstract要約: 概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解できない概念の予測を基礎として解釈可能性を促進する。
本稿では,既存のCBMを2次元に沿って一般化するフレームワークを提案する。
- 参考スコア(独自算出の注目度): 18.412571821774158
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Concept Bottleneck Models (CBMs) promote interpretability by grounding predictions in human-understandable concepts. However, existing CBMs typically fix their task predictor to a single linear or Boolean expression, limiting both predictive accuracy and adaptability to diverse user needs. We propose Mixture of Concept Bottleneck Experts (M-CBEs), a framework that generalizes existing CBMs along two dimensions: the number of experts and the functional form of each expert, exposing an underexplored region of the design space. We investigate this region by instantiating two novel models: Linear M-CBE, which learns a finite set of linear expressions, and Symbolic M-CBE, which leverages symbolic regression to discover expert functions from data under user-specified operator vocabularies. Empirical evaluation demonstrates that varying the mixture size and functional form provides a robust framework for navigating the accuracy-interpretability trade-off, adapting to different user and task needs.
- Abstract(参考訳): 概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解できない概念の予測を基礎として解釈可能性を促進する。
しかし、既存のCBMは、通常、タスク予測を単一の線形あるいはブール式に修正し、予測精度と多様なユーザニーズへの適応性の両方を制限する。
提案するMixture of Concept Bottleneck Experts(M-CBE)は,既存のCBMを2次元に沿って一般化するフレームワークである。
線形表現の有限集合を学習する線形M-CBEと、記号回帰を利用する記号的M-CBEの2つの新しいモデルのインスタンス化により、この領域を調査する。
実験的な評価は、混合サイズと機能形態の変化が、精度と解釈可能性のトレードオフをナビゲートし、異なるユーザとタスクのニーズに適応するための堅牢なフレームワークを提供することを示している。
関連論文リスト
- Controllable Concept Bottleneck Models [55.03639763625018]
制御可能な概念ボトルネックモデル(CCBM)
CCBMは、概念ラベルレベル、概念レベル、データレベルという3つのモデル編集の粒度をサポートする。
CCBMは、数学的に厳密な閉形式近似を享受し、再訓練の必要性を和らげる影響関数から導かれる。
論文 参考訳(メタデータ) (2026-01-01T19:30:06Z) - A Geometric Unification of Concept Learning with Concept Cones [58.70836885177496]
解釈可能性の2つの伝統は、並べて進化してきたが、互いに話すことはめったにない:概念ボトルネックモデル(CBM)とスパースオートエンコーダ(SAE)。
両パラダイムが同じ幾何学的構造をインスタンス化することを示す。
CBMは人間の定義した参照ジオメトリを提供するが、SAEは学習した円錐がCBMをどの程度よく近似するか、あるいは包含しているかによって評価することができる。
論文 参考訳(メタデータ) (2025-12-08T09:51:46Z) - Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。
SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。
近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。
本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
論文 参考訳(メタデータ) (2025-11-07T22:19:34Z) - Foundation Model for Skeleton-Based Human Action Understanding [56.89025287217221]
本稿では,統一骨格に基づくDense Representation Learningフレームワークを提案する。
USDRLはトランスフォーマーベースのDense Spatio-Temporal (DSTE)、Multi-Grained Feature Deorrelation (MG-FD)、Multi-Perspective Consistency Training (MPCT)で構成されている。
論文 参考訳(メタデータ) (2025-08-18T02:42:16Z) - Adaptive Test-Time Intervention for Concept Bottleneck Models [6.31833744906105]
概念ボトルネックモデル(CBM)は、人間レベルの「概念」を予測することによってモデルの解釈可能性を改善することを目的としている
我々は,2成分蒸留(BD)を得るためにFIGS(Fast Interpretable Greedy Sum-Trees)を提案する。
FIGS-BDは、CBMのバイナリ拡張されたコンセプト・トゥ・ターゲット部分を解釈可能なツリーベースモデルに蒸留する。
論文 参考訳(メタデータ) (2025-03-09T19:03:48Z) - Intrinsic User-Centric Interpretability through Global Mixture of Experts [31.738009841932374]
InterpretCCは、人間の理解の容易さと忠実さの説明を最適化する、本質的に解釈可能なニューラルネットワークのファミリーである。
本報告では,InterpretCCの説明は,他の本質的な解釈可能なアプローチよりも,行動性や有用性が高いことを示す。
論文 参考訳(メタデータ) (2024-02-05T11:55:50Z) - Bidirectional Trained Tree-Structured Decoder for Handwritten
Mathematical Expression Recognition [51.66383337087724]
Handwriting Mathematical Expression Recognition (HMER) タスクは、OCRの分野における重要な分岐である。
近年の研究では、双方向コンテキスト情報の導入により、HMERモデルの性能が大幅に向上することが示されている。
本稿では,MF-SLT と双方向非同期トレーニング (BAT) 構造を提案する。
論文 参考訳(メタデータ) (2023-12-31T09:24:21Z) - Relational Concept Bottleneck Models [13.311396882130033]
概念ボトルネックモデル(CBM)は問題を解決するために設計されていない。
R-CBMは標準CBMとリレーショナルGNNの両方を表現できる。
特に,R-CBMが概念に基づく説明の生成を支援することを示す。
論文 参考訳(メタデータ) (2023-08-23T08:25:33Z) - Interpretable Mixture of Experts [71.55701784196253]
Interpretable Mixture of Experts (IME)は本質的に解釈可能なモデリングフレームワークである。
IMEは単一の解釈可能なモデルよりも正確であることが示され、既存の最先端のDeep Neural Networks(DNN)と正確に比較できる。
IMEの説明は、ユーザスタディを通じて一般的に使われているポストホックな説明法と比較される。
論文 参考訳(メタデータ) (2022-06-05T06:40:15Z) - Finding Experts in Transformer Models [2.105564340986074]
本研究では、事前訓練されたトランスフォーマーモデル(TM)におけるエキスパートユニットの存在と、それらがモデルの性能に与える影響について検討する。
1641のコンセプトのデータセットをコンパイルし、様々な専門家ユニットをTMで発見できるようにします。
そこで,本研究では,事前学習型言語モデルを用いて,トップエキスパートに積極性を持たせることによって,与えられた概念でテキストを生成する方法について述べる。
論文 参考訳(メタデータ) (2020-05-15T17:07:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。