論文の概要: Bayesian Concept Bottleneck Models with LLM Priors

• arxiv url: http://arxiv.org/abs/2410.15555v2
• Date: Thu, 18 Sep 2025 23:29:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 14:11:06.795627
• Title: Bayesian Concept Bottleneck Models with LLM Priors
• Title（参考訳）: LLMプリミティブを用いたベイズの概念ボトルネックモデル
• Authors: Jean Feng, Avni Kothari, Luke Zier, Chandan Singh, Yan Shuo Tan,
• Abstract要約: 概念ボトルネックモデル (CBM) は、ホワイトボックスモデルとブラックボックスモデルの間の妥協として提案されており、精度を犠牲にすることなく解釈性を実現することを目的としている。 BC-LLM はベイズフレームワーク内の潜在的無限の概念を反復的に探索し、Large Language Models (LLM) が概念抽出のメカニズムと事前の両方として機能する。
• 参考スコア（独自算出の注目度）: 8.895722261818209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Concept Bottleneck Models (CBMs) have been proposed as a compromise between white-box and black-box models, aiming to achieve interpretability without sacrificing accuracy. The standard training procedure for CBMs is to predefine a candidate set of human-interpretable concepts, extract their values from the training data, and identify a sparse subset as inputs to a transparent prediction model. However, such approaches are often hampered by the tradeoff between exploring a sufficiently large set of concepts versus controlling the cost of obtaining concept extractions, resulting in a large interpretability-accuracy tradeoff. This work investigates a novel approach that sidesteps these challenges: BC-LLM iteratively searches over a potentially infinite set of concepts within a Bayesian framework, in which Large Language Models (LLMs) serve as both a concept extraction mechanism and prior. Even though LLMs can be miscalibrated and hallucinate, we prove that BC-LLM can provide rigorous statistical inference and uncertainty quantification. Across image, text, and tabular datasets, BC-LLM outperforms interpretable baselines and even black-box models in certain settings, converges more rapidly towards relevant concepts, and is more robust to out-of-distribution samples.
• Abstract（参考訳）: 概念ボトルネックモデル (CBM) は、ホワイトボックスモデルとブラックボックスモデルの間の妥協として提案されており、精度を犠牲にすることなく解釈性を実現することを目的としている。 CBMの標準的な訓練手順は、人間の解釈可能な概念の候補セットを事前に定義し、トレーニングデータからそれらの値を抽出し、透明な予測モデルへの入力としてスパースサブセットを特定することである。 しかし、そのようなアプローチは、十分に大きな概念の集合を探索することと、概念抽出のコストを抑えることのトレードオフによってしばしば妨げられ、大きな解釈可能性と精度のトレードオフをもたらす。 BC-LLM はベイズフレームワーク内の潜在的無限の概念を反復的に探索し、Large Language Models (LLM) が概念抽出のメカニズムと事前の両方として機能する。 LLMは誤校正や幻覚化が可能であるが、BC-LLMは厳密な統計的推測と不確実な定量化を提供できることを証明している。 BC-LLMは、画像、テキスト、表形式でのデータセット全体で、解釈可能なベースラインやブラックボックスモデルよりも優れており、関連する概念に対してより迅速に収束し、配布外サンプルに対してより堅牢である。

関連論文リスト

• Concept Component Analysis: A Principled Approach for Concept Extraction in LLMs [51.378834857406325]
  機械的解釈可能性(Mechanistic interpretability)は、大きな言語モデルからの抽出によって問題を緩和しようとする。 スパースオートエンコーダ (SAE) は、解釈可能・単意味的な概念を抽出するための一般的なアプローチである。 SAEは基本的な理論的曖昧さに悩まされており、LLM表現と人間解釈可能な概念との明確に定義された対応はいまだに不明である。
  論文  参考訳（メタデータ） (2026-01-28T09:27:05Z)
• Concepts from Representations: Post-hoc Concept Bottleneck Models via Sparse Decomposition of Visual Representations [20.859723044900154]
  本稿では,PCBM-ReDについて述べる。PCBM-ReDは,事前学習した不透明なモデルに解釈性を再現する新しいパイプラインである。 最先端の精度を実現し、エンドツーエンドモデルのパフォーマンスギャップを狭め、より優れた解釈性を示す。
  論文  参考訳（メタデータ） (2026-01-18T08:01:44Z)
• Concept-Aware Batch Sampling Improves Language-Image Pretraining [78.53540190580189]
  Concept-Aware Batch Smpling (CABS)は、バッチをオンザフライで柔軟に構築する、シンプルで効果的なバッチサンプリングフレームワークである。 CABSはCLIP/SigLIPモデルクラスに有益であり,高性能なモデルが得られることを示す。 全体として、CABSはプロプライエタリなオンラインデータキュレーションアルゴリズムに代わる強力なオープンソースである。
  論文  参考訳（メタデータ） (2025-11-25T18:58:07Z)
• Towards more holistic interpretability: A lightweight disentangled Concept Bottleneck Model [5.700536552863068]
  概念ボトルネックモデル(CBM)は、人間の理解可能な概念を中間表現として予測することにより、解釈可能性を高める。 本稿では,視覚的特徴を意味論的に意味のある構成要素に自動的に分類する軽量なDECBMを提案する。 3つの多様なデータセットの実験により、LCDBMはより高い概念とクラス精度を達成し、解釈可能性と分類性能の両方において従来のCBMよりも優れていたことが示されている。
  論文  参考訳（メタデータ） (2025-10-17T15:59:30Z)
• Post-hoc Stochastic Concept Bottleneck Models [18.935442650741]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、高レベルな人間の理解可能な概念を通じて対象変数を予測する解釈可能なモデルである。 バックボーンモデルを再学習することなく,概念上の正規分布で事前学習した任意のCBMを増強する軽量な手法であるポストホック概念ボトルネックモデル(PSCBM)を導入する。 その結果,PSCBMは介入下でのCBMよりも優れた性能を示す一方で,スクラッチから類似モデルを再訓練するよりもはるかに効率的であることがわかった。
  論文  参考訳（メタデータ） (2025-10-09T13:42:54Z)
• An Information-Theoretic Perspective on Multi-LLM Uncertainty Estimation [7.018119896897734]
  大規模言語モデル(LLM)は入力間で矛盾なく振る舞うことが多く、不確実性を示し、その定量化の必要性を高レベルな設定で動機付けている。 本稿では,MUSE(Multi-LLM Uncertainty via Subset Ensembles)を提案する。 二分予測タスクの実験では、単一モデルとナイーブアンサンブルベースラインと比較してキャリブレーションと予測性能が改善された。
  論文  参考訳（メタデータ） (2025-07-09T19:13:25Z)
• Interpretable Few-Shot Image Classification via Prototypical Concept-Guided Mixture of LoRA Experts [79.18608192761512]
  自己説明可能なモデル(SEM)は、視覚認識プロセスをより解釈可能なものにするために、プロトタイプ概念学習(PCL)に依存している。 パラメトリック不均衡と表現の不整合という2つの重要な課題を緩和するFew-Shotプロトタイプ概念分類フレームワークを提案する。 我々のアプローチは、既存のSEMを顕著な差で常に上回っており、5-way 5-shot分類では4.2%-8.7%の相対的な利得がある。
  論文  参考訳（メタデータ） (2025-06-05T06:39:43Z)
• Leakage and Interpretability in Concept-Based Models [0.24466725954625887]
  概念ボトルネックモデルは、高レベルの中間概念を予測することによって解釈可能性を改善することを目的としている。 それらは情報漏洩に悩まされ、学習された概念の中で符号化された意図しない情報を利用するモデルで知られている。 漏洩を厳格に特徴づけ定量化するための情報理論フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-18T22:21:06Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Towards Achieving Concept Completeness for Unsupervised Textual Concept Bottleneck Models [0.3694429692322631]
  テキスト・コンセプト・ボトルネック・モデル(英: Textual Concept Bottleneck Models, TBM)は、最終的な予測を行う前に、一連の健全な概念を予測するテキスト分類のための解釈・バイ・デザイン・モデルである。 本稿では,CT-CBM(Complete Textual Concept Bottleneck Model)を提案する。
  論文  参考訳（メタデータ） (2025-02-16T12:28:43Z)
• LLM Pretraining with Continuous Concepts [71.98047075145249]
  次のトークン予測は、大規模言語モデルの事前トレーニングで使用される標準的なトレーニング目標である。 離散的な次のトークン予測と連続的な概念を組み合わせた新しい事前学習フレームワークであるContinuous Concept Mixing (CoCoMix)を提案する。
  論文  参考訳（メタデータ） (2025-02-12T16:00:11Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Linearly-Interpretable Concept Embedding Models for Text Analysis [9.340843984411137]
  線形解釈可能な概念埋め込みモデル(licEM)を提案する。 licEMs分類精度は既存の解釈可能なモデルよりも優れており、ブラックボックスモデルと一致する。 私たちのモデルが提供する説明は、既存のソリューションに対してより介入可能であり、慎重に整合していることを示します。
  論文  参考訳（メタデータ） (2024-06-20T14:04:53Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Predictive Churn with the Set of Good Models [61.00058053669447]
  本稿では,予測的不整合という2つの無関係な概念の関連性について考察する。 予測多重性(英: predictive multiplicity)は、個々のサンプルに対して矛盾する予測を生成するモデルである。 2つ目の概念である予測チャーン(英: predictive churn)は、モデル更新前後の個々の予測の違いを調べるものである。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Beyond Concept Bottleneck Models: How to Make Black Boxes Intervenable? [8.391254800873599]
  本稿では,設計によって解釈できない事前学習型ニューラルネットワークに対して,概念に基づく介入を行う手法を提案する。 我々は、インターベンタビリティの概念を概念に基づく介入の有効性の尺度として定式化し、この定義を微調整ブラックボックスに活用する。
  論文  参考訳（メタデータ） (2024-01-24T16:02:14Z)
• Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
  コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。 CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。 本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
  論文  参考訳（メタデータ） (2023-11-18T15:50:07Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• Sparse Linear Concept Discovery Models [11.138948381367133]
  概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、隠蔽層が人間の理解可能な概念に結びついている一般的なアプローチである。 本稿では,Contrastive Language Imageモデルと単一スパース線形層に基づく,シンプルかつ直感的に解釈可能なフレームワークを提案する。 実験により、我々のフレームワークは、最近のCBMアプローチを精度的に上回るだけでなく、一例あたりの疎度も高いことを示す。
  論文  参考訳（メタデータ） (2023-08-21T15:16:19Z)
• FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear Modulation [69.34011200590817]
  本稿では,特徴量線形変調の概念に基づく暗黙のアンサンブル手法であるFiLM-Ensembleを紹介する。 単一ディープネットワークのネットワークアクティベーションをFiLMで変調することにより、高多様性のモデルアンサンブルを得る。 我々は、FiLM-Ensembleが他の暗黙のアンサンブル法よりも優れており、ネットワークの明示的なアンサンブルの上限に非常に近いことを示す。
  論文  参考訳（メタデータ） (2022-05-31T18:33:15Z)
• Concept Bottleneck Model with Additional Unsupervised Concepts [0.5939410304994348]
  概念ボトルネックモデル(CBM)に基づく新しい解釈可能なモデルを提案する。 CBMは概念ラベルを使用して、中間層を追加の可視層としてトレーニングする。 これら2つの概念をシームレスにトレーニングし,計算量を削減することにより,教師付き概念と教師なし概念を同時に得ることができる。
  論文  参考訳（メタデータ） (2022-02-03T08:30:51Z)
• Probabilistic electric load forecasting through Bayesian Mixture Density Networks [70.50488907591463]
  確率的負荷予測(PLF)は、スマートエネルギーグリッドの効率的な管理に必要な拡張ツールチェーンの重要なコンポーネントです。 ベイジアン混合密度ネットワークを枠とした新しいPLFアプローチを提案する。 後方分布の信頼性と計算にスケーラブルな推定を行うため,平均場変動推定と深層アンサンブルを統合した。
  論文  参考訳（メタデータ） (2020-12-23T16:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。