論文の概要: Bayesian Concept Bottleneck Models with LLM Priors

• arxiv url: http://arxiv.org/abs/2410.15555v1
• Date: Mon, 21 Oct 2024 01:00:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:22:28.622350
• Title: Bayesian Concept Bottleneck Models with LLM Priors
• Title（参考訳）: LLMプリミティブを用いたベイズの概念ボトルネックモデル
• Authors: Jean Feng, Avni Kothari, Luke Zier, Chandan Singh, Yan Shuo Tan,
• Abstract要約: 概念ボトルネックモデル (CBM) は、ホワイトボックスモデルとブラックボックスモデルの間の妥協として提案されており、精度を犠牲にすることなく解釈性を実現することを目的としている。 BC-LLM はベイズフレームワーク内の潜在的無限の概念を反復的に探索し、Large Language Models (LLM) が概念抽出のメカニズムと事前の両方として機能する。
• 参考スコア（独自算出の注目度）: 9.368695619127084
• License:
• Abstract: Concept Bottleneck Models (CBMs) have been proposed as a compromise between white-box and black-box models, aiming to achieve interpretability without sacrificing accuracy. The standard training procedure for CBMs is to predefine a candidate set of human-interpretable concepts, extract their values from the training data, and identify a sparse subset as inputs to a transparent prediction model. However, such approaches are often hampered by the tradeoff between enumerating a sufficiently large set of concepts to include those that are truly relevant versus controlling the cost of obtaining concept extractions. This work investigates a novel approach that sidesteps these challenges: BC-LLM iteratively searches over a potentially infinite set of concepts within a Bayesian framework, in which Large Language Models (LLMs) serve as both a concept extraction mechanism and prior. BC-LLM is broadly applicable and multi-modal. Despite imperfections in LLMs, we prove that BC-LLM can provide rigorous statistical inference and uncertainty quantification. In experiments, it outperforms comparator methods including black-box models, converges more rapidly towards relevant concepts and away from spuriously correlated ones, and is more robust to out-of-distribution samples.
• Abstract（参考訳）: 概念ボトルネックモデル (CBM) は、ホワイトボックスモデルとブラックボックスモデルの間の妥協として提案されており、精度を犠牲にすることなく解釈性を実現することを目的としている。 CBMの標準的な訓練手順は、人間の解釈可能な概念の候補セットを事前に定義し、トレーニングデータからそれらの値を抽出し、透明な予測モデルへの入力としてスパースサブセットを特定することである。 しかし、そのようなアプローチは、十分に大きな概念セットを列挙して真に関係のある概念を含むものと、概念抽出のコストを抑えることとのトレードオフによってしばしば妨げられる。 BC-LLM はベイズフレームワーク内の潜在的無限の概念を反復的に探索し、Large Language Models (LLM) が概念抽出のメカニズムと事前の両方として機能する。 BC-LLMは広く適用でき、多モードである。 LLMの不完全性にもかかわらず、BC-LLMは厳密な統計的推測と不確実な定量化を提供できることを証明している。 実験では、ブラックボックスモデルを含むコンパレータ法よりも優れており、関連する概念に対してより迅速に収束し、刺激的に相関した概念から遠ざかる。

関連論文リスト

• Towards Achieving Concept Completeness for Unsupervised Textual Concept Bottleneck Models [0.3694429692322631]
  テキスト・コンセプト・ボトルネック・モデル(英: Textual Concept Bottleneck Models, TBM)は、最終的な予測を行う前に、一連の健全な概念を予測するテキスト分類のための解釈・バイ・デザイン・モデルである。 本稿では,CT-CBM(Complete Textual Concept Bottleneck Model)を提案する。
  論文  参考訳（メタデータ） (2025-02-16T12:28:43Z)
• LLM Pretraining with Continuous Concepts [71.98047075145249]
  次のトークン予測は、大規模言語モデルの事前トレーニングで使用される標準的なトレーニング目標である。 離散的な次のトークン予測と連続的な概念を組み合わせた新しい事前学習フレームワークであるContinuous Concept Mixing (CoCoMix)を提案する。
  論文  参考訳（メタデータ） (2025-02-12T16:00:11Z)
• Survival Concept-Based Learning Models [2.024925013349319]
  概念に基づく学習と生存分析を統合する2つの新しいモデルが提案されている。 SurvCBMはよく知られた概念ボトルネックモデルのアーキテクチャに基づいている。 SurvRCMは精度を高めるために正規化として概念を使用する。
  論文  参考訳（メタデータ） (2025-02-09T16:41:04Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Beyond Concept Bottleneck Models: How to Make Black Boxes Intervenable? [8.391254800873599]
  本稿では,設計によって解釈できない事前学習型ニューラルネットワークに対して,概念に基づく介入を行う手法を提案する。 我々は、インターベンタビリティの概念を概念に基づく介入の有効性の尺度として定式化し、この定義を微調整ブラックボックスに活用する。
  論文  参考訳（メタデータ） (2024-01-24T16:02:14Z)
• Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
  コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。 CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。 本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
  論文  参考訳（メタデータ） (2023-11-18T15:50:07Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• Sparse Linear Concept Discovery Models [11.138948381367133]
  概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、隠蔽層が人間の理解可能な概念に結びついている一般的なアプローチである。 本稿では,Contrastive Language Imageモデルと単一スパース線形層に基づく,シンプルかつ直感的に解釈可能なフレームワークを提案する。 実験により、我々のフレームワークは、最近のCBMアプローチを精度的に上回るだけでなく、一例あたりの疎度も高いことを示す。
  論文  参考訳（メタデータ） (2023-08-21T15:16:19Z)
• Probabilistic electric load forecasting through Bayesian Mixture Density Networks [70.50488907591463]
  確率的負荷予測(PLF)は、スマートエネルギーグリッドの効率的な管理に必要な拡張ツールチェーンの重要なコンポーネントです。 ベイジアン混合密度ネットワークを枠とした新しいPLFアプローチを提案する。 後方分布の信頼性と計算にスケーラブルな推定を行うため,平均場変動推定と深層アンサンブルを統合した。
  論文  参考訳（メタデータ） (2020-12-23T16:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。