論文の概要: Uncertainty-aware Language Guidance for Concept Bottleneck Models

• arxiv url: http://arxiv.org/abs/2602.23495v1
• Date: Thu, 26 Feb 2026 20:59:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 19:48:24.126159
• Title: Uncertainty-aware Language Guidance for Concept Bottleneck Models
• Title（参考訳）: 概念ボトルネックモデルのための不確実性を考慮した言語指導
• Authors: Yangyi Li, Mengdi Huai,
• Abstract要約: 概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力サンプルを高レベルのセマンティックな概念にマッピングし、次にこれらの概念を組み合わせて最終分類を行う。 しかしながら、人間に理解可能な概念のアノテーションは、CBMの広範な採用を制限し、幅広い専門知識と労力を必要とする。 提案手法は,LCMアノテートされた概念ラベルの不確実性を有効かつ分布のない保証で厳密に定量化するだけでなく,定量化された概念不確実性をCBM訓練手順に組み込む,新しい不確実性認識型CBM法を提案する。
• 参考スコア（独自算出の注目度）: 19.882022420045804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Concept Bottleneck Models (CBMs) provide inherent interpretability by first mapping input samples to high-level semantic concepts, followed by a combination of these concepts for the final classification. However, the annotation of human-understandable concepts requires extensive expert knowledge and labor, constraining the broad adoption of CBMs. On the other hand, there are a few works that leverage the knowledge of large language models (LLMs) to construct concept bottlenecks. Nevertheless, they face two essential limitations: First, they overlook the uncertainty associated with the concepts annotated by LLMs and lack a valid mechanism to quantify uncertainty about the annotated concepts, increasing the risk of errors due to hallucinations from LLMs. Additionally, they fail to incorporate the uncertainty associated with these annotations into the learning process for concept bottleneck models. To address these limitations, we propose a novel uncertainty-aware CBM method, which not only rigorously quantifies the uncertainty of LLM-annotated concept labels with valid and distribution-free guarantees, but also incorporates quantified concept uncertainty into the CBM training procedure to account for varying levels of reliability across LLM-annotated concepts. We also provide the theoretical analysis for our proposed method. Extensive experiments on the real-world datasets validate the desired properties of our proposed methods.
• Abstract（参考訳）: 概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力サンプルを高レベルのセマンティックな概念にマッピングし、次にこれらの概念を組み合わせて最終分類を行う。 しかしながら、人間に理解可能な概念のアノテーションは、CBMの広範な採用を制限し、幅広い専門知識と労力を必要とする。 一方、概念ボトルネックを構築するために、大規模言語モデル(LLM)の知識を活用する研究はいくつかある。 第一に、LLMによって注釈付けされた概念に関する不確実性を見落とし、注釈付けされた概念に関する不確実性を定量化するための有効なメカニズムを欠き、LLMからの幻覚によるエラーのリスクを増大させる。 さらに、これらのアノテーションに関連する不確実性を概念ボトルネックモデルのための学習プロセスに組み込むことができない。 これらの制約に対処するため,本手法では,LCMアノテーションによる概念ラベルの不確かさを有効かつ分散のない保証で厳密に定量化するだけでなく,LCMアノテーションによる概念の信頼性の変動を考慮したCBMトレーニング手順にも,定量化概念の不確かさを取り入れた,新しい不確実性対応CBM手法を提案する。 また,提案手法の理論的解析を行った。 実世界のデータセットに関する大規模な実験により,提案手法の望ましい特性が検証された。

関連論文リスト

• Concept Component Analysis: A Principled Approach for Concept Extraction in LLMs [51.378834857406325]
  機械的解釈可能性(Mechanistic interpretability)は、大きな言語モデルからの抽出によって問題を緩和しようとする。 スパースオートエンコーダ (SAE) は、解釈可能・単意味的な概念を抽出するための一般的なアプローチである。 SAEは基本的な理論的曖昧さに悩まされており、LLM表現と人間解釈可能な概念との明確に定義された対応はいまだに不明である。
  論文  参考訳（メタデータ） (2026-01-28T09:27:05Z)
• There Was Never a Bottleneck in Concept Bottleneck Models [27.888718857850822]
  コンセプト・ボトルネック・モデル(CBM)はこの問題を緩和するための有望なアプローチとして登場した。 コンポーネントが概念を予測できるという事実は、その概念に関する情報のみを符号化することを保証しません。 本稿では,最小概念ボトルネックモデル(MCBM)を提案する。このモデルでは,情報ボトルネック(IB)の目的を組み込んで,各表現要素を制約し,対応する概念に関する情報のみを保持する。
  論文  参考訳（メタデータ） (2025-06-05T10:50:42Z)
• Sample-efficient Learning of Concepts with Theoretical Guarantees: from Data to Concepts without Interventions [13.877511370053794]
  概念ボトルネックモデル(CBM)は、高次元データから解釈可能な概念を学ぶことでこれらの課題に対処する。 本稿では,学習概念の正しさと必要なラベル数に関する理論的保証を提供する枠組みについて述べる。 合成および画像のベンチマークにおいて、我々のフレームワークを評価し、学習された概念が不純物が少なく、しばしば他のCBMよりも正確であることを示す。
  論文  参考訳（メタデータ） (2025-02-10T15:01:56Z)
• A Survey of Uncertainty Estimation in LLMs: Theory Meets Practice [7.687545159131024]
  我々は、不確実性と信頼の定義を明確にし、それらの区別とモデル予測への含意を明らかにする。 本稿では,アプローチから導いた不確実性推定手法を分類する。 また,分布外検出,データアノテーション,質問の明確化など,多様なアプリケーションに不確実性をもたらす技術についても検討する。
  論文  参考訳（メタデータ） (2024-10-20T07:55:44Z)
• CLUE: Concept-Level Uncertainty Estimation for Large Language Models [49.92690111618016]
  大規模言語モデル(LLM)のための概念レベル不確実性推定のための新しいフレームワークを提案する。 LLMを利用して、出力シーケンスを概念レベルの表現に変換し、シーケンスを個別の概念に分解し、各概念の不確かさを個別に測定する。 我々は,文レベルの不確実性と比較して,CLUEがより解釈可能な不確実性推定結果を提供できることを示す実験を行った。
  論文  参考訳（メタデータ） (2024-09-04T18:27:12Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• ConcEPT: Concept-Enhanced Pre-Training for Language Models [57.778895980999124]
  ConcEPTは、概念知識を事前訓練された言語モデルに注入することを目的としている。 これは、事前訓練されたコンテキストで言及されたエンティティの概念を予測するために、外部エンティティの概念予測を利用する。 実験の結果,ConcEPTは概念強化事前学習により概念知識を向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-11T05:05:01Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。