論文の概要: Enhancing CBMs Through Binary Distillation with Applications to Test-Time Intervention

• arxiv url: http://arxiv.org/abs/2503.06730v1
• Date: Sun, 09 Mar 2025 19:03:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 20:09:44.591777
• Title: Enhancing CBMs Through Binary Distillation with Applications to Test-Time Intervention
• Title（参考訳）: 2成分蒸留によるCBMの高効率化と試験時間干渉への応用
• Authors: Matthew Shen, Aliyah Hsu, Abhineet Agarwal, Bin Yu,
• Abstract要約: 我々は二成分蒸留(BD)を得るために高速解釈式グレディサムトレー(FIGS)を用いた。 FIGS-BDは、CBMのバイナリ拡張されたコンセプト・トゥ・ターゲット部分を解釈可能なツリーベースモデルに蒸留する。 適応的なテスト時間介入は、現実的なヒューマン・イン・ザ・ループ・セッティングの性能を著しく向上させる重要な概念を識別することを示した。
• 参考スコア（独自算出の注目度）: 6.31833744906105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Concept bottleneck models~(CBM) aim to improve model interpretability by predicting human level ``concepts" in a bottleneck within a deep learning model architecture. However, how the predicted concepts are used in predicting the target still either remains black-box or is simplified to maintain interpretability at the cost of prediction performance. We propose to use Fast Interpretable Greedy Sum-Trees~(FIGS) to obtain Binary Distillation~(BD). This new method, called FIGS-BD, distills a binary-augmented concept-to-target portion of the CBM into an interpretable tree-based model, while mimicking the competitive prediction performance of the CBM teacher. FIGS-BD can be used in downstream tasks to explain and decompose CBM predictions into interpretable binary-concept-interaction attributions and guide adaptive test-time intervention. Across $4$ datasets, we demonstrate that adaptive test-time intervention identifies key concepts that significantly improve performance for realistic human-in-the-loop settings that allow for limited concept interventions.
• Abstract（参考訳）: 概念ボトルネックモデル~(CBM)は、深層学習モデルアーキテクチャ内のボトルネックの中で人間の「概念」を予測することによって、モデルの解釈可能性を改善することを目的としている。 しかし、予測概念がターゲットの予測にどのように使われているかはまだブラックボックスのままか、予測性能の犠牲で解釈可能性を維持するために単純化されている。 本稿では,Fast Interpretable Greedy Sum-Trees~(FIGS)を用いて2成分蒸留(BD)を実現することを提案する。 FIGS-BDと呼ばれる新しい手法は、CBM教師の競争予測性能を模倣しながら、CBMの2進的なコンセプト・ツー・ターゲット部分を解釈可能なツリーベースモデルに蒸留する。 FIGS-BDは下流のタスクで、CBM予測を解釈可能なバイナリ概念-相互作用属性に説明し分解し、適応的なテスト時間介入を誘導するために使用することができる。 4ドルのデータセットを通して、適応的なテスト時間介入は、限定されたコンセプト介入を可能にするリアルなヒューマン・イン・ザ・ループ設定のパフォーマンスを著しく向上させる重要な概念を識別することを示した。

関連論文リスト

• LLM Pretraining with Continuous Concepts [71.98047075145249]
  次のトークン予測は、大規模言語モデルの事前トレーニングで使用される標準的なトレーニング目標である。 離散的な次のトークン予測と連続的な概念を組み合わせた新しい事前学習フレームワークであるContinuous Concept Mixing (CoCoMix)を提案する。
  論文  参考訳（メタデータ） (2025-02-12T16:00:11Z)
• Survival Concept-Based Learning Models [2.024925013349319]
  概念に基づく学習と生存分析を統合する2つの新しいモデルが提案されている。 SurvCBMはよく知られた概念ボトルネックモデルのアーキテクチャに基づいている。 SurvRCMは精度を高めるために正規化として概念を使用する。
  論文  参考訳（メタデータ） (2025-02-09T16:41:04Z)
• VLG-CBM: Training Concept Bottleneck Models with Vision-Language Guidance [16.16577751549164]
  Concept Bottleneck Models (CBM) は解釈可能な予測を提供する。 CBMは人間の理解可能な概念を符号化し、モデルの判断を説明する。 本稿では,VLG-CBM(Vision-Language-Guided Concept Bottleneck Model)を提案する。
  論文  参考訳（メタデータ） (2024-07-18T19:44:44Z)
• Stochastic Concept Bottleneck Models [8.391254800873599]
  概念ボトルネックモデル(CBM)は、人間の理解可能な概念に基づいて最終的な予測を行う有望な解釈可能な手法として登場した。 本稿では,概念の依存関係をモデル化する新しいアプローチであるConcept Bottleneck Models (SCBM)を提案する。 単一概念の介入はすべての関係する概念に影響を与え、介入の有効性を向上させる。
  論文  参考訳（メタデータ） (2024-06-27T15:38:37Z)
• CogDPM: Diffusion Probabilistic Models via Cognitive Predictive Coding [62.075029712357]
  本研究は認知拡散確率モデル(CogDPM)を紹介する。 CogDPMは拡散モデルの階層的サンプリング能力に基づく精度推定法と拡散モデル固有の性質から推定される精度重み付きガイダンスを備える。 我々は,Universal Kindomの降水量と表面風速データセットを用いた実世界の予測タスクにCogDPMを適用した。
  論文  参考訳（メタデータ） (2024-05-03T15:54:50Z)
• Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。 既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。 本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
  論文  参考訳（メタデータ） (2024-05-02T17:59:01Z)
• Towards Generalizable and Interpretable Motion Prediction: A Deep Variational Bayes Approach [54.429396802848224]
  本稿では,分布外ケースに対する頑健な一般化性を有する動き予測のための解釈可能な生成モデルを提案する。 このモデルでは, 長期目的地の空間分布を推定することにより, 目標駆動動作予測を実現する。 動き予測データセットの実験は、適合したモデルが解釈可能で一般化可能であることを検証した。
  論文  参考訳（メタデータ） (2024-03-10T04:16:04Z)
• Beyond Concept Bottleneck Models: How to Make Black Boxes Intervenable? [8.391254800873599]
  本稿では,設計によって解釈できない事前学習型ニューラルネットワークに対して,概念に基づく介入を行う手法を提案する。 我々は、インターベンタビリティの概念を概念に基づく介入の有効性の尺度として定式化し、この定義を微調整ブラックボックスに活用する。
  論文  参考訳（メタデータ） (2024-01-24T16:02:14Z)
• Do Concept Bottleneck Models Respect Localities? [14.77558378567965]
  概念に基づく手法は、人間の理解可能な概念を用いてモデル予測を説明する。 ローカリティ(Localities)とは、概念の価値を予測する際に、関連する機能のみを使用することである。 CBMは、独立概念が重複しない特徴部分集合に局所化されている場合でも、局所性を捉えない。
  論文  参考訳（メタデータ） (2024-01-02T16:05:23Z)
• Learning to Receive Help: Intervention-Aware Concept Embedding Models [44.1307928713715]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、高レベルの概念セットを使用して予測を構築し、説明することによって、ニューラルネットワークの不透明さに対処する。 近年の研究では、介入効果は概念が介入される順序に大きく依存していることが示されている。 IntCEM(Intervention-Aware Concept Embedding Model)は,テスト時間介入に対するモデルの受容性を改善する新しいCBMアーキテクチャとトレーニングパラダイムである。
  論文  参考訳（メタデータ） (2023-09-29T02:04:24Z)
• Human Trajectory Forecasting with Explainable Behavioral Uncertainty [63.62824628085961]
  人間の軌道予測は人間の行動を理解し予測し、社会ロボットから自動運転車への応用を可能にする。 モデルフリー手法は予測精度が優れているが説明可能性に欠ける一方、モデルベース手法は説明可能性を提供するが、よく予測できない。 BNSP-SFMは,11種類の最先端手法と比較して,予測精度を最大50%向上することを示す。
  論文  参考訳（メタデータ） (2023-07-04T16:45:21Z)
• Post-hoc Concept Bottleneck Models [11.358495577593441]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力を解釈可能な概念のセットにマッピングし、その概念を用いて予測を行う。 CBMは、ボトルネックを学ぶためにトレーニングデータに概念ラベルを必要とするため、実際には制限があり、強い事前訓練されたモデルを活用しない。 解釈可能性の利点を保ちながら、モデル性能を犠牲にすることなく、任意のニューラルネットワークをPCBMに変換することができることを示す。
  論文  参考訳（メタデータ） (2022-05-31T00:29:26Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。