論文の概要: Beyond Concept Bottleneck Models: How to Make Black Boxes Intervenable?

• arxiv url: http://arxiv.org/abs/2401.13544v3
• Date: Sat, 26 Oct 2024 12:00:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:18:05.036879
• Title: Beyond Concept Bottleneck Models: How to Make Black Boxes Intervenable?
• Title（参考訳）: コンセプトボツネックモデルを超えて、ブラックボックスをインターベンションする方法
• Authors: Sonia Laguna, Ričards Marcinkevičs, Moritz Vandenhirtz, Julia E. Vogt,
• Abstract要約: 本稿では,設計によって解釈できない事前学習型ニューラルネットワークに対して,概念に基づく介入を行う手法を提案する。 我々は、インターベンタビリティの概念を概念に基づく介入の有効性の尺度として定式化し、この定義を微調整ブラックボックスに活用する。
• 参考スコア（独自算出の注目度）: 8.391254800873599
• License:
• Abstract: Recently, interpretable machine learning has re-explored concept bottleneck models (CBM). An advantage of this model class is the user's ability to intervene on predicted concept values, affecting the downstream output. In this work, we introduce a method to perform such concept-based interventions on pretrained neural networks, which are not interpretable by design, only given a small validation set with concept labels. Furthermore, we formalise the notion of intervenability as a measure of the effectiveness of concept-based interventions and leverage this definition to fine-tune black boxes. Empirically, we explore the intervenability of black-box classifiers on synthetic tabular and natural image benchmarks. We focus on backbone architectures of varying complexity, from simple, fully connected neural nets to Stable Diffusion. We demonstrate that the proposed fine-tuning improves intervention effectiveness and often yields better-calibrated predictions. To showcase the practical utility of our techniques, we apply them to deep chest X-ray classifiers and show that fine-tuned black boxes are more intervenable than CBMs. Lastly, we establish that our methods are still effective under vision-language-model-based concept annotations, alleviating the need for a human-annotated validation set.
• Abstract（参考訳）: 近年、解釈可能な機械学習は概念ボトルネックモデル(CBM)を再探索している。 このモデルクラスの利点は、ユーザが予測された概念値に介入し、下流の出力に影響を与える能力である。 本研究では,設計によって解釈できない事前学習型ニューラルネットワークに対して,そのような概念に基づく介入を行う手法を提案する。 さらに、概念に基づく介入の有効性の尺度としてインターベンタビリティの概念を定式化し、この定義を微調整ブラックボックスに活用する。 実験により,ブラックボックス分類器の合成表と自然画像のベンチマークにおける相互接続性について検討した。 我々は、単純で完全に接続されたニューラルネットから安定拡散まで、さまざまな複雑さのバックボーンアーキテクチャに焦点を当てている。 提案した微調整により介入の有効性が向上し,よく校正された予測が得られることを示す。 本手法の実用性を実証するために, 深部胸部X線分類器に適用し, 微調整ブラックボックスがCBMよりも介入可能であることを示す。 最後に,本手法は視覚言語モデルに基づく概念アノテーションの下でも有効であることが確認され,人間による注釈付き検証セットの必要性が軽減された。

関連論文リスト

• Bayesian Concept Bottleneck Models with LLM Priors [9.368695619127084]
  概念ボトルネックモデル (CBM) は、ホワイトボックスモデルとブラックボックスモデルの間の妥協として提案されており、精度を犠牲にすることなく解釈性を実現することを目的としている。 BC-LLM はベイズフレームワーク内の潜在的無限の概念を反復的に探索し、Large Language Models (LLM) が概念抽出のメカニズムと事前の両方として機能する。
  論文  参考訳（メタデータ） (2024-10-21T01:00:33Z)
• MulCPred: Learning Multi-modal Concepts for Explainable Pedestrian Action Prediction [57.483718822429346]
  MulCPredは、トレーニングサンプルで表されるマルチモーダルな概念に基づいて、その予測を説明する。 MulCPredは複数のデータセットとタスクで評価される。
  論文  参考訳（メタデータ） (2024-09-14T14:15:28Z)
• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• Concept Bottleneck Models Without Predefined Concepts [26.156636891713745]
  入力に依存した概念選択機構を導入し、すべてのクラスで小さな概念のサブセットが使用されることを保証します。 提案手法は, ダウンストリーム性能を改善し, ブラックボックスモデルの性能ギャップを狭めるものである。
  論文  参考訳（メタデータ） (2024-07-04T13:34:50Z)
• ClassDiffusion: More Aligned Personalization Tuning with Explicit Class Guidance [78.44823280247438]
  新しい概念を学ぶ際に,意味的保存損失を利用して概念空間を明示的に制御する手法であるClassDiffusionを提案する。 その単純さにもかかわらず、これはターゲット概念を微調整する際のセマンティックドリフトを避けるのに役立つ。 CLIP-T測定値の非効率な評価に対して,BLIP2-T測定値を導入する。
  論文  参考訳（メタデータ） (2024-05-27T17:50:10Z)
• Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。 既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。 本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
  論文  参考訳（メタデータ） (2024-05-02T17:59:01Z)
• Sparse Concept Bottleneck Models: Gumbel Tricks in Contrastive Learning [86.15009879251386]
  概念ボトルネックモデル(CBM)を用いた新しいアーキテクチャと説明可能な分類法を提案する。 CBMには、さらなる概念のセットが必要である。 CLIPをベースとしたボトルネックモデルにおいて,スパース隠れ層を用いた精度の大幅な向上を示す。
  論文  参考訳（メタデータ） (2024-04-04T09:43:43Z)
• Black-Box Tuning of Vision-Language Models with Effective Gradient Approximation [71.21346469382821]
  ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。 CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
  論文  参考訳（メタデータ） (2023-12-26T06:31:28Z)
• Auxiliary Losses for Learning Generalizable Concept-based Models [5.4066453042367435]
  コンセプト・ボトルネック・モデル (Concept Bottleneck Models, CBM) は導入以来人気を集めている。 CBMは基本的に、モデルの潜在空間を人間に理解可能な高レベルな概念に制限する。 本稿では,協調型コンセプション・ボトルネックモデル(coop-CBM)を提案し,性能トレードオフを克服する。
  論文  参考訳（メタデータ） (2023-11-18T15:50:07Z)
• Learning to Receive Help: Intervention-Aware Concept Embedding Models [44.1307928713715]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、高レベルの概念セットを使用して予測を構築し、説明することによって、ニューラルネットワークの不透明さに対処する。 近年の研究では、介入効果は概念が介入される順序に大きく依存していることが示されている。 IntCEM(Intervention-Aware Concept Embedding Model)は,テスト時間介入に対するモデルの受容性を改善する新しいCBMアーキテクチャとトレーニングパラダイムである。
  論文  参考訳（メタデータ） (2023-09-29T02:04:24Z)
• Concept Bottleneck Model with Additional Unsupervised Concepts [0.5939410304994348]
  概念ボトルネックモデル(CBM)に基づく新しい解釈可能なモデルを提案する。 CBMは概念ラベルを使用して、中間層を追加の可視層としてトレーニングする。 これら2つの概念をシームレスにトレーニングし,計算量を削減することにより,教師付き概念と教師なし概念を同時に得ることができる。
  論文  参考訳（メタデータ） (2022-02-03T08:30:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。