論文の概要: Adaptive Concept Bottleneck for Foundation Models Under Distribution Shifts

• arxiv url: http://arxiv.org/abs/2412.14097v1
• Date: Wed, 18 Dec 2024 17:47:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:49:52.449657
• Title: Adaptive Concept Bottleneck for Foundation Models Under Distribution Shifts
• Title（参考訳）: 分布シフト下における基礎モデルに対する適応的概念ボトルネック
• Authors: Jihye Choi, Jayaram Raghuram, Yixuan Li, Somesh Jha,
• Abstract要約: 複雑で非解釈可能な基礎モデルを解釈可能な意思決定パイプラインに変換するための概念ボトルネックモデルの可能性を探る。 具体的には、このような解釈可能なCBMパイプラインを“野生”で”テスト時にデプロイすることに重点を置いています。 提案手法は,テストデータとの整合性を向上し,デプロイ後の精度を最大28%向上させる。
• 参考スコア（独自算出の注目度）: 33.677249894085186
• License:
• Abstract: Advancements in foundation models (FMs) have led to a paradigm shift in machine learning. The rich, expressive feature representations from these pre-trained, large-scale FMs are leveraged for multiple downstream tasks, usually via lightweight fine-tuning of a shallow fully-connected network following the representation. However, the non-interpretable, black-box nature of this prediction pipeline can be a challenge, especially in critical domains such as healthcare, finance, and security. In this paper, we explore the potential of Concept Bottleneck Models (CBMs) for transforming complex, non-interpretable foundation models into interpretable decision-making pipelines using high-level concept vectors. Specifically, we focus on the test-time deployment of such an interpretable CBM pipeline "in the wild", where the input distribution often shifts from the original training distribution. We first identify the potential failure modes of such a pipeline under different types of distribution shifts. Then we propose an adaptive concept bottleneck framework to address these failure modes, that dynamically adapts the concept-vector bank and the prediction layer based solely on unlabeled data from the target domain, without access to the source (training) dataset. Empirical evaluations with various real-world distribution shifts show that our adaptation method produces concept-based interpretations better aligned with the test data and boosts post-deployment accuracy by up to 28%, aligning the CBM performance with that of non-interpretable classification.
• Abstract（参考訳）: 基礎モデル(FM)の進歩は、機械学習のパラダイムシフトにつながった。 これらの事前訓練された大規模FMのリッチで表現豊かな特徴表現は、複数の下流タスクに利用され、通常は、その表現に続く浅い完全接続ネットワークの軽量な微調整によって行われる。 しかしながら、この予測パイプラインの非解釈可能なブラックボックスの性質は、特に医療、金融、セキュリティといった重要な領域において、課題となる可能性がある。 本稿では、複雑で非解釈可能な基礎モデルから高レベルな概念ベクトルを用いた解釈可能な意思決定パイプラインへ変換するための概念ボトルネックモデル(CBM)の可能性について検討する。 具体的には、入力分布が元のトレーニング分布から頻繁にシフトする、解釈可能なCBMパイプラインの"野生"におけるテストタイムデプロイメントに注目します。 まず、そのようなパイプラインの潜在的な障害モードを、異なるタイプの分散シフトの下で特定する。 次に、これらの障害モードに対応するための適応型概念ボトルネックフレームワークを提案する。これは、ソース(トレーニング)データセットにアクセスすることなく、ターゲットドメインからのラベルのないデータのみに基づいて、概念ベクトルバンクと予測層を動的に適応させる。 実世界の様々な分布シフトを用いた実証的な評価により,本手法はテストデータとの整合性を向上し,デプロイ後の精度を最大28%向上し,CBM性能と非解釈的分類の整合性を示す。

関連論文リスト

• TIDE: Training Locally Interpretable Domain Generalization Models Enables Test-time Correction [14.396966854171273]
  単一ソース領域の一般化の問題を考える。 既存の手法は通常、訓練中に様々な領域を合成的にカバーする広範囲な拡張に依存している。 予測において,そのような局所的な概念を活用するためにモデルを補完する手法を提案する。
  論文  参考訳（メタデータ） (2024-11-25T08:46:37Z)
• Learning Transferable Conceptual Prototypes for Interpretable Unsupervised Domain Adaptation [79.22678026708134]
  本稿では,Transferable Prototype Learning (TCPL) という,本質的に解釈可能な手法を提案する。 この目的を達成するために、ソースドメインからターゲットドメインにカテゴリの基本概念を転送する階層的なプロトタイプモジュールを設計し、基礎となる推論プロセスを説明するためにドメイン共有プロトタイプを学習する。 総合的な実験により,提案手法は有効かつ直感的な説明を提供するだけでなく,従来の最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-12T06:36:41Z)
• Boosted Control Functions: Distribution generalization and invariance in confounded models [10.503777692702952]
  非線形で非同定可能な構造関数が存在する場合でも分布の一般化を可能にする不変性という強い概念を導入する。 フレキシブルな機械学習手法を用いて,ブースト制御関数(BCF)を推定する制御Twicingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:43:46Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Probabilistic electric load forecasting through Bayesian Mixture Density Networks [70.50488907591463]
  確率的負荷予測(PLF)は、スマートエネルギーグリッドの効率的な管理に必要な拡張ツールチェーンの重要なコンポーネントです。 ベイジアン混合密度ネットワークを枠とした新しいPLFアプローチを提案する。 後方分布の信頼性と計算にスケーラブルな推定を行うため,平均場変動推定と深層アンサンブルを統合した。
  論文  参考訳（メタデータ） (2020-12-23T16:21:34Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Calibrated Adversarial Refinement for Stochastic Semantic Segmentation [5.849736173068868]
  本稿では,各予測に関連付けられた確率が,その根拠となる真偽の正しさを反映する,セマンティックマップ上の校正された予測分布を学習するための戦略を提案する。 マルチグレーダのLIDCデータセットと、注入曖昧さのあるCityscapesデータセットに対して、最先端の成果を達成し、アプローチの汎用性と堅牢性を実証する。 本研究は,おもちゃの回帰データセットを用いて実験することにより,校正された予測分布の学習を必要とする他のタスクにコア設計を適用することができることを示す。
  論文  参考訳（メタデータ） (2020-06-23T16:39:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。