論文の概要: Harmful Partial Interventions and Benign Leakage in Concept-based Models

• arxiv url: http://arxiv.org/abs/2610.21750v1
• Date: Thu, 15 Oct 2026 12:06:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.060524
• Title: Harmful Partial Interventions and Benign Leakage in Concept-based Models
• Title（参考訳）: 概念モデルにおける有害部分介入と良性漏洩
• Abstract要約: 概念ベースのモデル(CM)は、ユーザが人間の理解可能な概念を検査し、介入できるようにすることで、有望なフレームワークを提供する。 しかし、概念的介入は下流の予測を反故意に悪化させる可能性がある。 概念の監督の不完全性は、制御された環境と現実世界の環境にまたがる介入の害の増加と関連していることを示す。 本稿では,部分的介入軌跡に沿ったタスク損失の直接的増加を考慮に入れた,補完的な単調な介入目標を提案する。
• 参考スコア（独自算出の注目度）: 43.12029849657852
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial intelligence systems deployed in high-risk settings increasingly require models that support meaningful human oversight. Concept-based models (CMs) offer a promising framework by enabling users to inspect and intervene on intermediate, human-understandable concepts. However, concept interventions can counterintuitively worsen downstream predictions, a failure mode we formalise as intervention harm. We distinguish harm after all concepts have been intervened on from harm under partial interventions, the more likely practical use case. Modern CMs often achieve high accuracy by encoding, or leaking, additional task-relevant information in their intermediate concept representations. Recent work argues that such leakage can be benign with respect to intervention harm when concept representations satisfy two conditions: sufficiency and localisation. We prove that these criteria are not sufficient to guarantee that concept interventions improve downstream performance. Across controlled and real-world settings, we find that concept supervision incompleteness is associated with increased intervention harm. Importantly, optimising the model when all concepts are intervened on, a previously proposed leakage mitigation objective, reduces endpoint harm but does not reliably prevent harmful partial corrections. Hence, we introduce a complementary monotonic intervention objective that directly penalises increases in task loss along partial intervention trajectories. Combining endpoint and monotonic intervention training substantially reduces the prevalence and magnitude of partial intervention harm while preserving concept and task predictive performance.
• Abstract（参考訳）: 高リスク環境にデプロイされる人工知能システムは、意味のある人間の監視をサポートするモデルを必要としている。 概念ベースのモデル(CM)は、ユーザーが中間的、人間の理解可能な概念を検査し、介入できるようにすることで、有望なフレームワークを提供する。 しかし、概念的介入は下流の予測を反故意に悪化させる可能性がある。 我々は、すべての概念が部分的介入の下で害から介入された後に害を区別する。 現代のCMは、中間概念表現に付加的なタスク関連情報をエンコードしたり、リークしたりすることで、高い精度を達成することが多い。 最近の研究は、概念表現が充足性と局所性という2つの条件を満たす場合、介入障害に関してそのような漏洩は良性であると主張している。 これらの基準は、コンセプトの介入が下流のパフォーマンスを改善するのに十分でないことを証明します。 制御された実世界の環境の中で、概念の監督の不完全性は介入の害の増加と関連している。 重要なことは、すべての概念が介入されたときにモデルを最適化することであり、以前に提案された漏れ軽減の目的であり、エンドポイントの損傷を低減するが、有害な部分修正を確実に防止しない。 そこで本研究では,部分的介入軌跡に沿ったタスク損失の直接的増加を考慮に入れた,相補的な単調的介入の目的を導入する。 終端と単調な介入訓練を組み合わせることで、概念とタスク予測性能を保ちながら、部分的介入損傷の頻度と大きさを大幅に削減できる。

関連論文リスト

• Rethinking Concept Bottleneck Models: From Pitfalls to Solutions [53.84388497227224]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念の基底予測である。 CBM-Suiteはこれらの課題に対処するための方法論的なフレームワークである。
  論文  参考訳（メタデータ） (2026-03-05T19:37:49Z)
• Does Representation Intervention Really Identify Desired Concepts and Elicit Alignment? [73.80382983108997]
  表現の介入(Representation intervention)は、大規模言語モデルにおいて基礎となる概念を符号化する表現の発見と修正を目的としている。 介入が忠実であれば、介入されたLLMは有害な概念を消去し、非分配的敵のプロンプトとアウト・オブ・ディストリビューションのジェイルブレイクの両方に対して堅牢であるべきである。 本研究では,有害表現と良性表現の境界を簡易化する概念集中(COCA)を提案する。
  論文  参考訳（メタデータ） (2025-05-24T12:23:52Z)
• HybridVLA: Collaborative Diffusion and Autoregression in a Unified Vision-Language-Action Model [54.64088247291416]
  操作ポリシー設計の基本的な目的は、ロボットに人間の指示を理解し、シーンの手がかりを推論し、動的な環境で一般化されたアクションを実行することである。 近年の自己回帰的視覚言語行動(VLA)法は、視覚言語モデル(VLM)から常識推論能力を継承し、次の行動予測を行う。 拡散に基づく行動の連続的な性質と自己回帰の文脈的推論を吸収する統合フレームワークであるHybridVLAを紹介する。
  論文  参考訳（メタデータ） (2025-03-13T17:59:52Z)
• Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。 既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。 本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
  論文  参考訳（メタデータ） (2024-05-02T17:59:01Z)
• A Closer Look at the Intervention Procedure of Concept Bottleneck Models [18.222350428973343]
  概念ボトルネックモデル(コンセプションボトルネックモデル、CBM)は、その高レベルな概念に基づいて与えられた入力のターゲット応答を予測する、解釈可能なニューラルネットワークモデルのクラスである。 CBMは、ドメインの専門家が予測された概念に介入し、テスト時に間違いを修正できるので、最後にもっと正確なタスク予測ができる。 本研究では,介入効果を向上させるために介入概念を選択する様々な方法を開発し,異なる状況下でどのように進化するかを詳細に分析する。
  論文  参考訳（メタデータ） (2023-02-28T02:37:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。