論文の概要: Avoiding Leakage Poisoning: Concept Interventions Under Distribution Shifts
- arxiv url: http://arxiv.org/abs/2504.17921v1
- Date: Thu, 24 Apr 2025 20:24:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.57111
- Title: Avoiding Leakage Poisoning: Concept Interventions Under Distribution Shifts
- Title（参考訳）: 漏洩防止 - 配電系統における概念介入-
- Authors: Mateo Espinosa Zarlenga, Gabriele Dominici, Pietro Barbiero, Zohreh Shams, Mateja Jamnik,
- Abstract要約: 本稿では,概念ベースモデル(CM)がアウト・オブ・ディストリビューション(OOD)の入力にどのように反応するかを検討する。
我々はMixCEMという新しいCMを紹介した。これは、この情報が流通中である場合に限って、その概念から漏れた漏洩情報を動的に活用することを学ぶ。
- 参考スコア（独自算出の注目度）: 10.806525657355872
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we investigate how concept-based models (CMs) respond to out-of-distribution (OOD) inputs. CMs are interpretable neural architectures that first predict a set of high-level concepts (e.g., stripes, black) and then predict a task label from those concepts. In particular, we study the impact of concept interventions (i.e., operations where a human expert corrects a CM's mispredicted concepts at test time) on CMs' task predictions when inputs are OOD. Our analysis reveals a weakness in current state-of-the-art CMs, which we term leakage poisoning, that prevents them from properly improving their accuracy when intervened on for OOD inputs. To address this, we introduce MixCEM, a new CM that learns to dynamically exploit leaked information missing from its concepts only when this information is in-distribution. Our results across tasks with and without complete sets of concept annotations demonstrate that MixCEMs outperform strong baselines by significantly improving their accuracy for both in-distribution and OOD samples in the presence and absence of concept interventions.
- Abstract（参考訳）: 本稿では,概念ベースモデル(CM)がアウト・オブ・ディストリビューション(OOD)の入力にどのように反応するかを検討する。
CMは、まず高レベルの概念(例えば、ストライプ、黒)のセットを予測し、次にそれらの概念からタスクラベルを予測する、解釈可能なニューラルネットワークアーキテクチャである。
特に、入力がOODであるときのCMのタスク予測に対する概念介入(つまり、人間の専門家がテスト時にCMの誤予測概念を補正する操作)の影響について検討する。
本分析では,OOD入力を介在する際の精度向上を阻害する,漏れ毒と呼ばれる現状のCMの弱点を明らかにした。
そこで我々はMixCEMという新しいCMを紹介した。これは、この情報が流通中である場合に限って、その概念から漏れた漏洩情報を動的に活用することを学ぶ新しいCMである。
この結果から,MixCEMは,概念介入の有無と存在下での分布内サンプルとOODサンプルの精度を著しく向上し,高いベースラインを達成できることが示唆された。
関連論文リスト
- LLM Pretraining with Continuous Concepts [71.98047075145249]
次のトークン予測は、大規模言語モデルの事前トレーニングで使用される標準的なトレーニング目標である。
離散的な次のトークン予測と連続的な概念を組み合わせた新しい事前学習フレームワークであるContinuous Concept Mixing (CoCoMix)を提案する。
論文 参考訳（メタデータ） (2025-02-12T16:00:11Z) - What If the Input is Expanded in OOD Detection? [77.37433624869857]
Out-of-distriion (OOD) 検出は未知のクラスからのOOD入力を特定することを目的としている。
In-distriion(ID)データと区別するために,様々なスコアリング関数を提案する。
入力空間に異なる共通の汚職を用いるという、新しい視点を導入する。
論文 参考訳（メタデータ） (2024-10-24T06:47:28Z) - The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。
我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
論文 参考訳（メタデータ） (2024-10-12T07:02:04Z) - Tree-Based Leakage Inspection and Control in Concept Bottleneck Models [3.135289953462274]
概念ボトルネックモデル(CBM)は、最終的な予測を行う前に、入力を中間概念にマッピングすることで解釈可能性を高めることに注目されている。
CBMは、しばしば情報漏洩に悩まされるが、そこでは、概念によってキャプチャされない追加の入力データが、タスクのパフォーマンスを改善するために使用される。
我々は,共同CBMとシーケンシャルCBMの両方をトレーニングするための新しいアプローチを導入し,決定木を用いて漏洩を識別・制御する。
論文 参考訳（メタデータ） (2024-10-08T20:42:19Z) - MulCPred: Learning Multi-modal Concepts for Explainable Pedestrian Action Prediction [57.483718822429346]
MulCPredは、トレーニングサンプルで表されるマルチモーダルな概念に基づいて、その予測を説明する。
MulCPredは複数のデータセットとタスクで評価される。
論文 参考訳（メタデータ） (2024-09-14T14:15:28Z) - On the Concept Trustworthiness in Concept Bottleneck Models [39.928868605678744]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、推論プロセスを、概念マッピングと概念ラベル予測に分解する。
概念からラベルへの予測の透明性にもかかわらず、入力から中間概念へのマッピングはブラックボックスのままである。
概念が関連する領域から導出されているかどうかを評価するために、概念信頼性スコアと呼ばれる先駆的な指標が提案されている。
拡張されたCBMを導入し、特徴マップの異なる部分から概念予測を具体的に行えるようにした。
論文 参考訳（メタデータ） (2024-03-21T12:24:53Z) - Eliminating Information Leakage in Hard Concept Bottleneck Models with
Supervised, Hierarchical Concept Learning [17.982131928413096]
概念ボトルネックモデル(Concept Bottleneck Models、CBM)は、人間の理解できない概念で特徴やラベルをブリッジすることで、解釈可能で介入可能な予測を提供することを目的としている。
CBMは情報漏洩に悩まされ、概念以外の意図しない情報がその後のラベル予測にリークされる。
本稿では,CBMの新たなパラダイム,すなわちSupCBMを提案する。
論文 参考訳（メタデータ） (2024-02-03T03:50:58Z) - Do Concept Bottleneck Models Respect Localities? [14.77558378567965]
概念に基づく手法は、人間の理解可能な概念を用いてモデル予測を説明する。
ローカリティ(Localities)とは、概念の価値を予測する際に、関連する機能のみを使用することである。
CBMは、独立概念が重複しない特徴部分集合に局所化されている場合でも、局所性を捉えない。
論文 参考訳（メタデータ） (2024-01-02T16:05:23Z) - Causality-aware Concept Extraction based on Knowledge-guided Prompting [17.4086571624748]
概念は自然言語理解の恩恵を受けるが、既存の知識グラフ(KG)では完全とは程遠い。
近年,テキストベースの概念抽出において,事前学習言語モデル (PLM) が広く用いられている。
本稿では, PLM を用いた抽出器に知識誘導型プロンプトを装着することで, 概念バイアスを軽減することを提案する。
論文 参考訳（メタデータ） (2023-05-03T03:36:20Z) - Free Lunch for Generating Effective Outlier Supervision [46.37464572099351]
本稿では, ほぼ現実的な外乱監視を実現するための超効率的な手法を提案する。
提案したtextttBayesAug は,従来の方式に比べて偽陽性率を 12.50% 以上削減する。
論文 参考訳（メタデータ） (2023-01-17T01:46:45Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳（メタデータ） (2022-10-17T14:32:02Z) - On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。
DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
論文 参考訳（メタデータ） (2021-07-01T17:59:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。