論文の概要: Disentangling Spurious Correlations: How IRM Handles Diverse Shortcuts in Text Classification
- arxiv url: http://arxiv.org/abs/2611.17107v1
- Date: Thu, 12 Nov 2026 17:03:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.56282
- Title: Disentangling Spurious Correlations: How IRM Handles Diverse Shortcuts in Text Classification
- Title(参考訳): IRMがテキスト分類における横断的ショートカットをどう扱うか
- Abstract要約: 不変リスク最小化(IRM)は、環境全体にわたって安定している予測関係を識別することで、ショートカットを抑えることを目的としている。
IRMを3つのショートカット生成機構,ラベル生成機能,コンバウンディング,選択バイアスの下で評価するために因果性駆動型フレームワークを用いる。
以上の結果から,ITMは評価された因果関係および反因果関係構造を横断するショートカットを拒絶することに成功した。
- 参考スコア(独自算出の注目度): 8.800618541557176
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In NLP, models trained via Empirical Risk Minimization (ERM) often exploit spurious correlations, such as dialectal markers, at the expense of robust linguistic features, thereby degrading their out-of-distribution (OOD) generalization. Invariant Risk Minimization (IRM) aims to suppress such shortcuts by identifying predictive relationships that remain stable across environments, but its practical utility for NLP remains debated. We use a causality-driven framework to evaluate IRM under three shortcut-generating mechanisms: label-generated features, confounding, and selection bias. Our results show that IRM successfully rejects shortcuts across the evaluated causal and anti-causal structures, including under limited environmental variation and increasing label noise. We then extend our analysis beyond controlled synthetic artifacts to two less constrained settings: gender-profession associations in Bias in Bios and semantically loaded actor-name shortcuts in ActorCorr. These experiments show that invariant learning can mitigate more realistic textual shortcuts, while semantically meaningful features require careful calibration of the invariance penalty.
- Abstract(参考訳): NLPでは、経験的リスク最小化(Empirical Risk Minimization, ERM)によって訓練されたモデルは、しばしば、堅牢な言語的特徴を犠牲にして、方言マーカーのような急激な相関を利用して、アウト・オブ・ディストリビューション(OOD)の一般化を低下させる。
Invariant Risk Minimization (IRM) は、環境全体にわたって安定な予測関係を識別することで、そのようなショートカットを抑えることを目的としているが、NLPの実用性については議論が続いている。
IRMを3つのショートカット生成機構,ラベル生成機能,コンバウンディング,選択バイアスの下で評価するために因果性駆動型フレームワークを用いる。
IRMは,環境変動やラベルノイズの増加など,評価された因果・反因果構造におけるショートカットの拒絶に成功している。
次に、制御された合成アーティファクトを超えて、Bias in Biosにおける性プロフェッションアソシエーションと、ActorCorrで意味的にロードされたアクター名ショートカットという、制約の少ない2つの設定まで分析を拡張します。
これらの実験により、不変学習はより現実的なテキストのショートカットを緩和し、意味論的に意味のある特徴は不等式ペナルティを慎重に校正する必要があることが示された。
関連論文リスト
- CARE: Causally-Aligned Reasoning Exploration for Medical Large Language Models [68.18247112359337]
大規模言語モデル(LLM)は、医学的推論に強い可能性を示しているが、専門家による注釈付きデータの不足とコストは、その進歩を妨げている。
本稿では,本質的な経験キュレーションの枠組みであるCausally-Aligned Reasoning Exploration (CARE)を提案する。
CAREは、他の強力な競争相手よりも一貫して優れており、正しいが一貫性のない推論を大幅に削減し、トレーニングの安定性を改善している。
論文 参考訳(メタデータ) (2026-06-29T05:40:35Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳(メタデータ) (2026-04-21T15:05:58Z) - NeuroSymb-MRG: Differentiable Abductive Reasoning with Active Uncertainty Minimization for Radiology Report Generation [17.916502111955456]
NeuroSymb-MRGは,NeuroSymbolic abductive reasoningと能動的不確実性最小化を統合し,構造的,臨床的根拠のある報告を生成する統合フレームワークである。
このシステムは、画像の特徴を確率論的臨床概念にマッピングし、異なる論理ベースの推論チェーンを構成し、それらのチェーンをテンプレート付き節にデコードし、検索と制約付き言語モデル編集を通じてテキスト出力を洗練する。
論文 参考訳(メタデータ) (2026-03-02T11:31:30Z) - The Emergence of Lab-Driven Alignment Signatures: A Psychometric Framework for Auditing Latent Bias and Compounding Risk in Generative AI [0.0]
本稿では,不確実性の下での潜在特性推定を定量化する新しい監査フレームワークを提案する。
この研究は最適化バイアス、Sycophancy、Status-Quo Legitimizationを含む9つの次元にわたる主要なモデルを監査している。
論文 参考訳(メタデータ) (2026-02-19T06:56:01Z) - Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。
フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。
算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
論文 参考訳(メタデータ) (2025-11-13T07:26:01Z) - Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。
シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。
マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
論文 参考訳(メタデータ) (2025-10-09T04:48:49Z) - Robust Invariant Representation Learning by Distribution Extrapolation [3.5051814539447474]
不変リスク最小化(IRM)は、ディープラーニングにおけるアウト・オブ・ディストリビューションの一般化を可能にすることを目的としている。
IRMv1を含む既存のアプローチでは、ペナルティベースの単一レベル近似を採用している。
合成分布シフトによるITMペナルティの増大により環境多様性を高める新しい枠組みが提案されている。
論文 参考訳(メタデータ) (2025-05-22T02:03:34Z) - Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。
グループDROフレームワークをQ-Diversityを提案して再構築する。
インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
論文 参考訳(メタデータ) (2023-05-20T07:02:27Z) - Towards Imperceptible Document Manipulations against Neural Ranking
Models [13.777462017782659]
本稿では,Imberceptible DocumEnt Manipulation (IDEM) というフレームワークを提案する。
IDEMは、BARTのような確立された生成言語モデルに、容易に検出できるエラーを発生させることなく、接続文を生成するよう指示する。
対象文書の流速と正しさを保ちながら, IDEM が強いベースラインを上回り得ることを示す。
論文 参考訳(メタデータ) (2023-05-03T02:09:29Z) - Unbiased Risk Estimators Can Mislead: A Case Study of Learning with
Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。
勾配推定の品質はリスク最小化においてより重要であることを示す。
本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-05T04:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。