論文の概要: Adversarial Cooperative Rationalization: The Risk of Spurious Correlations in Even Clean Datasets

• arxiv url: http://arxiv.org/abs/2505.02118v2
• Date: Tue, 06 May 2025 07:07:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 12:42:37.961787
• Title: Adversarial Cooperative Rationalization: The Risk of Spurious Correlations in Even Clean Datasets
• Title（参考訳）: 相互協力的合理化 : クリーンデータセットにおけるスパーラス相関のリスク
• Authors: Wei Liu, Zhongyu Niu, Lang Gao, Zhiying Deng, Jun Wang, Haozhao Wang, Ruixuan Li,
• Abstract要約: 本研究では,協調ゲームで構築した自己合理化フレームワークについて検討する。 このような協調ゲームは、有理抽出中に意図せずサンプリングバイアスを生じさせる可能性がある。
• 参考スコア（独自算出の注目度）: 16.29120098985359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study investigates the self-rationalization framework constructed with a cooperative game, where a generator initially extracts the most informative segment from raw input, and a subsequent predictor utilizes the selected subset for its input. The generator and predictor are trained collaboratively to maximize prediction accuracy. In this paper, we first uncover a potential caveat: such a cooperative game could unintentionally introduce a sampling bias during rationale extraction. Specifically, the generator might inadvertently create an incorrect correlation between the selected rationale candidate and the label, even when they are semantically unrelated in the original dataset. Subsequently, we elucidate the origins of this bias using both detailed theoretical analysis and empirical evidence. Our findings suggest a direction for inspecting these correlations through attacks, based on which we further introduce an instruction to prevent the predictor from learning the correlations. Through experiments on six text classification datasets and two graph classification datasets using three network architectures (GRUs, BERT, and GCN), we show that our method not only significantly outperforms recent rationalization methods, but also achieves comparable or even better results than a representative LLM (llama3.1-8b-instruct).
• Abstract（参考訳）: 本研究では,最初に生成者が入力から最も情報性の高いセグメントを抽出し,次に選択したサブセットを入力に利用する,協調ゲームで構築した自己合理化フレームワークについて検討する。 生成器と予測器は、予測精度を最大化するために協調的に訓練される。 本稿では,このような協調ゲームが,有理抽出中に意図せずサンプリングバイアスを生じさせる可能性を明らかにする。 具体的には、ジェネレータは、選択された合理性候補とラベルとの間に、たとえ元のデータセットに意味的に無関係であったとしても、誤って不正確な相関を生成する可能性がある。 その後、このバイアスの起源を、詳細な理論的分析と経験的証拠の両方を用いて解明する。 本研究は,これらの相関関係を攻撃によって検査する方向を示唆するものであり,予測器が相関関係を学習するのを防ぐための命令をさらに導入するものである。 6つのテキスト分類データセットと2つのグラフ分類データセットを3つのネットワークアーキテクチャ(GRU,BERT,GCN)を用いて実験した結果,本手法は最近の合理化手法を著しく上回るだけでなく,LLM(llama3.1-8b-instruct)よりも優れた結果が得られることがわかった。

関連論文リスト

• Ranking and Combining Latent Structured Predictive Scores without Labeled Data [2.5064967708371553]
  本稿では,新しい教師なしアンサンブル学習モデル(SUEL)を提案する。 連続的な予測スコアを持つ予測器のセット間の依存関係を利用して、ラベル付きデータなしで予測器をランク付けし、それらをアンサンブルされたスコアに重み付けする。 提案手法の有効性は、シミュレーション研究とリスク遺伝子発見の現実的応用の両方を通じて厳密に評価されている。
  論文  参考訳（メタデータ） (2024-08-14T20:14:42Z)
• Learning Robust Classifiers with Self-Guided Spurious Correlation Mitigation [26.544938760265136]
  ディープニューラル分類器は、入力のスプリアス属性とターゲットの間のスプリアス相関に頼り、予測を行う。 本稿では,自己誘導型スプリアス相関緩和フレームワークを提案する。 予測行動の違いを識別するために分類器の訓練を行うことで,事前知識を必要とせず,素因関係への依存を軽減できることを示す。
  論文  参考訳（メタデータ） (2024-05-06T17:12:21Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Decoupled Rationalization with Asymmetric Learning Rates: A Flexible Lipschitz Restraint [16.54547887989801]
  自己説明的合理化モデルは、一般的に、生成者が入力テキストから最も人間的な知性のある断片を論理として選択する協調ゲームによって構成され、次に選択された合理性に基づいて予測を行う予測器が続く。 そのような協調ゲームは、予測者がまだ十分に訓練されていないジェネレータによって生成される非形式的ピースに過度に適合する退化問題を生じさせ、それからジェネレータを無意味なピースを選択する傾向にある準最適モデルに収束させる。 我々は、自然かつ柔軟にリプシッツ定数を抑制できるDRという、単純で効果的な手法を実証的に提案する。
  論文  参考訳（メタデータ） (2023-05-23T02:01:13Z)
• An Evaluation Study of Generative Adversarial Networks for Collaborative Filtering [75.83628561622287]
  本研究は、原論文で発表された結果の再現に成功し、CFGANフレームワークと原評価で使用されるモデルとの相違が与える影響について論じる。 この研究は、CFGANと単純でよく知られた適切に最適化されたベースラインの選択を比較した実験的な分析をさらに拡張し、CFGANは高い計算コストにもかかわらず、それらに対して一貫して競合していないことを観察した。
  論文  参考訳（メタデータ） (2022-01-05T20:53:27Z)
• Understanding Interlocking Dynamics of Cooperative Rationalization [90.6863969334526]
  選択的合理化(Selective rationalization)は、ニューラルネットワークの出力を予測するのに十分な入力の小さなサブセットを見つけることによって、複雑なニューラルネットワークの予測を説明する。 このような合理化パラダイムでは,モデルインターロックという大きな問題が浮かび上がっている。 A2Rと呼ばれる新しい合理化フレームワークを提案し、アーキテクチャに第3のコンポーネントを導入し、選択とは対照的にソフトアテンションによって駆動される予測器を提案する。
  論文  参考訳（メタデータ） (2021-10-26T17:39:18Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。