論文の概要: Information Gain-Guided Causal Intervention for Autonomous Debiasing Large Language Models

• arxiv url: http://arxiv.org/abs/2504.12898v1
• Date: Thu, 17 Apr 2025 12:39:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:38:55.371061
• Title: Information Gain-Guided Causal Intervention for Autonomous Debiasing Large Language Models
• Title（参考訳）: 大規模言語モデルに対する情報ゲイン誘導型因果介入
• Authors: Zhouhao Sun, Xiao Ding, Li Du, Yunpeng Xu, Yixuan Ma, Yang Zhao, Bing Qin, Ting Liu,
• Abstract要約: 現在の大規模言語モデル(LLM)は、まだデータセットのバイアスをキャプチャして、推論時に利用することができる。 本稿では,情報ゲイン誘導型因果介入脱バイアスフレームワークを提案する。 IGCIDBはLLMを効果的にデバイアスし、様々なタスクにおける一般化性を改善する。
• 参考スコア（独自算出の注目度）: 40.853803921563596
• License:
• Abstract: Despite significant progress, recent studies indicate that current large language models (LLMs) may still capture dataset biases and utilize them during inference, leading to the poor generalizability of LLMs. However, due to the diversity of dataset biases and the insufficient nature of bias suppression based on in-context learning, the effectiveness of previous prior knowledge-based debiasing methods and in-context learning based automatic debiasing methods is limited. To address these challenges, we explore the combination of causal mechanisms with information theory and propose an information gain-guided causal intervention debiasing (IGCIDB) framework. This framework first utilizes an information gain-guided causal intervention method to automatically and autonomously balance the distribution of instruction-tuning dataset. Subsequently, it employs a standard supervised fine-tuning process to train LLMs on the debiased dataset. Experimental results show that IGCIDB can effectively debias LLM to improve its generalizability across different tasks.
• Abstract（参考訳）: 近年の研究では、大きな言語モデル(LLM)は、推論中にまだデータセットのバイアスを捉え、それらを利用する可能性があり、LLMの一般化性は低いことが示されている。 しかし、データセットバイアスの多様性と、文脈内学習に基づくバイアス抑圧の不十分さにより、従来の知識に基づく偏見法と文脈内学習に基づく自動偏見法の有効性は制限されている。 これらの課題に対処するために、情報理論と因果メカニズムの組み合わせを検討し、情報ゲイン誘導因果介入嫌悪(IGCIDB)フレームワークを提案する。 このフレームワークは、まず情報ゲイン誘導因果介入法を用いて、インストラクションチューニングデータセットの分布を自動的に自律的にバランスさせる。 その後、標準の教師付き微調整プロセスを使用して、デバイアスデータセット上でLLMをトレーニングする。 実験の結果,IGCIDBはLLMを効果的にデバイアスし,タスク間の一般化性を向上させることができることがわかった。

関連論文リスト

• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• Understanding and Mitigating the Bias Inheritance in LLM-based Data Augmentation on Downstream Tasks [24.706895491806794]
  この研究は、バイアス継承を理解し、分析し、緩和する最初の体系的な研究である。 6種類のバイアスが、異なるバイアス比でどのように現れるかを分析する。 トークンベース,マスクベース,損失ベースの3つの緩和戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-06T15:20:58Z)
• Causal-Guided Active Learning for Debiasing Large Language Models [40.853803921563596]
  現在の生成型大規模言語モデル(LLM)は、それでもデータセットバイアスを捕捉し、生成に利用することができる。 従来の知識に基づくデバイアス法や微調整に基づくデバイアス法は、現在のLCMには適さない可能性がある。 LLM自体を利用して情報バイアスされたサンプルを自動かつ自律的に識別し,バイアスパターンを誘導する,カジュアル誘導型アクティブラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-23T09:46:15Z)
• Towards Understanding Task-agnostic Debiasing Through the Lenses of Intrinsic Bias and Forgetfulness [10.081447621656523]
  言語モデリング能力に影響を及ぼす影響は、高品質でコンテキストの長いデバイアスコーパスによって緩和することができる。 タスク依存型デバイアスングヒンジの有効性は、下流アプリケーションに使用されるタスク固有データとデバイアスドモデルの両方の量的バイアスレベルに影響を及ぼす。 本稿では,ソーシャル・フェア・デバイアスを下流ファインチューニング,ProSocialTuningに伝達する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-06T15:11:11Z)
• ChatGPT Based Data Augmentation for Improved Parameter-Efficient Debiasing of LLMs [65.9625653425636]
  大型言語モデル(LLM)は有害な社会的バイアスを示す。 そこで本研究では,ChatGPTを用いて合成学習データを生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T01:28:48Z)
• CausalAPM: Generalizable Literal Disentanglement for NLU Debiasing [47.129713744669075]
  我々は因果推論の観点からデータセットバイアスの原因を分析する。 本稿では,特徴の粒度からバイアス問題を改善するために,一般化可能なリテラル分離フレームワークCausalAPMを提案する。
  論文  参考訳（メタデータ） (2023-05-04T14:22:26Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。