論文の概要: A Causal View of Entity Bias in (Large) Language Models

• arxiv url: http://arxiv.org/abs/2305.14695v2
• Date: Thu, 26 Oct 2023 19:02:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 18:07:03.501480
• Title: A Causal View of Entity Bias in (Large) Language Models
• Title（参考訳）: 大規模言語モデルにおける実体バイアスの因果的見方
• Authors: Fei Wang, Wenjie Mo, Yiwei Wang, Wenxuan Zhou, Muhao Chen
• Abstract要約: ホワイトボックスとブラックボックスの設定の両方において,エンティティバイアスを軽減するための因果介入手法を提案する。 ホワイトボックス設定では,PLMのOOD性能を5.7ポイント,機械読解(MRC)を9.1ポイント向上させる。 ブラックボックス設定下では, 文脈内介入は, GPT-3.5の実体に基づく知識紛争を効果的に軽減し, MRCの正確な一致精度を最大20.5ポイント改善し, REの記憶率を最大17.6ポイント削減する。
• 参考スコア（独自算出の注目度）: 42.64248130399508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Entity bias widely affects pretrained (large) language models, causing them to rely on (biased) parametric knowledge to make unfaithful predictions. Although causality-inspired methods have shown great potential to mitigate entity bias, it is hard to precisely estimate the parameters of underlying causal models in practice. The rise of black-box LLMs also makes the situation even worse, because of their inaccessible parameters and uncalibrated logits. To address these problems, we propose a specific structured causal model (SCM) whose parameters are comparatively easier to estimate. Building upon this SCM, we propose causal intervention techniques to mitigate entity bias for both white-box and black-box settings. The proposed causal intervention perturbs the original entity with neighboring entities. This intervention reduces specific biasing information pertaining to the original entity while still preserving sufficient semantic information from similar entities. Under the white-box setting, our training-time intervention improves OOD performance of PLMs on relation extraction (RE) and machine reading comprehension (MRC) by 5.7 points and by 9.1 points, respectively. Under the black-box setting, our in-context intervention effectively reduces the entity-based knowledge conflicts of GPT-3.5, achieving up to 20.5 points of improvement of exact match accuracy on MRC and up to 17.6 points of reduction in memorization ratio on RE. Our code is available at https://github.com/luka-group/Causal-View-of-Entity-Bias.
• Abstract（参考訳）: エンティティバイアスは事前訓練された(大規模な)言語モデルに大きく影響し、不信な予測を行うためにパラメトリックな知識に依存する。 因果性に触発された手法は、実体バイアスを緩和する大きな可能性を示したが、実際に基礎となる因果モデルのパラメータを正確に推定することは困難である。 ブラックボックスLSMの台頭は、アクセス不能なパラメータと未調整のロジットのため、事態をさらに悪化させる。 これらの問題に対処するため、パラメーターが比較的容易に推定できる特定の構造因果モデル(SCM)を提案する。 このSCMに基づいて、ホワイトボックスとブラックボックスの設定の両方において、エンティティバイアスを軽減する因果介入手法を提案する。 提案された因果的介入は、元のエンティティと隣のエンティティを摂動させる。 この介入は、同じエンティティから十分な意味情報を保存しながら、元のエンティティに関連する特定のバイアス情報を減らす。 ホワイトボックス設定では,関係抽出(re)および機械読解(mrc)におけるplmのood性能を,それぞれ5.7ポイント,9.1ポイント改善した。 ブラックボックス設定下では, 文脈内介入は, GPT-3.5の実体に基づく知識紛争を効果的に軽減し, MRCの正確な一致精度を最大20.5ポイント, REの記憶率を最大17.6ポイント向上させる。 私たちのコードはhttps://github.com/luka-group/Causal-View-of-Entity-Biasで利用可能です。

関連論文リスト

• Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
  Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。 本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:27:07Z)
• Surgical Feature-Space Decomposition of LLMs: Why, When and How? [8.826164604720738]
  トランス言語モデルにおける重みと特徴空間の分解の有効性を実験的に検討する。 本稿では, 外科的切除が, 圧縮と言語モデリング性能のトレードオフに関する重要な洞察を与えることを示す。 モデルバイアスに対する低ランク近似の影響について検討する。
  論文  参考訳（メタデータ） (2024-05-17T07:34:03Z)
• Dissecting Human and LLM Preferences [80.55271307662365]
  人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。 GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。 嗜好に基づく評価は意図的に操作可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-17T14:34:31Z)
• Marginal Debiased Network for Fair Visual Recognition [59.05212866862219]
  本稿では,デバイアス表現を学習するための新しい限界脱バイアスネットワーク(MDN)を提案する。 我々のMDNは、表現不足のサンプルに対して顕著な性能を達成できる。
  論文  参考訳（メタデータ） (2024-01-04T08:57:09Z)
• Impact of Co-occurrence on Factual Knowledge of Large Language Models [25.89517624732426]
  大規模言語モデル(LLM)は、様々なアプリケーションで成功したにもかかわらず、事実的に誤った反応をすることが多い。 その結果,LLMは共起バイアスに弱いことが判明した。
  論文  参考訳（メタデータ） (2023-10-12T12:01:32Z)
• Robust Natural Language Understanding with Residual Attention Debiasing [28.53546504339952]
  本稿では,意図しないバイアスを注意から軽減するエンド・ツー・エンド・デバイアス手法を提案する。 実験により、READはショートカットを除去したOODデータ上でのBERTベースのモデルの性能を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2023-05-28T04:25:04Z)
• ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
  ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。 意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。 本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
  論文  参考訳（メタデータ） (2022-11-10T08:41:40Z)
• Unifying Model Explainability and Robustness for Joint Text Classification and Rationale Extraction [11.878012909876713]
  そこで我々は,AT-BMCという共同分類と合理的抽出モデルを提案する。 混合逆行訓練(AT)は、モデルの堅牢性を改善するために離散的および埋め込み空間における様々な摂動を利用するように設計されており、境界マッチング制約(BMC)は境界情報のガイダンスによりより正確に有理性を見つけるのに役立つ。 ベンチマークデータセットのパフォーマンスは、提案されたAT-BMCが、大きなマージンによる分類と合理性抽出の両方のベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-20T09:48:32Z)
• Debiased Explainable Pairwise Ranking from Implicit Feedback [0.3867363075280543]
  BPR(Bayesian Personalized Ranking)に焦点をあてる。 BPRはアウトプットを説明しないブラックボックスモデルであり、ユーザのレコメンデーションに対する信頼を制限する。 本稿では,項目に基づく説明とともにレコメンデーションを生成する新しい説明可能な損失関数と,それに対応する行列分解モデルを提案する。
  論文  参考訳（メタデータ） (2021-07-30T17:19:37Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。