論文の概要: A Causal View of Entity Bias in (Large) Language Models

• arxiv url: http://arxiv.org/abs/2305.14695v1
• Date: Wed, 24 May 2023 03:59:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 19:58:54.811426
• Title: A Causal View of Entity Bias in (Large) Language Models
• Title（参考訳）: 大規模言語モデルにおける実体バイアスの因果的見方
• Authors: Fei Wang, Wenjie Mo, Yiwei Wang, Wenxuan Zhou, Muhao Chen
• Abstract要約: ホワイトボックスとブラックボックスの設定の両方において,エンティティバイアスを軽減するための因果介入手法を提案する。 トレーニング時間の介入により,RoBERTaのF1スコアはEntREDの5.7ポイント向上した。 我々の文脈内介入は、GPT-3.5におけるパラメトリック知識と文脈知識との間の知識の衝突を効果的に軽減する。
• 参考スコア（独自算出の注目度）: 29.902952864380495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Entity bias widely affects pretrained (large) language models, causing them to excessively rely on (biased) parametric knowledge to make unfaithful predictions. Although causality-inspired methods have shown great potential to mitigate entity bias, it is hard to precisely estimate the parameters of underlying causal models in practice. The rise of black-box LLMs also makes the situation even worse, because of their inaccessible parameters and uncalibrated logits. To address these problems, we propose a specific structured causal model (SCM) whose parameters are comparatively easier to estimate. Building upon this SCM, we propose causal intervention techniques to mitigate entity bias for both white-box and black-box settings. The proposed causal intervention perturbs the original entity with neighboring entities. This intervention reduces specific biasing information pertaining to the original entity while still preserving sufficient common predictive information from similar entities. When evaluated on the relation extraction task, our training-time intervention significantly improves the F1 score of RoBERTa by 5.7 points on EntRED, in which spurious shortcuts between entities and labels are removed. Meanwhile, our in-context intervention effectively reduces the knowledge conflicts between parametric knowledge and contextual knowledge in GPT-3.5 and improves the F1 score by 9.14 points on a challenging test set derived from Re-TACRED.
• Abstract（参考訳）: エンティティバイアスは事前訓練された(大規模な)言語モデルに大きく影響し、不信な予測を行うために過度にパラメトリックな知識に依存する。 因果性に触発された手法は、実体バイアスを緩和する大きな可能性を示したが、実際に基礎となる因果モデルのパラメータを正確に推定することは困難である。 ブラックボックスLSMの台頭は、アクセス不能なパラメータと未調整のロジットのため、事態をさらに悪化させる。 これらの問題に対処するため、パラメーターが比較的容易に推定できる特定の構造因果モデル(SCM)を提案する。 このSCMに基づいて、ホワイトボックスとブラックボックスの設定の両方において、エンティティバイアスを軽減する因果介入手法を提案する。 提案された因果的介入は、元のエンティティと隣のエンティティを摂動させる。 この介入は、同じエンティティから十分な共通予測情報を保存しながら、元のエンティティに関連する特定のバイアス情報を削減する。 関係抽出タスクの評価では,RoBERTaのF1スコアをEntREDで5.7ポイント改善し,エンティティとラベルの急激なショートカットを除去した。 一方,文脈内介入は,gpt-3.5におけるパラメトリック知識と文脈知識との知識衝突を効果的に低減し,f1得点を9.14ポイント向上させる。

関連論文リスト

• Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
  Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。 本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:27:07Z)
• Surgical Feature-Space Decomposition of LLMs: Why, When and How? [8.826164604720738]
  トランス言語モデルにおける重みと特徴空間の分解の有効性を実験的に検討する。 本稿では, 外科的切除が, 圧縮と言語モデリング性能のトレードオフに関する重要な洞察を与えることを示す。 モデルバイアスに対する低ランク近似の影響について検討する。
  論文  参考訳（メタデータ） (2024-05-17T07:34:03Z)
• Dissecting Human and LLM Preferences [80.55271307662365]
  人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。 GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。 嗜好に基づく評価は意図的に操作可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-17T14:34:31Z)
• Marginal Debiased Network for Fair Visual Recognition [59.05212866862219]
  本稿では,デバイアス表現を学習するための新しい限界脱バイアスネットワーク(MDN)を提案する。 我々のMDNは、表現不足のサンプルに対して顕著な性能を達成できる。
  論文  参考訳（メタデータ） (2024-01-04T08:57:09Z)
• Impact of Co-occurrence on Factual Knowledge of Large Language Models [25.89517624732426]
  大規模言語モデル(LLM)は、様々なアプリケーションで成功したにもかかわらず、事実的に誤った反応をすることが多い。 その結果,LLMは共起バイアスに弱いことが判明した。
  論文  参考訳（メタデータ） (2023-10-12T12:01:32Z)
• Robust Natural Language Understanding with Residual Attention Debiasing [28.53546504339952]
  本稿では,意図しないバイアスを注意から軽減するエンド・ツー・エンド・デバイアス手法を提案する。 実験により、READはショートカットを除去したOODデータ上でのBERTベースのモデルの性能を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2023-05-28T04:25:04Z)
• ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
  ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。 意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。 本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
  論文  参考訳（メタデータ） (2022-11-10T08:41:40Z)
• Unifying Model Explainability and Robustness for Joint Text Classification and Rationale Extraction [11.878012909876713]
  そこで我々は,AT-BMCという共同分類と合理的抽出モデルを提案する。 混合逆行訓練(AT)は、モデルの堅牢性を改善するために離散的および埋め込み空間における様々な摂動を利用するように設計されており、境界マッチング制約(BMC)は境界情報のガイダンスによりより正確に有理性を見つけるのに役立つ。 ベンチマークデータセットのパフォーマンスは、提案されたAT-BMCが、大きなマージンによる分類と合理性抽出の両方のベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-20T09:48:32Z)
• Debiased Explainable Pairwise Ranking from Implicit Feedback [0.3867363075280543]
  BPR(Bayesian Personalized Ranking)に焦点をあてる。 BPRはアウトプットを説明しないブラックボックスモデルであり、ユーザのレコメンデーションに対する信頼を制限する。 本稿では,項目に基づく説明とともにレコメンデーションを生成する新しい説明可能な損失関数と,それに対応する行列分解モデルを提案する。
  論文  参考訳（メタデータ） (2021-07-30T17:19:37Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。