論文の概要: Impact of Co-occurrence on Factual Knowledge of Large Language Models

• arxiv url: http://arxiv.org/abs/2310.08256v1
• Date: Thu, 12 Oct 2023 12:01:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 11:42:16.455699
• Title: Impact of Co-occurrence on Factual Knowledge of Large Language Models
• Title（参考訳）: 大規模言語モデルの事実知識に及ぼす共起の影響
• Authors: Cheongwoong Kang and Jaesik Choi
• Abstract要約: 大規模言語モデル(LLM)は、様々なアプリケーションで成功したにもかかわらず、事実的に誤った反応をすることが多い。 その結果,LLMは共起バイアスに弱いことが判明した。
• 参考スコア（独自算出の注目度）: 25.89517624732426
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) often make factually incorrect responses despite their success in various applications. In this paper, we hypothesize that relying heavily on simple co-occurrence statistics of the pre-training corpora is one of the main factors that cause factual errors. Our results reveal that LLMs are vulnerable to the co-occurrence bias, defined as preferring frequently co-occurred words over the correct answer. Consequently, LLMs struggle to recall facts whose subject and object rarely co-occur in the pre-training dataset although they are seen during finetuning. We show that co-occurrence bias remains despite scaling up model sizes or finetuning. Therefore, we suggest finetuning on a debiased dataset to mitigate the bias by filtering out biased samples whose subject-object co-occurrence count is high. Although debiased finetuning allows LLMs to memorize rare facts in the training set, it is not effective in recalling rare facts unseen during finetuning. Further research in mitigation will help build reliable language models by preventing potential errors. The code is available at \url{https://github.com/CheongWoong/impact_of_cooccurrence}.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なアプリケーションで成功したにもかかわらず、事実的に誤った反応をすることが多い。 本稿では,事前学習コーパスの単純な共起統計に大きく依存することが,事実誤りの原因となる主要な要因の1つであると仮定する。 その結果、llmは共起バイアスに対して脆弱であり、正しい回答よりも頻繁に共起する単語を好むと定義されている。 結果として、LLMは、微調整中に見られるにもかかわらず、トレーニング前のデータセットで被写体とオブジェクトが共起することがほとんどない事実を思い出すのに苦労する。 モデルサイズや微調整をスケールアップしても,共起バイアスは残ることを示す。 そこで,対象対象の共起数が高いバイアスサンプルをフィルタリングしてバイアスを緩和するために,デバイアスデータセットの微調整を提案する。 debiased finetuningは、llmがトレーニングセットでまれな事実を記憶することができるが、ファインチューニング中に見当たらないまれな事実を思い出すのに効果的ではない。 緩和に関するさらなる研究は、潜在的なエラーを防ぐことによって、信頼できる言語モデルの構築に役立つだろう。 コードは \url{https://github.com/cheongwoong/impact_of_cooccurrence} で入手できる。

関連論文リスト

• Promoting Equality in Large Language Models: Identifying and Mitigating the Implicit Bias based on Bayesian Theory [29.201402717025335]
  大規模言語モデル(LLM)は、必然的にバイアスのある情報を含む広範なテキストコーパスで訓練される。 我々は、暗黙のバイアス問題を正式に定義し、ベイズ理論に基づくバイアス除去のための革新的な枠組みを開発した。
  論文  参考訳（メタデータ） (2024-08-20T07:40:12Z)
• Nob-MIAs: Non-biased Membership Inference Attacks Assessment on Large Language Models with Ex-Post Dataset Construction [37.69303106863453]
  メンバーシップ推論攻撃 (MIA) は、特定の文書が与えられたLarge Language Models (LLM) プリトレーニングで使用されたかどうかを検出することを目的としている。 本稿では,LLMにおけるMIAの評価について述べる。 我々は、より公平なMIA評価のために、非バイアス'と非分類'のデータセットを作成するアルゴリズムを提案し、検証する。
  論文  参考訳（メタデータ） (2024-08-12T07:49:28Z)
• Downstream bias mitigation is all you need [2.7824025230291003]
  本稿では,大規模言語モデル(LLM)による事前学習および微調整後のタスク固有行動におけるバイアスの程度について検討する。 事前トレーニングが重要であることは分かっていますが、モデルが事前トレーニングされた後、微調整データセットにおける共起率のわずかな変化でさえ、モデルのバイアスに大きな影響を及ぼします。
  論文  参考訳（メタデータ） (2024-08-01T14:52:04Z)
• A Peek into Token Bias: Large Language Models Are Not Yet Genuine Reasoners [58.15511660018742]
  本研究では,大規模言語モデル (LLM) が真の推論能力を持つかどうかを評価するための仮説検証フレームワークを提案する。 我々は,相補的な誤りとシロジカルな問題を特徴とする,注意深く制御された合成データセットを開発した。
  論文  参考訳（メタデータ） (2024-06-16T19:22:53Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• Unbiased Supervised Contrastive Learning [10.728852691100338]
  本研究では,バイアスに頑健な表現を学習する問題に取り組む。 まず、偏りのあるデータを扱う際に、最近の対照的な損失がなぜ失敗するのかを明らかにするための、マージンに基づく理論的枠組みを提案する。 教師付きコントラスト損失(epsilon-SupInfoNCE)を新たに定式化し,正試料と負試料の最小距離をより正確に制御する。 理論的な枠組みのおかげで、極めて偏りのあるデータでもうまく機能する新しい偏りのある正規化損失であるFairKLも提案する。
  論文  参考訳（メタデータ） (2022-11-10T13:44:57Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。