論文の概要: Supposedly Equivalent Facts That Aren't? Entity Frequency in Pre-training Induces Asymmetry in LLMs

• arxiv url: http://arxiv.org/abs/2503.22362v1
• Date: Fri, 28 Mar 2025 12:12:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 19:09:59.680238
• Title: Supposedly Equivalent Facts That Aren't? Entity Frequency in Pre-training Induces Asymmetry in LLMs
• Title（参考訳）: 事前学習における固有周波数がLLMの非対称性を誘導する
• Authors: Yuan He, Bailan He, Zifeng Ding, Alisia Lupidi, Yuqicheng Zhu, Shuo Chen, Caiqi Zhang, Jiaoyan Chen, Yunpu Ma, Volker Tresp, Ian Horrocks,
• Abstract要約: 非対称性が論理的に等価な事実の認識に存在し、それは対象と対象とに出現する実体の周波数の相違に起因する。 実験の結果,高頻度の被写体と低周波の被写体は,その論理的等価性にもかかわらず,逆の被写体よりもよく認識されていることが明らかとなった。 これらの知見は, 模擬モデル予測における事前学習データの影響を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 34.062839703584444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding and mitigating hallucinations in Large Language Models (LLMs) is crucial for ensuring reliable content generation. While previous research has primarily focused on "when" LLMs hallucinate, our work explains "why" and directly links model behaviour to the pre-training data that forms their prior knowledge. Specifically, we demonstrate that an asymmetry exists in the recognition of logically equivalent facts, which can be attributed to frequency discrepancies of entities appearing as subjects versus objects. Given that most pre-training datasets are inaccessible, we leverage the fully open-source OLMo series by indexing its Dolma dataset to estimate entity frequencies. Using relational facts (represented as triples) from Wikidata5M, we construct probing datasets to isolate this effect. Our experiments reveal that facts with a high-frequency subject and a low-frequency object are better recognised than their inverse, despite their logical equivalence. The pattern reverses in low-to-high frequency settings, and no statistically significant asymmetry emerges when both entities are high-frequency. These findings highlight the influential role of pre-training data in shaping model predictions and provide insights for inferring the characteristics of pre-training data in closed or partially closed LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)における幻覚の理解と緩和は,信頼性の高いコンテンツ生成の確保に不可欠である。 これまでの研究は主に幻覚を「いつ」LLMに焦点を合わせてきたが、我々の研究は「なぜ」モデル行動と事前学習したデータとを直接関連づけている。 具体的には、論理的に等価な事実の認識に非対称性が存在することを示す。 ほとんどの事前トレーニングデータセットはアクセスできないので、Dolmaデータセットをインデックス化してエンティティ頻度を推定することで、完全にオープンソースなOLMoシリーズを活用します。 Wikidata5Mのリレーショナル事実(トリプルとして表現される)を用いて、この効果を分離するために探索データセットを構築した。 実験の結果,高頻度の被写体と低周波の被写体は,その論理的等価性にもかかわらず,逆の被写体よりもよく認識されていることが明らかとなった。 パターンは低周波数から高周波数設定で逆転し、両方の実体が高周波であるときに統計的に有意な非対称性は生じない。 これらの知見は, 模擬モデル予測における事前学習データの影響を浮き彫りにして, 閉じた, あるいは部分的に閉じたLCMにおける事前学習データの特徴を推定するための洞察を与える。

関連論文リスト

• On Linear Representations and Pretraining Data Frequency in Language Models [54.756179696806356]
  本研究では,事前学習データ周波数と実関係の線形表現との関係について検討する。 線形表現の形成が事前学習項周波数と強く結びついていることを示す。 LMにおける線形表現の強さは、モデルの事前学習コーパスに関する信号を含むと結論付けている。
  論文  参考訳（メタデータ） (2025-04-16T19:50:03Z)
• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• Does Data Contamination Detection Work (Well) for LLMs? A Survey and Evaluation on Detection Assumptions [20.51842378080194]
  大規模言語モデル(LLM)は、様々なベンチマークで優れた性能を示し、汎用的なタスクソルバとしての可能性を示している。 LLMは典型的には大量のデータに基づいて訓練されるため、その評価において重要な関心事はデータ汚染である。 データ汚染検出に関する50の論文を体系的にレビューし、基礎となる仮定を分類し、厳格に検証されたかどうかを評価する。
  論文  参考訳（メタデータ） (2024-10-24T17:58:22Z)
• Downstream bias mitigation is all you need [2.7824025230291003]
  本稿では,大規模言語モデル(LLM)による事前学習および微調整後のタスク固有行動におけるバイアスの程度について検討する。 事前トレーニングが重要であることは分かっていますが、モデルが事前トレーニングされた後、微調整データセットにおける共起率のわずかな変化でさえ、モデルのバイアスに大きな影響を及ぼします。
  論文  参考訳（メタデータ） (2024-08-01T14:52:04Z)
• ReCaLL: Membership Inference via Relative Conditional Log-Likelihoods [56.073335779595475]
  ReCaLL (Relative Conditional Log-Likelihood) という新しいメンバーシップ推論攻撃(MIA)を提案する。 ReCaLLは、ターゲットデータポイントを非メンバーコンテキストでプレフィックスする場合、条件付きログライクな状態の相対的変化を調べる。 我々は総合的な実験を行い、ReCaLLがWikiMIAデータセット上で最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-06-23T00:23:13Z)
• Unveiling Imitation Learning: Exploring the Impact of Data Falsity to Large Language Model [6.097530398802087]
  本稿では,音の度合いと言語モデルへの影響の関連性について,指導指導を通して検討する。 具体的には,データセットの事実性と指導調律の相関関係について,複数の興味深い知見を得た。
  論文  参考訳（メタデータ） (2024-04-15T12:20:09Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。