論文の概要: Supposedly Equivalent Facts That Aren't? Entity Frequency in Pre-training Induces Asymmetry in LLMs

• arxiv url: http://arxiv.org/abs/2503.22362v1
• Date: Fri, 28 Mar 2025 12:12:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:31:40.294616
• Title: Supposedly Equivalent Facts That Aren't? Entity Frequency in Pre-training Induces Asymmetry in LLMs
• Title（参考訳）: 事前学習における固有周波数がLLMの非対称性を誘導する
• Authors: Yuan He, Bailan He, Zifeng Ding, Alisia Lupidi, Yuqicheng Zhu, Shuo Chen, Caiqi Zhang, Jiaoyan Chen, Yunpu Ma, Volker Tresp, Ian Horrocks,
• Abstract要約: 非対称性が論理的に等価な事実の認識に存在し、それは対象と対象とに出現する実体の周波数の相違に起因する。 実験の結果,高頻度の被写体と低周波の被写体は,その論理的等価性にもかかわらず,逆の被写体よりもよく認識されていることが明らかとなった。 これらの知見は, 模擬モデル予測における事前学習データの影響を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 34.062839703584444
• License:
• Abstract: Understanding and mitigating hallucinations in Large Language Models (LLMs) is crucial for ensuring reliable content generation. While previous research has primarily focused on "when" LLMs hallucinate, our work explains "why" and directly links model behaviour to the pre-training data that forms their prior knowledge. Specifically, we demonstrate that an asymmetry exists in the recognition of logically equivalent facts, which can be attributed to frequency discrepancies of entities appearing as subjects versus objects. Given that most pre-training datasets are inaccessible, we leverage the fully open-source OLMo series by indexing its Dolma dataset to estimate entity frequencies. Using relational facts (represented as triples) from Wikidata5M, we construct probing datasets to isolate this effect. Our experiments reveal that facts with a high-frequency subject and a low-frequency object are better recognised than their inverse, despite their logical equivalence. The pattern reverses in low-to-high frequency settings, and no statistically significant asymmetry emerges when both entities are high-frequency. These findings highlight the influential role of pre-training data in shaping model predictions and provide insights for inferring the characteristics of pre-training data in closed or partially closed LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)における幻覚の理解と緩和は,信頼性の高いコンテンツ生成の確保に不可欠である。 これまでの研究は主に幻覚を「いつ」LLMに焦点を合わせてきたが、我々の研究は「なぜ」モデル行動と事前学習したデータとを直接関連づけている。 具体的には、論理的に等価な事実の認識に非対称性が存在することを示す。 ほとんどの事前トレーニングデータセットはアクセスできないので、Dolmaデータセットをインデックス化してエンティティ頻度を推定することで、完全にオープンソースなOLMoシリーズを活用します。 Wikidata5Mのリレーショナル事実(トリプルとして表現される)を用いて、この効果を分離するために探索データセットを構築した。 実験の結果,高頻度の被写体と低周波の被写体は,その論理的等価性にもかかわらず,逆の被写体よりもよく認識されていることが明らかとなった。 パターンは低周波数から高周波数設定で逆転し、両方の実体が高周波であるときに統計的に有意な非対称性は生じない。 これらの知見は, 模擬モデル予測における事前学習データの影響を浮き彫りにして, 閉じた, あるいは部分的に閉じたLCMにおける事前学習データの特徴を推定するための洞察を与える。

関連論文リスト

• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• Downstream bias mitigation is all you need [2.7824025230291003]
  本稿では,大規模言語モデル(LLM)による事前学習および微調整後のタスク固有行動におけるバイアスの程度について検討する。 事前トレーニングが重要であることは分かっていますが、モデルが事前トレーニングされた後、微調整データセットにおける共起率のわずかな変化でさえ、モデルのバイアスに大きな影響を及ぼします。
  論文  参考訳（メタデータ） (2024-08-01T14:52:04Z)
• ReCaLL: Membership Inference via Relative Conditional Log-Likelihoods [56.073335779595475]
  ReCaLL (Relative Conditional Log-Likelihood) という新しいメンバーシップ推論攻撃(MIA)を提案する。 ReCaLLは、ターゲットデータポイントを非メンバーコンテキストでプレフィックスする場合、条件付きログライクな状態の相対的変化を調べる。 我々は総合的な実験を行い、ReCaLLがWikiMIAデータセット上で最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-06-23T00:23:13Z)
• Unveiling Imitation Learning: Exploring the Impact of Data Falsity to Large Language Model [6.097530398802087]
  本稿では,音の度合いと言語モデルへの影響の関連性について,指導指導を通して検討する。 具体的には,データセットの事実性と指導調律の相関関係について,複数の興味深い知見を得た。
  論文  参考訳（メタデータ） (2024-04-15T12:20:09Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Measuring and Improving Attentiveness to Partial Inputs with Counterfactuals [91.59906995214209]
  我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。 CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。 実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
  論文  参考訳（メタデータ） (2023-11-16T06:27:35Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Ultra-marginal Feature Importance: Learning from Data with Causal Guarantees [1.2289361708127877]
  データ間の関係を定量化するためにMCI(Marginal contribute feature importance)が開発された。 本稿では,AIフェアネス文学からの依存除去手法を基盤として,ウルトラマージナル特徴重要度(UMFI)を導入する。 UMFIがMCIよりも優れている実データやシミュレーションデータについて,特に相互関係や非関連性の存在下で述べる。
  論文  参考訳（メタデータ） (2022-04-21T07:54:58Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。