論文の概要: Pretraining Exposure Explains Popularity Judgments in Large Language Models
- arxiv url: http://arxiv.org/abs/2605.12382v1
- Date: Tue, 12 May 2026 16:45:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:57.027089
- Title: Pretraining Exposure Explains Popularity Judgments in Large Language Models
- Title（参考訳）: 大規模言語モデルにおける普及判断の予知
- Authors: Jamshid Mozafari, Bhawna Piryani, Adam Jatowt,
- Abstract要約: 我々は、完全に観測可能な事前学習データに基づいて、人気バイアスの直接的かつ大規模な分析を行う。
我々は5つのタイプ(Person, Location, Organization, Art, Product)にまたがる2,000のエンティティを分析し、Wikipediaのページビューに対して事前トレーニングされた露出を比較する。
以上の結果から, 事前学習による露光はWikipediaの人気と強く相関し, 実世界のサリエンスにとって有意義なプロキシとして, 露光が有効であることが示唆された。
- 参考スコア（独自算出の注目度）: 25.62862937946865
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) exhibit systematic preferences for well-known entities, a phenomenon often attributed to popularity bias. However, the extent to which these preferences reflect real-world popularity versus statistical exposure during pretraining remains unclear, largely due to the inaccessibility of most training corpora. We provide the first direct, large-scale analysis of popularity bias grounded in fully observable pretraining data. Leveraging the open OLMo models and their complete pretraining corpus, Dolma, we compute precise entity-level exposure statistics across 7.4 trillion tokens. We analyze 2,000 entities spanning five types (Person, Location, Organization, Art, Product) and compare pretraining exposure against Wikipedia pageviews and two elicited LLM popularity signals: direct scalar estimation and pairwise comparison. Our results show that pretraining exposure strongly correlates with Wikipedia popularity, validating exposure as a meaningful proxy for real-world salience during the training period. More importantly, we find that LLM popularity judgments align more closely with exposure than with Wikipedia, especially when elicited via pairwise comparisons. This alignment is strongest for larger models and persists in the long tail, where Wikipedia popularity becomes unreliable. Overall, our findings demonstrate that popularity priors in LLMs are primarily shaped by pretraining statistics rather than external popularity signals, offering concrete evidence that data exposure plays a central role in driving popularity bias.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば人気バイアスに起因する現象である、よく知られたエンティティに対する体系的な嗜好を示す。
しかしながら、これらの嗜好が、事前訓練中の実際の人気と統計的露出を反映している範囲は、ほとんどのトレーニングコーパスが利用できないため、不明である。
我々は、完全に観測可能な事前学習データに基づいて、人気バイアスの直接的かつ大規模な分析を行う。
オープンなOLMoモデルとその完全事前学習コーパスであるDolmaを利用することで、7.4兆トークンにわたる正確なエンティティレベルの露光統計を計算する。
我々は5つのタイプ(Person, Location, Organization, Art, Product)にまたがる2,000のエンティティを分析し、Wikipediaページビューと2つのLLM人気信号、すなわち直接スカラー推定とペア比較を比較した。
以上の結果から,事前学習による露光はWikipediaの人気と強く相関し,実世界のサリエンスにとって有意義な指標となることが示唆された。
さらに重要なのは、LLMの人気判断がWikipediaよりも露出と密接に一致していることです。
このアライメントは、大きなモデルにとって最強であり、ウィキペディアの人気が信頼できないロングテールに留まる。
総じて, LLMにおける普及傾向は, 主に外的人気信号よりも事前学習の統計によって形成され, データ露出が人気バイアスを誘導する中心的な役割を担っているという具体的な証拠が提示されている。
関連論文リスト
- Following the TRAIL: Predicting and Explaining Tomorrow's Hits with a Fine-Tuned LLM [8.031956387083126]
TRAILは、短期的な項目の人気を予測し、忠実な自然言語の説明を生成する、微調整された大規模言語モデルである。
正と負のペアによる対照的な学習を用いて、スコアと説明を構造化されたトレンド信号と整合させる。
広範囲にわたる実験により、TRAILは強いベースラインを上回り、一貫性のある、しっかりとした説明を生み出すことが示されている。
論文 参考訳（メタデータ） (2026-02-04T05:22:52Z) - A Causal Information-Flow Framework for Unbiased Learning-to-Rank [52.54102347581931]
Web検索とレコメンデーションシステムでは、ユーザクリックがランキングモデルのトレーニングに広く使用されている。
本稿では,Unbiased Learning-to-Rankを拡張する因果学習に基づく新たなランキングフレームワークを提案する。
本手法は測定されたバイアスリークを一貫して低減し,ランキング性能を向上させる。
論文 参考訳（メタデータ） (2026-01-09T07:19:35Z) - Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs [51.00909549291524]
大型言語モデル(LLM)は認知バイアスを示す。
これらのバイアスはモデルによって異なり、命令チューニングによって増幅することができる。
これらのバイアスの違いが事前学習、微調整、あるいはランダムノイズに起因するかどうかは不明だ。
論文 参考訳（メタデータ） (2025-07-09T18:01:14Z) - How Knowledge Popularity Influences and Enhances LLM Knowledge Boundary Perception [66.01754585188739]
我々は,質問におけるエンティティの人気,回答におけるエンティティの人気,関係性の人気という3つの観点から,知識の人気を定量化する。
実験により、LLMはより優れたQAパフォーマンス、高い信頼性、より一般的な知識に対するより正確な認識を示すことが示された。
これにより、すべてのモデルとデータセットの平均5.24%の正解率予測の精度が向上する。
論文 参考訳（メタデータ） (2025-05-23T06:42:06Z) - What's Not Said Still Hurts: A Description-Based Evaluation Framework for Measuring Social Bias in LLMs [8.219247185418821]
大規模言語モデル(LLM)は、しばしばトレーニングデータから受け継がれた社会的バイアスを示す。
本稿では、意味レベルでバイアスを評価するために設計された新しいデータセットであるDescription-based Bias Benchmark(DBB)を紹介する。
我々は6つの最先端LCMを分析し、モデルが項レベルでの応答バイアスを減少させる一方で、微妙な設定でバイアスを補強し続けていることを明らかにした。
論文 参考訳（メタデータ） (2025-02-27T04:25:54Z) - How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。
その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
論文 参考訳（メタデータ） (2024-11-28T16:20:25Z) - Understanding the Interplay of Scale, Data, and Bias in Language Models: A Case Study with BERT [4.807994469764776]
モデルスケールと事前学習データが学習した社会バイアスに与える影響について検討する。
実験の結果,事前学習したデータは,モデルスケールで上流バイアスがどのように進化するかに大きな影響を及ぼすことがわかった。
データとモデルスケールの複雑な相互作用に光を当て、それが具体的なバイアスにどのように変換されるかを調査しました。
論文 参考訳（メタデータ） (2024-07-25T23:09:33Z) - Popularity-Aware Alignment and Contrast for Mitigating Popularity Bias [34.006766098392525]
協調フィルタリング(CF)は通常、現実のデータセットにおけるアイテムの不均一な分布のため、人気バイアスの課題に悩まされる。
このバイアスは、人気アイテムと不人気アイテムの間にかなりの精度のギャップをもたらす。
本稿では,2つの課題に対処するために,PAAC(Popularity-Aware Alignment and Contrast)を提案する。
論文 参考訳（メタデータ） (2024-05-31T09:14:48Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-11T12:02:14Z) - Evaluation of Social Biases in Recent Large Pre-Trained Models [1.5749416770494706]
我々は、より新しい事前学習モデルがリリースされるにつれて、バイアス低減の一般的な傾向について研究する。
最近の3つのモデル(ELECTRA、DeBERTa、DistilBERT)が選択され、StereoSetとCrowS-Pairsの2つのバイアスベンチマークに対して評価される。
進歩が進行し、より新しく、より速く、より軽量なモデルがリリースされるかどうかを調査する。
論文 参考訳（メタデータ） (2023-04-13T23:29:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。