論文の概要: Epistemic Diversity and Knowledge Collapse in Large Language Models

• arxiv url: http://arxiv.org/abs/2510.04226v2
• Date: Tue, 07 Oct 2025 16:07:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 13:19:51.481491
• Title: Epistemic Diversity and Knowledge Collapse in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける疫学の多様性と知識の崩壊
• Authors: Dustin Wright, Sarah Masud, Jared Moore, Srishti Yadav, Maria Antoniak, Chan Young Park, Isabelle Augenstein,
• Abstract要約: 大規模言語モデル(LLM)は、語彙的、意味的、スタイリスティックに同質なテキストを生成する傾向がある。 これは知識崩壊のリスクを生じさせ、同種LLMは時間とともにアクセス可能な情報範囲の縮小を仲介する。 LLM出力における実世界のクレームの変動など、疫学の多様性を測定するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 42.81169404715417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) tend to generate lexically, semantically, and stylistically homogenous texts. This poses a risk of knowledge collapse, where homogenous LLMs mediate a shrinking in the range of accessible information over time. Existing works on homogenization are limited by a focus on closed-ended multiple-choice setups or fuzzy semantic features, and do not look at trends across time and cultural contexts. To overcome this, we present a new methodology to measure epistemic diversity, i.e., variation in real-world claims in LLM outputs, which we use to perform a broad empirical study of LLM knowledge collapse. We test 27 LLMs, 155 topics covering 12 countries, and 200 prompt variations sourced from real user chats. For the topics in our study, we show that while newer models tend to generate more diverse claims, nearly all models are less epistemically diverse than a basic web search. We find that model size has a negative impact on epistemic diversity, while retrieval-augmented generation (RAG) has a positive impact, though the improvement from RAG varies by the cultural context. Finally, compared to a traditional knowledge source (Wikipedia), we find that country-specific claims reflect the English language more than the local one, highlighting a gap in epistemic representation
• Abstract（参考訳）: 大規模言語モデル(LLM)は、語彙的、意味的、スタイリスティックに同質なテキストを生成する傾向がある。 これは知識崩壊のリスクを生じさせ、同種LLMは時間とともにアクセス可能な情報範囲の縮小を仲介する。 ホモジェナイゼーションに関する既存の研究は、閉じた複数の選択のセットアップやファジィなセマンティックな特徴に焦点をあてることによって制限され、時間と文化の文脈におけるトレンドを見ない。 そこで本研究では, LLMの知識崩壊に関する広範な実証研究を行うために, LLM出力における現実世界のクレームの変動など, 疫学の多様性を測定する新しい手法を提案する。 我々は27のLSM、12カ国を対象とする155のトピック、および実際のユーザチャットから派生した200のプロンプトをテストした。 本研究のトピックスでは,新しいモデルはより多様なクレームを生成する傾向にあるが,ほぼすべてのモデルは基本的なWeb検索よりも認識上の多様性が低いことを示す。 我々は,RAGによる改善は文化的文脈によって異なるが,モデルサイズが上皮の多様性に負の影響を及ぼすのに対し,検索増強世代(RAG)は肯定的な影響を及ぼすことがわかった。 最後に、従来の知識ソース(Wikipedia)と比較して、国固有の主張は、現地語よりも英語を反映しており、疫学的な表現のギャップを浮き彫りにしている。

関連論文リスト

• Multilingual Prompting for Improving LLM Generation Diversity [17.303344767549337]
  大きな言語モデル(LLM)は、その世代における文化的表現と全体的な多様性が欠如していることが知られている。 多言語プロンプト(multilingual prompting) - 複数の文化からの文化的・言語的手がかりを付加したベースプロンプトの様々なバリエーションを生成するプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2025-05-21T07:59:21Z)
• Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English [66.97110551643722]
  本研究では,Large Language Models (LLMs) 推論タスクにおける方言の相違について検討する。 LLMは、AAE入力に対するより正確な応答とより単純な推論チェーンと説明を生成する。 これらの知見は、LLMの処理方法と異なる言語品種の理由の体系的差異を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-06T05:15:34Z)
• ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models [75.05436691700572]
  明示的な因果推論において,LLM(Large Language Models)を評価するための新しいデータセットであるExpliCaを紹介する。 ExpliCa上で7つの商用およびオープンソース LLM をテストしました。 驚くべきことに、モデルは因果関係と時間的関係を関連付ける傾向にあり、そのパフォーマンスはイベントの言語的順序にも強く影響される。
  論文  参考訳（メタデータ） (2025-02-21T14:23:14Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• NEO-BENCH: Evaluating Robustness of Large Language Models with Neologisms [19.863120275409393]
  我々は、いくつかの一般的な収集手法を用いて、近年のイングランドのネオロジズムの多様な資源を創出する。 我々は新語を含む文と新語を置き換えたほぼ同一の文とを既存の代用語と比較することにより,時間的ドリフトを分析する。 モデル性能は1つの新語が文中に導入されるとき、機械翻訳においてほぼ半減する。
  論文  参考訳（メタデータ） (2024-02-19T16:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。