論文の概要: Epistemic diversity across language models mitigates knowledge collapse

• arxiv url: http://arxiv.org/abs/2512.15011v1
• Date: Wed, 17 Dec 2025 02:03:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-18 17:06:26.827748
• Title: Epistemic diversity across language models mitigates knowledge collapse
• Title（参考訳）: 言語モデル間の疫学多様性は知識崩壊を緩和する
• Authors: Damian Hodel, Jevin D. West,
• Abstract要約: 生態学にインスパイアされた私たちは、AIエコシステムの多様性、すなわちモデル間の多様性が、このような崩壊を緩和できるかどうかを尋ねる。 モデル性能に対する多様性の影響を調べるため,言語モデルにまたがるトレーニングデータを分割し,10回の自己学習イテレーションで得られたエコシステムを評価する。 以上の結果から,少数の多様なモデルのみを含む生態系は,完全かつ真の分布のリッチな混合を表現できないことが示唆された。
• 参考スコア（独自算出の注目度）: 0.4941630596191806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growing use of artificial intelligence (AI) raises concerns of knowledge collapse, i.e., a reduction to the most dominant and central set of ideas. Prior work has demonstrated single-model collapse, defined as performance decay in an AI model trained on its own output. Inspired by ecology, we ask whether AI ecosystem diversity, that is, diversity among models, can mitigate such a collapse. We build on the single-model approach but focus on ecosystems of models trained on their collective output. To study the effect of diversity on model performance, we segment the training data across language models and evaluate the resulting ecosystems over ten, self-training iterations. We find that increased epistemic diversity mitigates collapse, but, interestingly, only up to an optimal level. Our results suggest that an ecosystem containing only a few diverse models fails to express the rich mixture of the full, true distribution, resulting in rapid performance decay. Yet distributing the data across too many models reduces each model's approximation capacity on the true distribution, leading to poor performance already in the first iteration step. In the context of AI monoculture, our results suggest the need to monitor diversity across AI systems and to develop policies that incentivize more domain- and community-specific models.
• Abstract（参考訳）: 人工知能(AI)の利用が増加すると、知識の崩壊、すなわち最も支配的かつ中心的な考え方への関心が高まる。 これまでの作業では、独自のアウトプットでトレーニングされたAIモデルにおいて、パフォーマンスの低下として定義された、単一モデル崩壊が実証された。 生態学にインスパイアされた私たちは、AIエコシステムの多様性、すなわちモデル間の多様性が、このような崩壊を緩和できるかどうかを尋ねる。 私たちは単一モデルアプローチに基づいていますが、全体的なアウトプットに基づいてトレーニングされたモデルのエコシステムに重点を置いています。 モデル性能に対する多様性の影響を調べるため,言語モデルにまたがるトレーニングデータを分割し,10回の自己学習イテレーションで得られたエコシステムを評価する。 てんかんの多様性の増大は崩壊を緩和させるが、興味深いことに、最適なレベルにしか達しない。 以上の結果から,少数の多様なモデルのみを含む生態系は,完全かつ真の分布のリッチな混合を表現できないことが示唆され,性能の急激な低下を招いた。 しかし、データがあまりに多くのモデルに分散すると、真の分散に対する各モデルの近似能力が低下し、最初のイテレーションステップでは既にパフォーマンスが低下しています。 AIモノカルチャーの文脈では、私たちの結果は、AIシステム間の多様性を監視し、より多くのドメインやコミュニティ固有のモデルにインセンティブを与えるポリシーを開発する必要があることを示唆している。

関連論文リスト

• Diversity Has Always Been There in Your Visual Autoregressive Models [78.27363151940996]
  Visual Autoregressive (VAR)モデルは、最近、革新的な次世代の予測パラダイムに対して大きな注目を集めている。 それらの効率にもかかわらず、VARモデルは、数段階の蒸留拡散モデルで観察されたような多様性の崩壊に悩まされることが多い。 本稿では、VARモデルの生成多様性を、追加のトレーニングを必要とせずに復元する、シンプルで効果的なアプローチであるDiverse VARを紹介する。
  論文  参考訳（メタデータ） (2025-11-21T09:24:09Z)
• Continual Learning for Generative AI: From LLMs to MLLMs and Beyond [56.29231194002407]
  本稿では,主流生成型AIモデルに対する連続学習手法の総合的な調査を行う。 これらのアプローチをアーキテクチャベース、正規化ベース、リプレイベースという3つのパラダイムに分類する。 我々は、トレーニング目標、ベンチマーク、コアバックボーンを含む、異なる生成モデルに対する連続的な学習設定を分析する。
  論文  参考訳（メタデータ） (2025-06-16T02:27:25Z)
• Multi-modal Synthetic Data Training and Model Collapse: Insights from VLMs and Diffusion Models [24.73190742678142]
  マルチモーダル視覚言語生成システムにおける生成モデル崩壊のリスクについて検討する。 モデル崩壊は、視覚言語アライメントの改善や、画像キャプションタスクのばらつきの増大など、マルチモーダルな文脈において異なる特徴を示す。 本研究は,自己改善型マルチエージェントAIシステムにおいて,モデル崩壊のリスクを低減するための初期知見と実践的ガイドラインを提供する。
  論文  参考訳（メタデータ） (2025-05-10T22:42:29Z)
• Learning by Surprise: Surplexity for Mitigating Model Collapse in Generative AI [1.6545633988217645]
  合成コンテンツがWebに浸透するにつれて、生成的AIモデルは自身の出力で再訓練される可能性がある。 これによってモデルが崩壊し、世代間でパフォーマンスと多様性が徐々に失われます。 本稿では,モデルの次点確率分布から直接崩壊を特徴付ける新しい尺度を提案する。
  論文  参考訳（メタデータ） (2024-10-16T08:02:48Z)
• Ecosystem-level Analysis of Deployed Machine Learning Reveals Homogeneous Outcomes [72.13373216644021]
  本研究では,機械学習の社会的影響を,特定の文脈に展開されるモデルの集合を考慮し検討する。 デプロイされた機械学習はシステム障害を起こしやすいため、利用可能なすべてのモデルに排他的に誤分類されているユーザもいます。 これらの例は、エコシステムレベルの分析が、機械学習の社会的影響を特徴づける独自の強みを持っていることを示している。
  論文  参考訳（メタデータ） (2023-07-12T01:11:52Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• HierarchyFL: Heterogeneous Federated Learning via Hierarchical Self-Distillation [12.409497615805797]
  フェデレートラーニング(FL)は、プライバシ保護の分散機械学習パラダイムとして認識されている。 FLは、AIoTデバイスのモデル不均一性により、モデル不正確性と緩やかな収束に悩まされる。 我々は、少数の公開データを効率よくスケーラブルな知識に利用する、HierarchyFLという効率的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-05T03:32:10Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。