論文の概要: Maximum Likelihood Estimation for Entity Ranking under Iterative Synthetic Data Augmentation

• arxiv url: http://arxiv.org/abs/2609.32987v1
• Date: Sat, 26 Sep 2026 22:35:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:28:51.685614
• Title: Maximum Likelihood Estimation for Entity Ranking under Iterative Synthetic Data Augmentation
• Title（参考訳）: 反復合成データ拡張によるエンティティランキングの最大値推定
• Abstract要約: スパース比較グラフ上で収集したペア比較を用いて,Bradley-Terry-Luce(BTL)モデルに基づくエンティティのランク付けと推論について検討した。 そこで本研究では,適合モデルから生成した合成比較を元のデータセットに追加する反復的合成拡張ワークフローを解析する。
• 参考スコア（独自算出の注目度）: 6.091884367370882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study entity ranking and inference under the Bradley--Terry--Luce (BTL) model using pairwise comparisons collected over sparse comparison graphs. In practice, collecting high-quality human judgments can be expensive and time-consuming, motivating the use of synthetic data augmentation in model training. We analyze an iterative synthetic augmentation workflow in which synthetic comparisons generated from fitted models are successively added to the original dataset. In this process, the proportion of real data may vanish as the number of iterations grows. However, emerging literature has shown that recursive training on synthetic data can lead to model collapse, raising concerns about the statistical reliability of such augmentation procedures. To this end, we systematically analyze the resulting MLE in finite-sample, high-dimensional regimes. For the resulting iterative maximum likelihood estimator (MLE), we derive its optimal finite-sample $\ell_2$ and $\ell_{\infty}$ statistical rates and establish its asymptotic normality under natural identifiability conditions. We further characterize regimes in which model collapse is avoided despite the diminishing fraction of real data. We validate our theoretical findings through large-scale numerical experiments and an application to the Arena Human Preference 140k dataset.
• Abstract（参考訳）: スパース比較グラフ上で収集したペア比較を用いて,Bradley-Terry-Luce(BTL)モデルに基づくエンティティのランク付けと推論について検討した。 実際には、高品質な人的判断の収集は高価で時間を要する可能性があるため、モデルトレーニングにおける合成データ拡張の利用が動機となっている。 そこで本研究では,適合モデルから生成した合成比較を原データセットに順次付加する反復合成拡張ワークフローを解析する。 このプロセスでは、イテレーションの数が増えるにつれて、実際のデータの比率が消える可能性がある。 しかし、近年の文献では、合成データに対する再帰的な訓練がモデル崩壊を招き、そのような拡張手順の統計的信頼性への懸念が高まっている。 この目的のために、有限サンプル高次元状態における結果のMLEを体系的に解析する。 結果の反復極大推定器 (MLE) に対して、最適な有限サンプル $\ell_2$ と $\ell_{\infty}$ の統計レートを導出し、自然な識別可能性条件の下で漸近正規性を確立する。 さらに、実際のデータが少ないにもかかわらず、モデル崩壊を避けるレギュレーションを特徴付ける。 大規模数値実験による理論的知見の検証と、Arena Human Preference 140kデータセットへの適用について述べる。

関連論文リスト

• Preventing Model Collapse: A Fisher-Rao Perspective on the Dynamics of Training with Synthetic Data [3.785693142241134]
  LLM(Large Language Models)は、合成データを用いて日常的に訓練される。 合成データと新鮮な人間のデータの混合に関するトレーニングは論理的な対策であり、モデル崩壊を防ぐことができる。 我々は,モデル崩壊防止に必要な人的データの最小値について,厳密な理論的保証を確立する。
  論文  参考訳（メタデータ） (2026-09-16T16:14:02Z)
• Valid Inference with Imperfect Synthetic Data [39.10587411316875]
  モーメントの一般化法に基づく新しい推定器を提案する。 合成データのモーメント残差と実データのモーメント間の相互作用は、対象パラメータの推定を大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2025-08-08T18:32:52Z)
• A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
  高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。 モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。 一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
  論文  参考訳（メタデータ） (2025-02-26T06:18:13Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Self-Consuming Generative Models with Curated Data Provably Optimize Human Preferences [20.629333587044012]
  本研究では,データキュレーションが生成モデルの反復的再学習に与える影響について検討する。 報奨モデルに従ってデータをキュレートすると、反復的再訓練手順の期待報酬が最大になることを示す。
  論文  参考訳（メタデータ） (2024-06-12T21:28:28Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。