Fugu-MT 論文翻訳(概要): LLM Web Dynamics: Tracing Model Collapse in a Network of LLMs

論文の概要: LLM Web Dynamics: Tracing Model Collapse in a Network of LLMs

arxiv url: http://arxiv.org/abs/2506.15690v2
Date: Mon, 23 Jun 2025 02:09:58 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-24 14:54:00.39396
Title: LLM Web Dynamics: Tracing Model Collapse in a Network of LLMs
Title（参考訳）: LLM Web Dynamics: LLMのネットワークにおけるモデル崩壊の追跡
Authors: Tianyu Wang, Lingyou Pang, Akira Horiguchi, Carey E. Priebe,
Abstract要約: LLM Web Dynamics(LWD)は,ネットワークレベルでのモデル崩壊を効率的に調査するためのフレームワークである。検索拡張生成(RAG)データベースを用いてインターネットをシミュレートすることにより,モデル出力の収束パターンを解析する。
参考スコア（独自算出の注目度）: 17.054331650590065
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The increasing use of synthetic data from the public Internet has enhanced data usage efficiency in large language model (LLM) training. However, the potential threat of model collapse remains insufficiently explored. Existing studies primarily examine model collapse in a single model setting or rely solely on statistical surrogates. In this work, we introduce LLM Web Dynamics (LWD), an efficient framework for investigating model collapse at the network level. By simulating the Internet with a retrieval-augmented generation (RAG) database, we analyze the convergence pattern of model outputs. Furthermore, we provide theoretical guarantees for this convergence by drawing an analogy to interacting Gaussian Mixture Models.
Abstract（参考訳）: 公的なインターネットからの合成データの利用が増加し、大規模言語モデル(LLM)訓練におけるデータ利用効率が向上した。しかし、モデル崩壊の潜在的な脅威は未だ十分に調査されていない。既存の研究では、単一のモデル設定におけるモデル崩壊を主に検討するか、統計代理にのみ依存する。本稿では,LLM Web Dynamics(LWD)について紹介する。検索拡張生成(RAG)データベースを用いてインターネットをシミュレートすることにより,モデル出力の収束パターンを解析する。さらに、相互作用するガウス混合モデルに類似性を描くことによって、この収束を理論的に保証する。

関連論文リスト

Multi-modal Synthetic Data Training and Model Collapse: Insights from VLMs and Diffusion Models [24.73190742678142]
マルチモーダル視覚言語生成システムにおける生成モデル崩壊のリスクについて検討する。モデル崩壊は、視覚言語アライメントの改善や、画像キャプションタスクのばらつきの増大など、マルチモーダルな文脈において異なる特徴を示す。本研究は,自己改善型マルチエージェントAIシステムにおいて,モデル崩壊のリスクを低減するための初期知見と実践的ガイドラインを提供する。
論文参考訳（メタデータ） (2025-05-10T22:42:29Z)
A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
論文参考訳（メタデータ） (2025-02-26T06:18:13Z)
Machine-generated text detection prevents language model collapse [17.34282527020344]
復号化戦略がモデル崩壊に与える影響について検討する。我々は,機械生成テキスト検出器を訓練し,モデル崩壊を緩和するための重要なサンプリング手法を提案する。
論文参考訳（メタデータ） (2025-02-21T18:22:36Z)
Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
論文参考訳（メタデータ） (2025-02-16T23:13:55Z)
Deep autoregressive density nets vs neural ensembles for model-based offline reinforcement learning [2.9158689853305693]
本稿では、利用可能なデータからシステムダイナミクスを推定し、仮想モデルロールアウトにおけるポリシー最適化を行うモデルベース強化学習アルゴリズムについて考察する。このアプローチは、実際のシステムで破滅的な失敗を引き起こす可能性のあるモデルエラーを悪用することに対して脆弱である。 D4RLベンチマークの1つのよく校正された自己回帰モデルにより、より良い性能が得られることを示す。
論文参考訳（メタデータ） (2024-02-05T10:18:15Z)
Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs [5.488334211013093]
RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
論文参考訳（メタデータ） (2023-02-14T16:14:39Z)
Real-to-Sim: Predicting Residual Errors of Robotic Systems with Sparse Data using a Learning-based Unscented Kalman Filter [65.93205328894608]
我々は,動的・シミュレータモデルと実ロボット間の残差を学習する。学習した残差誤差により、動的モデル、シミュレーション、および実際のハードウェア間の現実的ギャップをさらに埋めることができることを示す。
論文参考訳（メタデータ） (2022-09-07T15:15:12Z)
DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
論文参考訳（メタデータ） (2022-04-03T02:29:11Z)
Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文参考訳（メタデータ） (2020-12-17T15:19:29Z)
Model Embedding Model-Based Reinforcement Learning [4.566180616886624]
モデルベース強化学習(MBRL)は、モデルフリー強化学習(MFRL)よりもサンプル効率が優れていることを示す。しかし、データ生成の容易さとモデルのバイアスとの間には、依然としてトレードオフがある。本稿では,確率的強化学習の枠組みとして,シンプルでエレガントなモデル埋め込み型強化学習(MEMB)アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-16T15:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。