論文の概要: The Oligarch Barely Steers Model Collapse in Multi-Model Ecosystems
- arxiv url: http://arxiv.org/abs/2609.11146v1
- Date: Thu, 10 Sep 2026 06:48:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.235067
- Title: The Oligarch Barely Steers Model Collapse in Multi-Model Ecosystems
- Title（参考訳）: 多モデル生態系におけるOligarch Barely Steersモデル崩壊
- Abstract要約: より少ない、より均一なソースは崩壊を早くし、後のモデルはオリガルトの出力に向かって引きずられるかもしれない。
13のオープンな1--4Bモデルは、3から13人のプレーヤーの自然なエコシステムを形成します。
テスト範囲内では、濃度は目的地も崩壊のペースも設定しない。
- 参考スコア（独自算出の注目度）: 9.563027159959587
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI-generated text is flowing back into the training corpora of the next generation of models. Recursive training on it drives model collapse, and recent work extends the setting to many models feeding one another -- but almost always with the market split evenly, while real generative AI is an oligopoly. Concentration raises two worries: fewer, more uniform sources may make collapse faster, and later models may be dragged toward the oligarch's output. We test both in controlled ecosystems: 13 open 1--4B models form natural ecosystems of 3 to 13 players, plus an injected probe that pushes the top share to 90%; each generation, every model's output is mixed into a shared pool by market share and every model is retrained on that pool from clean base weights, for five generations. Yet within the range we test, neither worry materializes; what emerges instead is an invariance. Making the split more unequal barely changes the speed of collapse. Destinations move even less: the share and identity knobs shift five-generation endpoints by only a few percent of the drift common to all arms -- the ecosystems collapse to nearly the same place. An extreme share paired with the strongest injected bias still does not guarantee steering, and the topic shifts it does produce leave only a faint trace on the ruler that measures collapse. What sets the speed is who supplies the pool and how readily those suppliers are carried along: with every share held fixed, swapping the members of a K=3 ecosystem changes five-generation drift by 2.8x; a share-weighted index of each member's susceptibility explains the speed differences across nineteen arms with R^2 = 0.68; and replacing half the pool with human text roughly halves drift without changing its course. Within the tested range, concentration sets neither the destination nor the pace of collapse; the pace follows whose text fills the pool.
- Abstract（参考訳）: AI生成されたテキストは、次世代モデルのトレーニングコーパスに流れ込んでいます。
再帰的なトレーニングはモデルの崩壊を駆動し、最近の作業は、複数のモデルに設定を拡大する -- しかし、ほぼ常に市場が均等に分裂しているのに対して、実際の生成AIはオリゴポリーである。集中は、より少ない、より均一なソースが崩壊する可能性がある、2つの懸念を提起する。後続のモデルは、オリグアルドの出力に向かって引きずられる可能性がある。我々は、制御されたエコシステムの両方でテストする:13のオープン1-4Bモデルが3から13人のプレーヤーの自然のエコシステムを形成する。そして、各世代は、各モデルのアウトプットが市場シェアによって共有プールに混合され、すべてのモデルは5世代にわたって、クリーンベースウェイトからそのプールでリトレーニングされる。
しかし、テストの範囲内では、心配は実現せず、代わりに現れるのは不変である。
分裂をより不平等にすることは、崩壊の速度をわずかに変化させる。
シェアとアイデンティティノブは5世代のエンドポイントを、すべての腕に共通するドリフトのわずか数パーセントずつシフトさせ、生態系はほぼ同じ場所に崩壊する。
最強の注入バイアスと組み合わせた極端なシェアは、まだステアリングを保証していない。
K=3生態系の部材を交換することで5世代ドリフトが2.8倍に変化し、R^2 = 0.68で19本の腕間でのスピード差が説明される。
テスト範囲内では、濃度は目的地も崩壊のペースも設定しない。
関連論文リスト
- A Fragility Spectrum for Recursive Language-Model Training [9.563027159959587]
異なるモデルが同じプロセスで非常に異なる振る舞いをすることを示す。
5世代後のユニークな4グラムの結果は、チェックポイント毎に0.187から0.940まで様々である。
共有プールの構成を変更したり、人文で混合したりすることで、スピアマンの順序の相関は0.91--0.97に保たれる。
論文 参考訳（メタデータ） (2026-09-10T06:56:22Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - Agora: Collective and Permissionless Internet-Scale Pretraining of Large Language Models [50.733497395381164]
Agoraは、インターネットグレードリンク上の帯域効率の高いパイプライン並列モデルシャーディングと、複数パーティのフォールトトレラントな集団操作を組み合わせる。
Pluralis-8BはFineWeb-Eduの500Bトークン上の8.6B-パラメータモデルのオープンで無許可の事前トレーニング実行である。
論文 参考訳（メタデータ） (2026-07-14T23:32:18Z) - CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression [77.41779716950387]
本稿では,2チャンネル評価プロトコルであるCavewomanについて述べる。
我々は5つのデータセットの8つのモデルを5つの還元レベルで評価し、両方のチャネルは同じ項目で測定した。
論文 参考訳（メタデータ） (2026-06-23T02:56:48Z) - Linear Ensembles Wash Away Watermarks: On the Fragility of Distributional Perturbations in LLMs [13.891118064010898]
ウォーターマーキングは、検出と帰属のためのAI生成テキストに統計的シグネチャを埋め込む。
ユーザが複数のモデルにアクセスすると、透かしは自明に失敗する。
WASH(Watermark Attenuation via Statistical Hybridisation)を導入し,アンサンブル生成における実践的課題を解決する。
論文 参考訳（メタデータ） (2026-05-28T19:34:58Z) - Coupling Models for One-Step Discrete Generation [50.37847093567075]
カップリングモデル(英: Coupling Models)は、離散列とガウス列の間の直接結合を学習する一段階の離散生成モデルである。
単純なデータ間結合と手動で特定したデータ間結合による複雑な連続フローを回避する。
LM1Bテキスト生成パープレキシティを最低パープレキシティ動作ポイントで33%削減する。
論文 参考訳（メタデータ） (2026-05-08T03:40:39Z) - e5-omni: Explicit Cross-modal Alignment for Omni-modal Embeddings [91.3041144166326]
市販の視覚言語モデルをロバストなオムニモーダル埋め込みモデルに適応させる軽量な明示的アライメントレシピであるe5-omniを提案する。
e5-omniは、類似度尺度を整合させるためにモード対応温度校正と、混乱する負の点に焦点を合わせた制御可能な負のカリキュラムと、クロスモーダル幾何に適合するバッチホワイトニングを組み合わせる。
MMEB-V2とAudioCapsの実験では、強いバイモーダルおよびオムニモーダルベースラインよりも一貫した利得を示した。
論文 参考訳（メタデータ） (2026-01-07T07:39:40Z) - Epistemic diversity across language models mitigates knowledge collapse [0.4941630596191806]
生態学にインスパイアされた私たちは、AIエコシステムの多様性、すなわちモデル間の多様性が、このような崩壊を緩和できるかどうかを尋ねる。
モデル性能に対する多様性の影響を調べるため,言語モデルにまたがるトレーニングデータを分割し,10回の自己学習イテレーションで得られたエコシステムを評価する。
以上の結果から,少数の多様なモデルのみを含む生態系は,完全かつ真の分布のリッチな混合を表現できないことが示唆された。
論文 参考訳（メタデータ） (2025-12-17T02:03:28Z) - Consensus Is All You Need: Gossip-Based Reasoning Among Large Language Models [0.0]
ひとつのモデルのみに頼るのではなく、分散システムのゴシッププロトコルからインスピレーションを得ます。
この"ゴシップベースのコンセンサス"が、堅牢で回復力があり、正確なマルチエージェントAI推論につながることが示されています。
論文 参考訳（メタデータ） (2025-08-22T05:49:27Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳（メタデータ） (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。