論文の概要: Covenant-72B: Pre-Training a 72B LLM with Trustless Peers Over-the-Internet

• arxiv url: http://arxiv.org/abs/2603.08163v2
• Date: Tue, 10 Mar 2026 09:34:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 12:59:13.039333
• Title: Covenant-72B: Pre-Training a 72B LLM with Trustless Peers Over-the-Internet
• Title（参考訳）: Covenant-72B:インターネット上での信頼できないピアスによる72B LLMの事前評価
• Authors: Joel Lidin, Amir Sarfi, Erfan Miahi, Quentin Anthony, Shivam Chauhan, Evangelos Pappas, Benjamin Thérien, Eugene Belilovsky, Samuel Dare,
• Abstract要約: Covenant-72Bは(計算とモデルスケールの両面で)世界最大規模の事前訓練実行である ライブブロックチェーンプロトコルによってサポートされたオープンで無許可の参加を同時に許可した。 約1.1Tトークンで事前訓練された我々のモデルは、類似または高額の計算予算で完全に集中的な事前訓練と競合する。
• 参考スコア（独自算出の注目度）: 15.196264344134297
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, there has been increased interest in globally distributed training, which has the promise to both reduce training costs and democratize participation in building large-scale foundation models. However, existing models trained in a globally distributed manner are relatively small in scale and have only been trained with whitelisted participants. Therefore, they do not yet realize the full promise of democratized participation. In this report, we describe Covenant-72B, an LLM produced by the largest collaborative globally distributed pre-training run (in terms of both compute and model scale), which simultaneously allowed open, permissionless participation supported by a live blockchain protocol. We utilized a state-of-the-art communication-efficient optimizer, SparseLoCo, supporting dynamic participation with peers joining and leaving freely. Our model, pre-trained on approximately 1.1T tokens, performs competitively with fully centralized models pre-trained on similar or higher compute budgets, demonstrating that fully democratized, non-whitelisted participation is not only feasible, but can be achieved at unprecedented scale for a globally distributed pre-training run.
• Abstract（参考訳）: 近年、グローバルな分散トレーニングへの関心が高まっており、これはトレーニングコストの削減と大規模基盤モデルの構築への参加の民主化の両方を約束している。 しかしながら、グローバルに分散した方法でトレーニングされた既存のモデルは、比較的小規模であり、ホワイトリストの参加者でのみトレーニングされている。 そのため、民主化への参加の完全な約束をまだ理解していない。 本稿では,最大規模のグローバル分散事前トレーニング実行(計算とモデルスケールの両面で)によって生成された,ライブブロックチェーンプロトコルによるオープンかつ無許可の参加を可能にするLLMであるCovenant-72Bについて述べる。 我々は、最先端のコミュニケーション効率最適化ツールであるSparseLoCoを利用して、仲間同士の動的参加を自由に支援した。 約1.1Tトークンを事前学習し、類似またはそれ以上の計算予算で事前学習された完全集中型モデルと競合し、完全に民主化された非ホワイトリストの参加が実現可能であるだけでなく、グローバルに分散された事前学習の実行において、前例のない規模で達成できることを実証した。

関連論文リスト

• Internalizing World Models via Self-Play Finetuning for Agentic RL [65.96875390986655]
  エージェントとしての大規模言語モデル(LLM)は、しばしばアウト・オブ・ディストリビューション(OOD)のシナリオで苦労する。 状態表現と遷移モデリングという2つのコンポーネントに分解することで、この世界モデルをエンコードする方法を示す。 SPAは,世界モデルを学習するために,セルフプレイ指導による微調整段階を通じてポリシーを冷やし始める,シンプルな強化学習フレームワークである。
  論文  参考訳（メタデータ） (2025-10-16T18:03:39Z)
• Incentivised Orchestrated Training Architecture (IOTA): A Technical Primer for Release [0.0]
  IOTAはSN9のかつて孤立していたライバルを単一の協力ユニットに変換する。 検証者は各採掘者の貢献を測り、トークンの排出量を比例的に割り当てる。 モデルブートネックを用いて、アクティベーションの通信帯域幅を最大128倍に削減する。
  論文  参考訳（メタデータ） (2025-07-16T15:16:21Z)
• DiLoCoX: A Low-Communication Large-Scale Training Framework for Decentralized Cluster [7.597885871452736]
  そこで我々は,低コミュニケーションの大規模分散クラスタトレーニングフレームワークであるDiLoCoXを提案する。 パイプライン並列性と、通信とローカルトレーニングのデュアルステップ遅延オーバーラップと、適応的なグラディエント圧縮スキームを組み合わせる。 本研究では,DiLoCoXがモデル収束の無視可能な劣化を維持しつつ,分散トレーニングにおいて357倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-06-26T13:45:04Z)
• PC-MoE: Memory-Efficient and Privacy-Preserving Collaborative Training for Mixture-of-Experts LLMs [56.04036826558497]
  プライバシー保護型コラボレーション・オブ・エクササイズ(PC-MoE)を紹介する。 設計上、PC-MoEは分散計算の強みと強い機密性の保証を相乗的に組み合わせている。 完全に集中したモデルのパフォーマンスと収束率とほぼ一致(時には超える)し、70%近いピークのGPURAMの削減を享受し、再構築攻撃に対して完全に堅牢である。
  論文  参考訳（メタデータ） (2025-06-03T15:00:18Z)
• CYCle: Choosing Your Collaborators Wisely to Enhance Collaborative Fairness in Decentralized Learning [28.70691568233268]
  コラボレーション学習(CL)は、複数の参加者が、生データを共有することなく、分散データソース上で機械学習(ML)モデルを共同でトレーニングすることを可能にする。 CLの主な目標は,各参加者に対して期待される精度向上を最大化することにあるが,利得が公平に分散されていることを保証することも重要である。 既存のCL手法の多くは、集中的な調整を必要とし、公正さを見越して利得のみに焦点をあてる。
  論文  参考訳（メタデータ） (2025-01-21T18:22:16Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Scalable Multi-Agent Model-Based Reinforcement Learning [1.95804735329484]
  我々は,モデルベース強化学習(MBRL)を用いて協調環境における集中型トレーニングをさらに活用するMAMBAという新しい手法を提案する。 エージェント間のコミュニケーションは、実行期間中に各エージェントのワールドモデルを維持するのに十分であり、一方、仮想ロールアウトはトレーニングに使用でき、環境と対話する必要がなくなる。
  論文  参考訳（メタデータ） (2022-05-25T08:35:00Z)
• Secure Distributed Training at Scale [65.7538150168154]
  ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。 本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
  論文  参考訳（メタデータ） (2021-06-21T17:00:42Z)
• FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
  フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。 我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。 パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
  論文  参考訳（メタデータ） (2021-01-27T10:10:18Z)
• 2CP: Decentralized Protocols to Transparently Evaluate Contributivity in Blockchain Federated Learning Environments [9.885896204530878]
  フェデレートラーニングのための2つの新しいプロトコルからなるフレームワークである2CPを紹介する。 Crowdsource Protocolでは、アクターがトレーニングのためにモデルを前進させ、自身のデータを使用して、それに対するコントリビューションを評価することができる。 Consortium Protocolは、初期モデルを所有しておらず、データセットが利用できない場合でも、トレーナーに同じ保証を与える。
  論文  参考訳（メタデータ） (2020-11-15T12:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。