論文の概要: Incentivised Orchestrated Training Architecture (IOTA): A Technical Primer for Release

• arxiv url: http://arxiv.org/abs/2507.17766v1
• Date: Wed, 16 Jul 2025 15:16:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 15:10:42.121125
• Title: Incentivised Orchestrated Training Architecture (IOTA): A Technical Primer for Release
• Title（参考訳）: インセンティブ付きオーケストレーショントレーニングアーキテクチャ(IOTA:Incentivated Orchestrated Training Architecture) - リリースのための技術プライマー
• Authors: Felix Quinque, Alan Aboudib, Szymon Fonau, Rodrigo Lopez Portillo Alcocer, Brian McCrindle, Steffen Cruz,
• Abstract要約: IOTAはSN9のかつて孤立していたライバルを単一の協力ユニットに変換する。 検証者は各採掘者の貢献を測り、トークンの排出量を比例的に割り当てる。 モデルブートネックを用いて、アクティベーションの通信帯域幅を最大128倍に削減する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In August 2024, Bittensor's Subnet 9 (SN9) demonstrated that a distributed network of incentivized, permissionless actors could each pretrain large language models (LLMs) ranging from 700 million to 14 billion parameters, while surpassing established baselines. While that work validated blockchain-based decentralized pretraining as viable, it contained core issues: (i) every miner had to fit an entire model locally, and (ii) "winner-takes-all" rewards encouraged model hoarding. Here we introduce IOTA (Incentivized Orchestrated Training Architecture), an architecture that addresses these limitations by transforming SN9's previously isolated competitors into a single cooperating unit that can scale arbitrarily while still rewarding each contributor fairly. Key preliminary results: (1) Data- and Pipeline-parallel SWARM architecture - An orchestrator distributes model layers across heterogeneous miners and streams activations between them, enabling model sizes to scale with the number of participants rather than being constrained by the VRAM of a single machine; (2) Granular, continuous incentives - Validators measure each miner's contribution and allocate token emissions proportionally; (3) Activation compression - We used model-bottlenecks to cut communication bandwidths of activations by up to 128x, vastly improving training speed; (4) Butterfly All-Reduce - Miners average disjoint parameter slices in O(1) bandwidth, offering linear scalability, redundancy and built-in collusion detection; (5) CLASP (Contribution Loss Assessment via Sampling of Pathways) - A fair attribution scheme assigns credit to miners proportional to their marginal utility and detects exploits, even when contributions are interdependent across the pipeline.
• Abstract（参考訳）: 2024年8月、BittensorのSubnet 9 (SN9)は、インセンティブ付き無許可アクターの分散ネットワークが、それぞれ7億から1400億のパラメータを含む大きな言語モデル(LLM)を事前訓練できることを示した。 その作業はブロックチェーンベースの分散事前トレーニングが実行可能であることを検証したものの、中核的な問題が含まれていた。 (i)すべての鉱夫は、モデル全体を局所的に適合させる必要があり、 (二)「すべての勝者」報酬はモデルホーディングを奨励した。 ここでは、SN9のこれまで孤立していた競合相手を、任意にスケールできる単一の協調ユニットに変換することで、これらの制限に対処するアーキテクチャであるIOTA(Incentivized Orchestrated Training Architecture)を紹介します。 主な予備的な結果:(1)データとパイプライン並列SWARMアーキテクチャ - オーケストレータは、不均一なマイナとストリームのアクティベーションにモデルレイヤを分散し、単一のマシンのVRAMによって制限されるのではなく、参加者数でモデルサイズをスケールできるようにする。(2)粒状で継続的なインセンティブ - バリケータは、各マイナのコントリビューションを測定し、トークンのエミッションを比例的に割り当てる。

関連論文リスト

• DiLoCoX: A Low-Communication Large-Scale Training Framework for Decentralized Cluster [7.597885871452736]
  そこで我々は,低コミュニケーションの大規模分散クラスタトレーニングフレームワークであるDiLoCoXを提案する。 パイプライン並列性と、通信とローカルトレーニングのデュアルステップ遅延オーバーラップと、適応的なグラディエント圧縮スキームを組み合わせる。 本研究では,DiLoCoXがモデル収束の無視可能な劣化を維持しつつ,分散トレーニングにおいて357倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-06-26T13:45:04Z)
• Incentivizing Permissionless Distributed Learning of LLMs [7.36110927499488]
  textitGauntletは、更新の集約や擬似階調に依存する任意の同期分散トレーニングスキームに適用することができる。 我々は、OpenSkill評価システムを用いて、時間をかけて擬似漸進的なスコアの競合性を追跡する。 私たちのライブ1.2Bは、参加者の貢献の価値に基づいて、実際に価値の高いトークンを支払ったもので、インセンティブシステムの有用性を実証しています。
  論文  参考訳（メタデータ） (2025-05-27T19:11:22Z)
• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)
• Decentralized Diffusion Models [53.89995588977048]
  大規模なAIモデルトレーニングでは、数千のGPU間で作業が分割され、各ステップでグラデーションが同期される。 これにより、集中型のモノリシッククラスタしかサポートできない、ネットワークの重大な負担が発生する。 独立クラスタ間で拡散モデルのトレーニングを分散するスケーラブルなフレームワークである分散拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-01-09T18:59:56Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Unity is Power: Semi-Asynchronous Collaborative Training of Large-Scale Models with Structured Pruning in Resource-Limited Clients [21.59433932637253]
  本研究では,分散データセット上で大規模モデルを協調的に学習するための,巨大不均一な弱い計算能力の可能性を明らかにする。 本稿では,データ分散を考慮した構造化プルーニングとクロスブロック知識伝達機構を備えた,半非同期協調学習フレームワークを提案する。 実験によると、$Cotext-S2P$は、最先端の手法と比較して、精度を最大8.8%改善し、リソース利用を最大1.2$times$に改善している。
  論文  参考訳（メタデータ） (2024-10-11T02:17:50Z)
• Heterogeneity-Aware Coordination for Federated Learning via Stitching Pre-trained blocks [5.621750660969172]
  フェデレートラーニング(FL)は複数のデバイスをコーディネートして、データのプライバシを保持しながら共有モデルを協調的にトレーニングする。 我々は,事前学習ブロックを用いた不均一なフェデレーション学習のための階層的協調フレームワークであるFedStitchを提案する。
  論文  参考訳（メタデータ） (2024-09-11T11:47:50Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Deep Model Reassembly [60.6531819328247]
  我々はDeep Model Reassembly(DeRy)と呼ばれる新しい知識伝達タスクを探索する。 DeRyの目標は、まず各モデルを固有のビルディングブロックに分割し、それから派生したブロックを選択的に再組み立てて、カスタマイズされたネットワークを生成することである。 ImageNetでは、最高の再組み立てモデルは微調整なしで78.6%のトップ1の精度を実現している。
  論文  参考訳（メタデータ） (2022-10-24T10:16:13Z)
• Decentralized Training of Foundation Models in Heterogeneous Environments [77.47261769795992]
  GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。 ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2022-06-02T20:19:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。