論文の概要: DICE: Decentralized Incentive-driven Federated Learning for Efficient & Scalable Customization of Pretrained Models in Web3
- arxiv url: http://arxiv.org/abs/2610.39132v1
- Date: Thu, 29 Oct 2026 01:25:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.441956
- Title: DICE: Decentralized Incentive-driven Federated Learning for Efficient & Scalable Customization of Pretrained Models in Web3
- Title(参考訳): DICE: Web3における事前学習モデルの効率的かつスケーラブルなカスタマイズのための分散インセンティブ駆動型フェデレーションラーニング
- Abstract要約: DICEは、Web3で大規模なPMをカスタマイズする効率性とスケーラビリティの課題に対処する、新しいBCFLアルゴリズムである。
本稿では、Web3で大規模なPMをカスタマイズする際の効率性とスケーラビリティの問題に対処する新しいBCFLアルゴリズムであるDICEを紹介する。
- 参考スコア(独自算出の注目度): 20.380432751382035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Customizing Pretrained Models (PMs) for downstream tasks demands task-specific data, which burgeoning Web3 applications provide abundantly. Blockchain-powered federated learning (BCFL) offers a secure and privacy-preserving paradigm to customize PMs among self-interested and untrusted Web3 participants. Yet, existing BCFL algorithms face severe efficiency and scalability challenges when applied to large PMs, due to their substantial computational and memory requirements and the hardware constraints of many participants. This paper introduces DICE, a novel BCFL algorithm that addresses the efficiency and scalability challenges of customizing large PMs in Web3 via two sets of synergistic techniques: (i) a dynamic progressive learning scheme and a model slice verification scheme to enable a wider range of honest participants, including those unable to deploy the full model, to engage in customizing PMs, while preserving model utility; (ii) a tree-structured committee consensus protocol and an efficiency-driven incentive scheme to address the dominant bottleneck that hinders existing BCFL algorithms from scaling to a larger number of data holders for customizing data-hungry large PMs, while maintaining security. Theoretical analysis and extensive experimental results on customizing vision and language PMs demonstrate DICE's efficiency, effectiveness, and security.
- Abstract(参考訳): ダウンストリームタスクのために事前訓練されたモデル(PM)をカスタマイズするには、タスク固有のデータが必要である。
ブロックチェーンによるフェデレーション学習(BCFL)は、自己関心と信頼できないWeb3参加者の間でPMをカスタマイズするためのセキュアでプライバシ保護のパラダイムを提供する。
しかし、既存のBCFLアルゴリズムは、多くの参加者の計算およびメモリ要求とハードウェア制約のため、大規模なPMに適用する場合、大幅な効率とスケーラビリティの課題に直面している。
本稿では,Web3 の大規模 PM を2組の相乗的手法を用いてカスタマイズする,BCFL アルゴリズム DICE を紹介する。
一 モデル実用性を維持しつつ、PMのカスタマイズに携わることなく、モデル全体を展開できない者を含む、より広範囲の誠実な参加者を対象とする、動的な進歩的学習スキーム及びモデルスライス検証スキーム。
二 木構造委員会コンセンサスプロトコル及び効率主導型インセンティブスキームにより、既存のBCFLアルゴリズムのスケーリングから大量のデータ保持者まで、セキュリティを保ちながらデータ不足の大きなPMをカスタマイズすることを妨げる主要なボトルネックに対処する。
視覚と言語PMのカスタマイズに関する理論的分析と広範な実験結果は、DICEの効率性、有効性、セキュリティを実証している。
関連論文リスト
- Bridging VLMs and Embodied Intelligence with Deliberate Practice Policy Optimization [72.20212909644017]
Deliberate Practice Policy Optimization (DPPO) はメタ認知型メタループのトレーニングフレームワークである。
DPPOは教師付き微調整(能力拡張)と強化学習(技能向上)の交互に行う
実証的には、DPPO(Pelican-VL 1.0)で視覚言語を具現化したモデルをトレーニングすると、ベースモデルよりも20.3%パフォーマンスが向上する。
私たちはモデルとコードをオープンソースにして、データとリソースのボトルネックを軽減する最初の体系的なフレームワークを提供しています。
論文 参考訳(メタデータ) (2025-11-20T17:58:04Z) - FedSelect-ME: A Secure Multi-Edge Federated Learning Framework with Adaptive Client Scoring [0.0]
フェデレートラーニング(FL)は、生データを共有せずに協調的なモデルトレーニングを可能にするが、限られたスケーラビリティ、高い通信コスト、プライバシーリスクに悩まされる。
本稿では,スケーラビリティ,セキュリティ,エネルギー効率を向上させる階層型マルチエッジFLフレームワークであるFedSelect-MEを提案する。
論文 参考訳(メタデータ) (2025-10-29T18:32:08Z) - A Survey on Efficient Vision-Language-Action Models [153.11669266922993]
VLA(Vision-Language-Action Model)は、物理世界の相互作用によってデジタル知識を橋渡しすることを目的とした、インテリジェンスにおける重要なフロンティアである。
これらの課題に緊急に対応する必要性から、この調査は、効率的なビジョン・ランゲージ・アクションモデルに関する最初の包括的なレビューを提示する。
論文 参考訳(メタデータ) (2025-10-27T17:57:33Z) - Privacy-preserving Decision-focused Learning for Multi-energy Systems [2.9564421205334668]
本稿では,MESディスパッチに適したプライバシー保護型DFLフレームワークを提案する。
提案手法では,データ保護のための情報マスキングを導入し,モデル学習に必要な決定変数や勾配の回復を可能にする。
我々はまた、不均一な負荷パターンに対する特殊なDFLモデルのトレーニングを可能にする、プライバシー保護負荷パターン認識アルゴリズムを開発した。
論文 参考訳(メタデータ) (2025-10-23T04:20:50Z) - PRISM: Self-Pruning Intrinsic Selection Method for Training-Free Multimodal Data Selection [68.8373788348678]
ビジュアルインストラクションチューニングは、事前訓練されたマルチモーダル大言語モデルに人間の指示に従うように適応する。
PRISMは、効率的な視覚的命令選択のための最初のトレーニング不要のフレームワークである。
データ選択とモデルチューニングのエンドツーエンドの時間を従来のパイプラインの30%に短縮する。
論文 参考訳(メタデータ) (2025-02-17T18:43:41Z) - Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。
本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
論文 参考訳(メタデータ) (2025-01-08T11:37:06Z) - Model Agnostic Hybrid Sharding For Heterogeneous Distributed Inference [11.39873199479642]
Nesaは、分散AI推論用に設計されたモデルに依存しないシャーディングフレームワークを導入した。
私たちのフレームワークでは、ブロックチェーンベースのディープニューラルネットワークシャーディングを使用して、さまざまなノードネットワークに計算タスクを分散しています。
われわれの結果は、最先端のAI技術へのアクセスを民主化する可能性を強調している。
論文 参考訳(メタデータ) (2024-07-29T08:18:48Z) - Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
機密情報を含む匿名化は、幅広いアプリケーションにとって不可欠である。
既存の技術は、大規模言語モデルの再識別能力の新たな課題に直面している。
本稿では,プライバシ評価器,ユーティリティ評価器,最適化コンポーネントの3つの重要なコンポーネントで構成されるフレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-16T14:28:56Z) - Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
大規模言語モデル(LLM)は、無線ネットワークにおいて大きな変革をもたらしている。
無線環境では、LLMのトレーニングはセキュリティとプライバシに関する重大な課題に直面している。
本稿では,無線ネットワークにおけるLLMのトレーニング段階の体系的解析を行い,事前学習,命令チューニング,アライメントチューニングを行う。
論文 参考訳(メタデータ) (2024-04-20T02:30:21Z) - FedBPT: Efficient Federated Black-box Prompt Tuning for Large Language
Models [22.29061931122386]
プレトレーニング言語モデル (PLM) はNLPのランドスケープに革命をもたらし、様々なタスクで星間パフォーマンスを実現している。
本稿では,これらの課題に対処するためのフレームワークであるFederated Black-box Prompt Tuning(FedBPT)を紹介する。
論文 参考訳(メタデータ) (2023-10-02T16:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。