論文の概要: Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization

• arxiv url: http://arxiv.org/abs/2605.23464v1
• Date: Fri, 22 May 2026 10:24:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.308848
• Title: Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization
• Title（参考訳）: 難解なプロトコルモデル:軽量化のない協調学習と推論
• Authors: Alexander Long, Chamin Hewa Koneputugodage, Thalaiyasingam Ajanthan, Yan Zuo, Gil Avraham, Violetta Shevchenko, Hadi Mohaghegh Dolatabadi, Sameera Ramasinghe,
• Abstract要約: 参加者が協力して大規模なニューラルネットワークを訓練し、提供する分散セットアップを検討する。 このセットアップでは、フルウェイトセットがどの参加者にも利用できないような、非機械的なウェイトの可能性を探る。 我々は、シャードモデルセットアップを利用するトレーニングおよび推論フレームワーク、Unextractable Protocol Models (UPMs)を紹介する。
• 参考スコア（独自算出の注目度）: 58.14514930760722
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider a decentralized setup in which the participants collaboratively train and serve a large neural network, and where each participant only processes a subset of the model. In this setup, we explore the possibility of unmaterializable weights, where a full weight set is never available to any one participant. We introduce Unextractable Protocol Models (UPMs): a training and inference framework that leverages the sharded model setup to ensure model shards (i.e., subsets) held by participants are incompatible at different time steps. UPMs periodically inject time-varying, random, invertible transforms at participant boundaries; preserving the overall network function yet rendering cross-time assemblies incoherent. On Qwen-2.5-0.5B and Llama-3.2-1B, 10,000 transforms leave FP32 perplexity unchanged ($Δ$PPL $< 0.01$; Jensen-Shannon drift $< 4 \times 10^{-5}$), and we show how to control growth for lower precision datatypes. Applying a transform every 30s adds 3% latency, 0.1% bandwidth, and 10% GPU-memory overhead at inference, while training overhead falls to 1.6% time and $< 1$% memory. We consider several attacks, showing that the requirements of direct attacks are impractical and easy to defend against, and that gradient-based fine-tuning of stitched partitions consumes $\geq 60$% of the tokens required to train from scratch. By enabling models to be collaboratively trained yet not extracted, UPMs make it practical to embed programmatic incentive mechanisms in community-driven decentralized training.
• Abstract（参考訳）: 我々は、参加者が協力して大規模なニューラルネットワークを訓練し、提供し、各参加者がモデルのサブセットのみを処理する分散セットアップを検討する。 このセットアップでは、フルウェイトセットがどの参加者にも利用できないような、非機械的なウェイトの可能性を探る。 参加者が保持するモデルシャード(サブセット)が、異なる時間ステップで互換性がないことを保証するため、シャードモデルのセットアップを活用するトレーニングおよび推論フレームワークである。 UPMは周期的に時間変化、ランダムな非可逆変換を境界線で注入し、全体のネットワーク機能を保ちながら、クロスタイムアセンブリを不整合でレンダリングする。 Qwen-2.5-0.5B と Llama-3.2-1B では、FP32 のパープレクティリティは変化しない(Δ$PPL $< 0.01$; Jensen-Shannon drift $< 4 \times 10^{-5}$)。 30秒毎に変換を適用すると、遅延3%、帯域幅0.1%、推論時のGPUメモリオーバーヘッド10%が増加し、トレーニングオーバーヘッドは1.6%時間と1$%メモリに低下する。 我々は、ダイレクトアタックの要件が実用的ではなく防御が容易であること、スクリッチされたパーティションの勾配に基づく微調整がスクラッチからトレーニングするために必要なトークンの約60ドルを消費していること、など、いくつかの攻撃について検討する。 モデルが協調的に訓練され、抽出されないようにすることで、UPMはコミュニティ主導の分散トレーニングにプログラムによるインセンティブメカニズムを組み込むことが現実的になる。

関連論文リスト

• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs [80.72350166388601]
  Nemotron Elasticは推論指向のLLMを構築するためのフレームワークである。 ネストしたサブモデルを単一の親モデルに組み込む。 これらのサブモデルはそれぞれ、親モデルと重みを共有し、デプロイ中にゼロショットを抽出できる。
  論文  参考訳（メタデータ） (2025-11-20T18:59:21Z)
• Diffusion Language Models are Super Data Learners [61.721441061210896]
  ユニークなデータが限られている場合、拡散言語モデル(DLM)は、よりエポックなトレーニングによって、常に自己回帰モデル(AR)を上回ります。 本研究の目的は,(1) 任意の次数モデリング,(2) 反復的双方向 denoising からの超高次計算,(3) モンテカルロ増分という3つの複合的要因に起因する。
  論文  参考訳（メタデータ） (2025-11-05T08:17:42Z)
• DreamPRM-1.5: Unlocking the Potential of Each Instance for Multimodal Process Reward Model Training [28.02129783121819]
  DreamPRM-1.5は、インスタンスレベルの再重み付けフレームワークで、双方向の最適化を通じて、トレーニング例毎に適応的な重み付けを割り当てる。 MMMU検証セットで84.6の精度、R-Bench-Vで31.3の精度を実現し、リードバックボーンと組み合わせると、公開マルチモーダル推論リーダーボードで1位の結果が得られる。
  論文  参考訳（メタデータ） (2025-09-05T23:42:01Z)
• Vertical Federated Learning with Missing Features During Training and Inference [37.44022318612869]
  本稿では,ニューラルネットワークに基づくモデルの学習と推論を効率的に行うための垂直連合学習手法を提案する。 本手法は, 欠落した特徴がなくても, 最適近傍に線形収束することを示す。
  論文  参考訳（メタデータ） (2024-10-29T22:09:31Z)
• FINE: Factorizing Knowledge for Initialization of Variable-sized Diffusion Models [35.40065954148091]
  FINEはLearngeneフレームワークに基づく、事前訓練されたモデルを利用した下流ネットワークの初期化手法である。 事前学習された知識を行列の積(例えば$U$, $Sigma$, $V$)に分解する。 これは、特により小さなモデルにおいて、直接事前訓練よりも一貫して優れており、可変モデルのサイズで最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-09-28T08:57:17Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• SuperFedNAS: Cost-Efficient Federated Neural Architecture Search for On-Device Inference [7.860030408676541]
  フェデレートラーニング(FL)のためのニューラルアーキテクチャサーチ(NAS)は新興分野である。 プライバシ、通信コスト、規制制限のためにデータが集中できない場合、Deep Neural Networks(DNN)の設計とトレーニングを自動化する。 最近のフェデレーションNAS法は、手作業の労力を減らすだけでなく、FedAvgのような従来のFL法よりも高い精度を達成するのに役立つ。
  論文  参考訳（メタデータ） (2023-01-26T00:17:10Z)
• Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
  本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。 本手法は画像内情報と画像間情報の両方を利用する。 トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
  論文  参考訳（メタデータ） (2021-04-01T08:09:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。