Fugu-MT 論文翻訳(概要): Decentralized Autoregressive Generation

論文の概要: Decentralized Autoregressive Generation

arxiv url: http://arxiv.org/abs/2601.03184v2
Date: Tue, 13 Jan 2026 11:19:48 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-14 14:06:39.19793
Title: Decentralized Autoregressive Generation
Title（参考訳）: 分散型自己回帰生成
Authors: Stepan Maschan, Haoxuan Qu, Jun Liu,
Abstract要約: 本稿では,自己回帰生成の分散化に関する理論的解析を行う。また,マルチモーダル言語モデルに対する分散学習と集中学習の等価性を実証する実験を行った。
参考スコア（独自算出の注目度）: 13.802706750717961
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a theoretical analysis of decentralization of autoregressive generation. We define the Decentralized Discrete Flow Matching objective, by expressing probability generating velocity as a linear combination of expert flows. We also conduct experiments demonstrating the equivalence between decentralized and centralized training settings for multimodal language models across diverse set of benchmarks. Specifically, we compare two distinct paradigms: LLaVA and InternVL 2.5-1B, which uses a fixed CLIP vision encoder and performs full-parameter fine-tuning (ViT+MLP+LLM) during the instruction tuning stage.
Abstract（参考訳）: 本稿では,自己回帰生成の分散化に関する理論的解析を行う。本稿では,確率生成速度を専門フローの線形結合として表現することにより,分散離散フローマッチングの目的を定義する。また,マルチモーダル言語モデルに対する分散トレーニングと集中トレーニングの等価性を示す実験を行った。具体的には、LLaVAとInternVL 2.5-1Bの2つの異なるパラダイムを比較し、CLIPビジョンエンコーダを使用し、命令チューニング段階でフルパラメータ微調整(ViT+MLP+LLM)を行う。

関連論文リスト

WAM-Flow: Parallel Coarse-to-Fine Motion Planning via Discrete Flow Matching for Autonomous Driving [9.719456684859606]
本稿では,VLAモデルであるWAM-Flowを紹介し,Ego-trajectory Planningをトークン空間上の離散フローマッチングとして利用する。 WAM-Flowは完全に並列で双方向のデノゲーションを実行し、調整可能な計算精度トレードオフによる粗い微細化を可能にする。これらの結果は、エンド・ツー・エンド・エンドの自律運転に期待できる新しいパラダイムとして離散フローマッチングが確立される。
論文参考訳（メタデータ） (2025-12-05T19:36:46Z)
Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文参考訳（メタデータ） (2024-10-09T06:17:16Z)
NTK-DFL: Enhancing Decentralized Federated Learning in Heterogeneous Settings via Neural Tangent Kernel [27.92271597111756]
Decentralized Federated Learning (DFL) は、中央サーバや生のデータ交換なしで参加者間でモデルをトレーニングするための、協調的な機械学習フレームワークである。近年の研究では、集中型フレームワークにおけるフェデレーション学習に適用されたニューラルタンジェントカーネル(NTK)アプローチが、パフォーマンスの向上につながることが示されている。本稿では,NTKベースの進化とモデル平均化の相乗効果を導入しながら,分散環境でクライアントモデルを訓練するためにNTKを活用するアプローチを提案する。
論文参考訳（メタデータ） (2024-10-02T18:19:28Z)
Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
分散学習計算(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方が中央サーバなしでクライアントによって実行されるFL設定をキャプチャする。 $textttDSpodFL$は、ローカルグラデーションとアグリゲーションプロセスの両方において、$textitsporadicity$という一般的な概念に基づいて構築されたDFL方法論である。 $textttDSpodFL$は、さまざまなシステム設定のベースラインと比較して、改善されたスピードを一貫して達成する。
論文参考訳（メタデータ） (2024-02-05T19:02:19Z)
Optimization-Derived Learning with Essential Convergence Analysis of Training and Hyper-training [52.39882976848064]
固定点反復に基づく一般化クラスノセルスキーマンスキースキーム(GKM)を基本ODLモジュールとして設計する。 GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
論文参考訳（メタデータ） (2022-06-16T01:50:25Z)
Decentralized Training of Foundation Models in Heterogeneous Environments [77.47261769795992]
GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
論文参考訳（メタデータ） (2022-06-02T20:19:51Z)
Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文参考訳（メタデータ） (2021-06-15T17:45:51Z)
Consensus Control for Decentralized Deep Learning [72.50487751271069]
ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
論文参考訳（メタデータ） (2021-02-09T13:58:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。