論文の概要: Decentralization and Acceleration Enables Large-Scale Bundle Adjustment

• arxiv url: http://arxiv.org/abs/2305.07026v3
• Date: Tue, 8 Aug 2023 18:50:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 17:31:34.684356
• Title: Decentralization and Acceleration Enables Large-Scale Bundle Adjustment
• Title（参考訳）: 分散化と加速により大規模バンドル調整が可能に
• Authors: Taosha Fan, Joseph Ortiz, Ming Hsiao, Maurizio Monge, Jing Dong, Todd Murphey, Mustafa Mukadam
• Abstract要約: 大規模なバンドル調整問題へのスケーリングには、複数のデバイスに分散するデータと計算が必要である。 計算と通信のボトルネックを緩和する完全分散化手法を提案する。 本手法は,メモリ使用量や通信負荷に類似した分散ベースラインよりもはるかに高速に収束する。
• 参考スコア（独自算出の注目度）: 11.464606998782623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling to arbitrarily large bundle adjustment problems requires data and compute to be distributed across multiple devices. Centralized methods in prior works are only able to solve small or medium size problems due to overhead in computation and communication. In this paper, we present a fully decentralized method that alleviates computation and communication bottlenecks to solve arbitrarily large bundle adjustment problems. We achieve this by reformulating the reprojection error and deriving a novel surrogate function that decouples optimization variables from different devices. This function makes it possible to use majorization minimization techniques and reduces bundle adjustment to independent optimization subproblems that can be solved in parallel. We further apply Nesterov's acceleration and adaptive restart to improve convergence while maintaining its theoretical guarantees. Despite limited peer-to-peer communication, our method has provable convergence to first-order critical points under mild conditions. On extensive benchmarks with public datasets, our method converges much faster than decentralized baselines with similar memory usage and communication load. Compared to centralized baselines using a single device, our method, while being decentralized, yields more accurate solutions with significant speedups of up to 953.7x over Ceres and 174.6x over DeepLM. Code: https://joeaortiz.github.io/daba.
• Abstract（参考訳）: 大規模なバンドル調整問題へのスケーリングには、複数のデバイスに分散するデータと計算が必要である。 事前作業における集中型メソッドは、計算と通信のオーバーヘッドのため、中小規模の問題を解決することしかできない。 本稿では,計算と通信のボトルネックを軽減し,任意に大きなバンドル調整問題を解決する完全分散手法を提案する。 再投射誤差を補正し、異なるデバイスから最適化変数を分離する新しい代理関数を導出することにより、これを実現する。 この関数は、最大化最小化技術を使用することを可能にし、並列で解決できる独立最適化サブプロブレムへのバンドル調整を減らす。 さらに、ネステロフの加速と適応再起動を適用し、理論的な保証を維持しながら収束を改善する。 ピアツーピア通信は限られているが,本手法は軽度条件下での1次臨界点への収束が証明可能である。 公開データセットを用いた大規模なベンチマークでは,メモリ使用量や通信負荷に類似した分散ベースラインよりもはるかに高速に収束する。 単一デバイスを用いた集中型ベースラインと比較して、我々の手法は分散化されているものの、Ceresで最大953.7倍、DeepLMで最大174.6倍の精度で解が得られる。 コード: https://joeaortiz.github.io/daba。

関連論文リスト

• Differentially private and decentralized randomized power method [15.955127242261808]
  微分プライバシー(DP)を実現するために導入されたノイズの分散を低減するための戦略を提案する。 精度を保ちながら、計算と通信のオーバーヘッドが低い分散化フレームワークに適応する。 本研究では,集中型環境におけるノイズスケールを,集中型環境におけるノイズスケールと類似した分散化環境で使用することができることを示す。
  論文  参考訳（メタデータ） (2024-11-04T09:53:03Z)
• High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates [50.406127962933915]
  我々はコミュニケーション効率のよい分散ロジスティック回帰モデルを学ぶことができる問題に対する解決策を開発する。 実験では、いくつかの分散更新ステップだけで、分散アルゴリズムよりも精度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-07-08T19:34:39Z)
• Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
  本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。 その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。 その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
  論文  参考訳（メタデータ） (2024-06-26T15:11:26Z)
• AdaGossip: Adaptive Consensus Step-size for Decentralized Deep Learning with Communication Compression [11.290935303784208]
  AdaGossipは、隣り合うエージェント間の圧縮モデルの違いに基づいて、コンセンサスのサイズを適応的に調整する新しい手法である。 提案手法は,通信圧縮による分散学習における最先端の手法と比較して,優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-04-09T00:43:45Z)
• Acceleration in Distributed Optimization Under Similarity [72.54787082152278]
  集中ノードを持たないエージェントネットワーク上での分散(強い凸)最適化問題について検討する。 $varepsilon$-solutionは$tildemathcalrhoObig(sqrtfracbeta/mu (1-)log1/varepsilonbig)$通信ステップ数で達成される。 この速度は、関心のクラスに適用される分散ゴシップ-アルゴリズムの、初めて(ポリログ因子まで)より低い複雑性の通信境界と一致する。
  論文  参考訳（メタデータ） (2021-10-24T04:03:00Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• FedSplit: An algorithmic framework for fast federated optimization [40.42352500741025]
  本稿では,分散凸最小化を付加構造で解くアルゴリズムのクラスであるFedSplitを紹介する。 これらの手法は, 中間局所量の不正確な計算に対して, 確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-05-11T16:30:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。