論文の概要: Predicting Block-Coordinate Performance via Cross-Curvature

• arxiv url: http://arxiv.org/abs/2609.33489v1
• Date: Sun, 27 Sep 2026 11:58:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 16:24:10.967103
• Title: Predicting Block-Coordinate Performance via Cross-Curvature
• Title（参考訳）: クロスカーベチャによるブロック座標性能の予測
• Abstract要約: 本稿では,Jacobi (JC), Gauss--Seidel (GS) および部分的決定論的ブロック勾配更新を比較する統一理論を開発した。 これらの式は、異なる機械学習環境における観察された学習軌跡に沿って評価する。
• 参考スコア（独自算出の注目度）: 23.52696478622838
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Simultaneous and sequential block updates are two basic optimization strategies used across machine learning, such as neural-network training, federated learning, and low-rank adaptation. Choosing between them is difficult because their relative advantage depends on both the objective geometry and the number of iterations. We develop a unified theory for comparing Jacobi (JC), Gauss--Seidel (GS), and partially sequential deterministic block-gradient updates. Our analysis expresses the one-step loss difference through cross-block curvature, with an $O(η^3)$ remainder, where $η$ is the learning rate. We derive a signed loss comparison after $K$ iterations with $O(Kη^3)$ error under regularity conditions and $ηK\le T$ for fixed $T$, identifying the better method when the predicted difference exceeds this error. We evaluate these formulas along observed training trajectories across different machine learning settings. Over 500 iterations, our theory correctly identifies the lower-loss method in 98.0\% of iterations for the neural network, 83.4\% for federated learning, and 97.6\% for LoRA. Applying the loss recursion at each step using the measured parameter difference raises these rates to 100.0\%, 93.2\%, and 99.6\%, respectively.
• Abstract（参考訳）: 同時かつシーケンシャルなブロック更新は、ニューラルネットワークトレーニング、フェデレーション学習、低ランク適応など、機械学習全体で使用される2つの基本的な最適化戦略である。 相対的な優位性は、客観的な幾何学と反復数の両方に依存するため、それらの間の選択は困難である。 本稿では,Jacobi (JC), Gauss--Seidel (GS) および部分的決定論的ブロック勾配更新を比較する統一理論を開発した。 我々の分析では、ブロック間の曲率による1段階の損失差をO(η^3)$残差で表し、$η$は学習率である。 正規性条件下での$K$反復と$O(Kη^3)$エラーと固定$T$に対する$ηK\le T$との符号付き損失比較を導出し、予測差がこの誤差を超えるときのより良い方法を特定する。 これらの式は、異なる機械学習環境における観察された学習軌跡に沿って評価する。 500回以上の反復では、ニューラルネットワークの98.0\%、フェデレート学習の83.4\%、LoRAの97.6\%において、低損失法が正しく識別される。 測定されたパラメータ差を用いて各ステップでの損失再帰を適用すると、それぞれ100.0\%、93.2\%、99.6\%となる。

関連論文リスト

• Modeling quantum neural network gradient with reinforcement learning [0.0]
  短期ハードウェア上での量子ニューラルネットワーク(QNN)のトレーニングは、2つの複合的な困難によって妨げられている。 RLQ-Gradは、古典的ポリシーがパラメータを直接更新することを学習する強化学習に基づく手法である。 最大12キュービットの回路上の勾配ベースのベースラインよりも、最大10ドル以上でトップ1の精度を向上する。
  論文  参考訳（メタデータ） (2026-09-25T10:03:48Z)
• Learning Structural Hardness for Combinatorial Auctions: Instance-Dependent Algorithm Selection via Graph Neural Networks [0.0]
  オークションにおける勝者決定問題はNPハードである。 既存の方法では、どのインスタンスが高速なグリーディを倒すかを確実に予測することはできません。 近年の証拠は、グラフニューラルネットワーク(GNN)が、よく調整された古典的手法を上回ることは滅多にないことを示している。
  論文  参考訳（メタデータ） (2026-02-16T14:26:25Z)
• Scale-Invariant Regret Matching and Online Learning with Optimal Convergence: Bridging Theory and Practice in Zero-Sum Games [60.871651115241406]
  ゼロサムゲームにおける理論と実践の間、何十年にもわたってかなりのシャズムが一階法によって浸食されてきた。 我々は、IREG-PRM$+$と呼ぶPRM$+$の新しいスケール不変かつパラメータフリーな変種を提案する。 ベンチマークゲームでは, PRM$+$と同等でありながら, 最適収束保証を$T-1/2$, $T-1$とする。
  論文  参考訳（メタデータ） (2025-10-06T00:33:20Z)
• Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
  カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。 我々はその2次情報を経験的フィッシャー行列を通して活用する。 ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:11Z)
• Online Learning and Information Exponents: On The Importance of Batch size, and Time/Complexity Tradeoffs [24.305423716384272]
  我々は,1パス勾配勾配(SGD)を有する2層ニューラルネットワークの繰り返し時間に対するバッチサイズの影響について検討した。 大規模なバッチで勾配更新を行うことで、サンプル全体の複雑さを変えることなく、トレーニング時間を最小化できることが示される。 低次元常微分方程式(ODE)のシステムにより、トレーニングの進捗を追跡できることを示す。
  論文  参考訳（メタデータ） (2024-06-04T09:44:49Z)
• A Quadratic Synchronization Rule for Distributed Deep Learning [66.68264684667562]
  本研究は、擬似同期規則(QSR)と呼ばれる$H$を決定するための理論基底法を提案する。 ResNet と ViT の実験により、QSR を用いた局所勾配法は、他の同期戦略よりもテスト精度を一貫して向上することが示された。
  論文  参考訳（メタデータ） (2023-10-22T21:38:57Z)
• Optimal Transport Regularized Divergences: Application to Adversarial Robustness [4.251030047034567]
  本稿では,情報ばらつきと最適輸送(OT)コストの両立によって構築された,最適輸送規則分岐のクラスである$Dc$を紹介する。 特に、ディープラーニングモデルの対角的堅牢性を高めるための新しいアプローチとして、$ARMOR_D$法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T15:41:45Z)
• Training Overparametrized Neural Networks in Sublinear Time [14.918404733024332]
  ディープラーニングには膨大な計算とエネルギーのコストが伴う。 探索木の小さな部分集合として、二分ニューラルネットワークの新しいサブセットを示し、それぞれが探索木のサブセット(Ds)に対応する。 我々はこの見解が深層ネットワーク(Ds)の分析解析にさらに応用できると考えている。
  論文  参考訳（メタデータ） (2022-08-09T02:29:42Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Correcting Momentum with Second-order Information [50.992629498861724]
  最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。 我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
  論文  参考訳（メタデータ） (2021-03-04T19:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。