論文の概要: D-SVM over Networked Systems with Non-Ideal Linking Conditions

• arxiv url: http://arxiv.org/abs/2304.06667v1
• Date: Thu, 13 Apr 2023 16:56:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 13:49:49.512470
• Title: D-SVM over Networked Systems with Non-Ideal Linking Conditions
• Title（参考訳）: 非入出力リンク条件を持つネットワーク上のD-SVM
• Authors: Mohammadreza Doostmohammadian, Alireza Aghasi, Houman Zarrabi
• Abstract要約: 本稿では,分散サポートベクタマシン(D-SVM)によるバイナリ分類を応用した分散最適化アルゴリズムについて考察する。 エージェントは連続時間力学によって協調的にコンセンサス制約分散最適化を解き、リンクは強符号保存の奇数非線形条件に従う。 対数量子化とクリッピング(飽和)はそのような非線形性の2つの例である。
• 参考スコア（独自算出の注目度）: 5.962184741057505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper considers distributed optimization algorithms, with application in binary classification via distributed support-vector-machines (D-SVM) over multi-agent networks subject to some link nonlinearities. The agents solve a consensus-constraint distributed optimization cooperatively via continuous-time dynamics, while the links are subject to strongly sign-preserving odd nonlinear conditions. Logarithmic quantization and clipping (saturation) are two examples of such nonlinearities. In contrast to existing literature that mostly considers ideal links and perfect information exchange over linear channels, we show how general sector-bounded models affect the convergence to the optimizer (i.e., the SVM classifier) over dynamic balanced directed networks. In general, any odd sector-bounded nonlinear mapping can be applied to our dynamics. The main challenge is to show that the proposed system dynamics always have one zero eigenvalue (associated with the consensus) and the other eigenvalues all have negative real parts. This is done by recalling arguments from matrix perturbation theory. Then, the solution is shown to converge to the agreement state under certain conditions. For example, the gradient tracking (GT) step size is tighter than the linear case by factors related to the upper/lower sector bounds. To the best of our knowledge, no existing work in distributed optimization and learning literature considers non-ideal link conditions.
• Abstract（参考訳）: 本稿では,複数エージェントネットワーク上での分散サポートベクトルマシン(D-SVM)によるバイナリ分類をリンク非線形性を考慮した分散最適化アルゴリズムを提案する。 エージェントは連続時間力学によって協調的にコンセンサス制約分散最適化を解き、リンクは強符号保存の奇数非線形条件に従う。 対数量子化とクリッピング(飽和)はそのような非線形性の2つの例である。 線形チャネル上の理想的なリンクや完全情報交換を主に考慮している既存の文献とは対照的に、一般セクター境界モデルが動的にバランスの取れた有向ネットワーク上の最適化器(SVM分類器)への収束にどのように影響するかを示す。 一般に、任意の奇セクター有界非線形写像は我々の力学に応用できる。 主な課題は、提案されたシステムダイナミクスが常に1つのゼロ固有値(コンセンサスと関連する)を持ち、他の固有値がすべて負の実部を持つことを示すことである。 これは行列摂動理論の議論を思い出すことによってなされる。 そして、ある条件下では、解が合意状態に収束することが示される。 例えば、勾配追跡(GT)のステップサイズは、上/下セクター境界に関連する要因によって線形の場合よりも厳密である。 私たちの知る限りでは、分散最適化と学習文学における既存の仕事は、非理想的リンク条件を考慮していない。

関連論文リスト

• Controlled Learning of Pointwise Nonlinearities in Neural-Network-Like Architectures [14.93489065234423]
  本稿では,階層型計算アーキテクチャにおける自由形式非線形性のトレーニングのための一般的な変分フレームワークを提案する。 傾斜制約により、1-Lipschitz安定性、堅固な非膨張性、単調性/可逆性といった特性を課すことができる。 本稿では, 非線形性を適切な(一様でない)B-スプラインベースで表現することで, 数値関数最適化問題の解法を示す。
  論文  参考訳（メタデータ） (2024-08-23T14:39:27Z)
• Cons-training tensor networks [2.8834278113855896]
  テンソルネットワークと呼ばれる新しいファミリーを導入する。 textitconstrained matrix product state (MPS) これらのネットワークは、不等式を含むちょうど任意の離散線型制約をスパースブロック構造に含んでいる。 これらのネットワークは、特に、可能空間上で厳密にサポートされた分散をモデル化するために調整されている。
  論文  参考訳（メタデータ） (2024-05-15T00:13:18Z)
• Discretized Distributed Optimization over Dynamic Digraphs [6.239775988430136]
  動的有向グラフ上での連続時間分散最適化の離散時間モデルを考える(図) 我々のアルゴリズムは、スイッチングトポロジの下で、一般に接続された動的ネットワーク上で機能する。 提案するフレームワークは,分散分類と学習に適用できる。
  論文  参考訳（メタデータ） (2023-11-14T06:33:41Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Optimization-Induced Graph Implicit Nonlinear Diffusion [64.39772634635273]
  我々はGIND(Graph Implicit Diffusion)と呼ばれる新しいグラフ畳み込み変種を提案する。 GINDは暗黙的に隣人の無限のホップにアクセスでき、非線型拡散を伴う特徴を適応的に集約することで過度な平滑化を防いでいる。 学習された表現は、明示的な凸最適化目標の最小化として定式化できることを示す。
  論文  参考訳（メタデータ） (2022-06-29T06:26:42Z)
• Exact solutions of interacting dissipative systems via weak symmetries [77.34726150561087]
  我々は任意の強い相互作用や非線形性を持つクラスマルコフ散逸系(英語版)のリウヴィリアンを解析的に対角化する。 これにより、フルダイナミックスと散逸スペクトルの正確な記述が可能になる。 我々の手法は他の様々なシステムに適用でき、複雑な駆動散逸量子系の研究のための強力な新しいツールを提供することができる。
  論文  参考訳（メタデータ） (2021-09-27T17:45:42Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Towards Understanding Generalization via Decomposing Excess Risk Dynamics [13.4379473119565]
  一般化力学を解析してアルゴリズム依存境界(安定性など)を導出する。 ニューラルネットは、ノイズの嵌合時に緩やかな収束率を示すという観測から着想を得て、余剰リスクダイナミクスを分解することを提案する。 分解の枠組みの下では、新しい境界は安定性に基づく境界と一様収束境界よりも理論的および経験的証拠とよく一致している。
  論文  参考訳（メタデータ） (2021-06-11T03:42:45Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)
• Loss landscapes and optimization in over-parameterized non-linear systems and neural networks [20.44438519046223]
  広域ニューラルネットワークがPL$*$条件を満たすことを示し、(S)GD収束を大域最小値に説明する。 広域ニューラルネットワークがPL$*$条件を満たすことを示し、(S)GD収束を大域最小値に説明する。
  論文  参考訳（メタデータ） (2020-02-29T17:18:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。