論文の概要: A non-smooth regularization framework for learning over multitask graphs

• arxiv url: http://arxiv.org/abs/2509.17728v1
• Date: Mon, 22 Sep 2025 12:58:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.393088
• Title: A non-smooth regularization framework for learning over multitask graphs
• Title（参考訳）: マルチタスクグラフ上での学習のための非滑らかな正規化フレームワーク
• Authors: Yara Zgheib, Luca Calatroni, Marc Antonini, Roula Nassif,
• Abstract要約: 非滑らかな正規化技術は、ポーラシティを促進し、グラフ上の断片的な定数遷移を促進するのに特に効果的である。 本稿では,正規化最適化問題に対する効率的な解法を実現するための分散学習手法を提案する。 より広い適用性と計算効率の向上のために、よく使われる非平滑正規化器の閉形式式を導出する。
• 参考スコア（独自算出の注目度）: 4.890485563104726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we consider learning over multitask graphs, where each agent aims to estimate its own parameter vector. Although agents seek distinct objectives, collaboration among them can be beneficial in scenarios where relationships between tasks exist. Among the various approaches to promoting relationships between tasks and, consequently, enhancing collaboration between agents, one notable method is regularization. While previous multitask learning studies have focused on smooth regularization to enforce graph smoothness, this work explores non-smooth regularization techniques that promote sparsity, making them particularly effective in encouraging piecewise constant transitions on the graph. We begin by formulating a global regularized optimization problem, which involves minimizing the aggregate sum of individual costs, regularized by a general non-smooth term designed to promote piecewise-constant relationships between the tasks of neighboring agents. Based on the forward-backward splitting strategy, we propose a decentralized learning approach that enables efficient solutions to the regularized optimization problem. Then, under convexity assumptions on the cost functions and co-regularization, we establish that the proposed approach converges in the mean-square-error sense within $O(\mu)$ of the optimal solution of the globally regularized cost. For broader applicability and improved computational efficiency, we also derive closed-form expressions for commonly used non-smooth (and, possibly, non-convex) regularizers, such as the weighted sum of the $\ell_0$-norm, $\ell_1$-norm, and elastic net regularization. Finally, we illustrate both the theoretical findings and the effectiveness of the approach through simulations.
• Abstract（参考訳）: 本研究では,各エージェントが独自のパラメータベクトルを推定することを目的としたマルチタスクグラフの学習について検討する。 エージェントは異なる目的を追求するが、それらの間のコラボレーションは、タスク間の関係が存在するシナリオにおいて有益である。 タスク間の関係を促進し、結果としてエージェント間の協調を強化する様々なアプローチの中で、注目すべき方法は正規化である。 従来のマルチタスク学習研究はスムーズな正規化に集中してグラフの滑らかさを強制してきたが、この研究は空間性を促進する非滑らかな正規化技術を探究し、グラフ上の断片的定常遷移を促進するのに特に効果的である。 まず,グローバルな正規化最適化問題を定式化し,個々のコストの総和を最小化し,近隣エージェントのタスク間の一括的一貫した関係を促進するために設計された一般の非平滑な用語で正規化する。 本稿では,フォワード・バック・スプリッティング戦略に基づいて,正規化最適化問題に対する効率的な解法を実現する分散型学習手法を提案する。 そして, コスト関数と共正則化の凸性仮定により, 提案手法は, グローバル正規化コストの最適解である$O(\mu)$の範囲内で平均二乗誤差感覚に収束することを確認した。 より広範な適用性と計算効率の向上のために、例えば$\ell_0$-norm,$\ell_1$-norm,および弾性ネット正則化の重み付き和など、一般的に用いられる非滑らかな(おそらくは非凸な)正則化に対する閉形式式も導出する。 最後に,シミュレーションによる理論的知見とアプローチの有効性について述べる。

関連論文リスト

• Adaptive collaboration for online personalized distributed learning with heterogeneous clients [22.507916490976044]
  ローカルトレーニングを加速するために, 統計的に異種なクライアントが協力して, オンラインパーソナライズ学習の課題をN$で検討した。 この設定における重要な課題は、導入したバイアスを緩和しながら分散を減らすために、関連する協力者を選択することである。
  論文  参考訳（メタデータ） (2025-07-09T13:44:27Z)
• Near-Optimal Online Learning for Multi-Agent Submodular Coordination: Tight Approximation and Communication Efficiency [52.60557300927007]
  離散部分モジュラー問題を連続的に最適化するために,$textbfMA-OSMA$アルゴリズムを提案する。 また、一様分布を混合することによりKLの発散を効果的に活用する、プロジェクションフリーな$textbfMA-OSEA$アルゴリズムも導入する。 我々のアルゴリズムは最先端OSGアルゴリズムによって提供される$(frac11+c)$-approximationを大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-07T15:57:56Z)
• Learning sparsity-promoting regularizers for linear inverse problems [5.812129569528998]
  本稿では,線形逆問題の解法として,疎性促進型正規化器の学習手法を提案する。 本稿では,最適合成演算子を選択するための二段階最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-12-20T16:26:54Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
  最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。 鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。 本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• Efficient Alternating Minimization Solvers for Wyner Multi-View Unsupervised Learning [0.0]
  本稿では,計算効率のよい解法の開発を可能にする2つの新しい定式化法を提案する。 提案した解法は, 計算効率, 理論的収束保証, ビュー数による局所最小値複雑性, 最先端技術と比較して, 例外的な精度を提供する。
  論文  参考訳（メタデータ） (2023-03-28T10:17:51Z)
• Quantization for decentralized learning under subspace constraints [61.59416703323886]
  エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。 本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。 この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
  論文  参考訳（メタデータ） (2022-09-16T09:38:38Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• Regularized Online Allocation Problems: Fairness and Beyond [7.433931244705934]
  本稿では, 総資源消費に作用する非線形正規化器を含む変種である, 語彙化オンライン割当問題を紹介する。 この問題では、要求は時間とともに繰り返し届き、各要求に対して、意思決定者は報酬を生成しリソースを消費するアクションを取る必要があります。 目的は、資源制約を受ける加算可分な報酬と非分離可正則化器の値とを同時に最大化することである。
  論文  参考訳（メタデータ） (2020-07-01T14:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。