論文の概要: Unlocking TriLevel Learning with Level-Wise Zeroth Order Constraints: Distributed Algorithms and Provable Non-Asymptotic Convergence

• arxiv url: http://arxiv.org/abs/2412.07138v1
• Date: Tue, 10 Dec 2024 02:57:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:35:38.483234
• Title: Unlocking TriLevel Learning with Level-Wise Zeroth Order Constraints: Distributed Algorithms and Provable Non-Asymptotic Convergence
• Title（参考訳）: レベルワイズゼロ階制約による三レベル学習の解法:分散アルゴリズムと確率的非漸近収束
• Authors: Yang Jiao, Kai Yang, Chengtao Jian,
• Abstract要約: 本研究で提案する分散三段階ゼロ階学習フレームワークDTZOについて述べる。 DTZOは汎用的であり、広範囲(グレーボックス)のTLL問題に適用できる。 提案したDTZOの優れた性能を実証し,検証するために,広範囲な実験を行った。
• 参考スコア（独自算出の注目度）: 9.95894026392039
• License:
• Abstract: Trilevel learning (TLL) found diverse applications in numerous machine learning applications, ranging from robust hyperparameter optimization to domain adaptation. However, existing researches primarily focus on scenarios where TLL can be addressed with first order information available at each level, which is inadequate in many situations involving zeroth order constraints, such as when black-box models are employed. Moreover, in trilevel learning, data may be distributed across various nodes, necessitating strategies to address TLL problems without centralizing data on servers to uphold data privacy. To this end, an effective distributed trilevel zeroth order learning framework DTZO is proposed in this work to address the TLL problems with level-wise zeroth order constraints in a distributed manner. The proposed DTZO is versatile and can be adapted to a wide range of (grey-box) TLL problems with partial zeroth order constraints. In DTZO, the cascaded polynomial approximation can be constructed without relying on gradients or sub-gradients, leveraging a novel cut, i.e., zeroth order cut. Furthermore, we theoretically carry out the non-asymptotic convergence rate analysis for the proposed DTZO in achieving the $\epsilon$-stationary point. Extensive experiments have been conducted to demonstrate and validate the superior performance of the proposed DTZO, e.g., it approximately achieves up to a 40$\%$ improvement in performance.
• Abstract（参考訳）: Trilevel Learning (TLL)は、堅牢なハイパーパラメータ最適化からドメイン適応まで、さまざまな機械学習アプリケーションに多様な応用を見出した。 しかし、既存の研究は主にTLLが各レベルで利用可能な一階情報で対処できるシナリオに焦点を当てており、ブラックボックスモデルを採用する場合など、ゼロ階制約を含む多くの状況では不十分である。 さらに、トリレベル学習では、データはさまざまなノードに分散し、データプライバシを維持するためにサーバにデータを集中させることなく、TLL問題に対処する戦略を必要とする。 そこで本研究では,TLL問題に対して分散方式でTLL問題に対処するため,効率的な分散三段階ゼロ次学習フレームワークDTZOを提案する。 提案したDTZOは汎用性が高く,部分零次制約付き広範囲(グレーボックス)のTLL問題に適用可能である。 DTZOでは、カスケード多項式近似は勾配や下位勾配に頼ることなく構築でき、新しいカット、すなわちゼロ次カットを利用することができる。 さらに,提案したDTZOの非漸近収束速度解析を理論的に行い,$\epsilon$-stationary点を達成する。 提案したDTZOの優れた性能,例えば40$\%以上の性能向上を実証し,検証するために,大規模な実験が実施されている。

関連論文リスト

• Optimization Proxies using Limited Labeled Data and Training Time -- A Semi-Supervised Bayesian Neural Network Approach [2.943640991628177]
  制約のある最適化問題は、在庫管理電力グリッドのような様々なエンジニアリングシステムで発生する。 本研究では,ベイジアンネットワーク(BNN)を用いて,制限されたデータと制限されたモデル時間の下での制約付き最適化問題の解法を提案する。 提案手法は,従来のBNNおよびディープニューラルネットワーク(DNN)アーキテクチャよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-04T02:10:20Z)
• Provably Convergent Federated Trilevel Learning [19.15328400013401]
  三段階学習は三段階最適化(TLO)とも呼ばれ、意思決定プロセスの強力なモデリングツールとして認識されている。 本稿では,TLO問題を解決するために,非同期なフェデレーショントリレベル最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T04:03:47Z)
• Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants [166.916517335816]
  本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。 ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。 本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
  論文  参考訳（メタデータ） (2023-08-03T13:09:59Z)
• Modeling Inter-Class and Intra-Class Constraints in Novel Class Discovery [20.67503042774617]
  新たなクラス発見(NCD)は、クラス非結合なラベル付きデータセットから別の非ラベル付きデータセットへ共通の知識を転送するモデルを学ぶことを目的としている。 対称KKLD(Kullback-Leibler divergence)に基づくNCDにおけるクラス間制約とクラス内制約の両方をモデル化する。
  論文  参考訳（メタデータ） (2022-10-07T14:46:32Z)
• Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods [19.587273175563745]
  自己監督学習(SSL)は、入力とペアの正の関係は意味のある表現を学ぶのに十分である。 本稿では,これらの制約に対処するために,スペクトル多様体学習の推進力の下で統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-23T17:59:32Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Local AdaGrad-Type Algorithm for Stochastic Convex-Concave Minimax Problems [80.46370778277186]
  大規模凸凹型ミニマックス問題は、ゲーム理論、堅牢なトレーニング、生成的敵ネットワークのトレーニングなど、多くの応用で発生する。 通信効率のよい分散外グレードアルゴリズムであるLocalAdaSientを開発した。 サーバモデル。 等質な環境と異質な環境の両方において,その有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-18T09:42:05Z)
• Chance-Constrained Control with Lexicographic Deep Reinforcement Learning [77.34726150561087]
  本稿では,レキシックなDeep Reinforcement Learning(DeepRL)に基づく確率制約マルコフ決定プロセスを提案する。 有名なDeepRLアルゴリズムDQNの辞書版も提案され、シミュレーションによって検証されている。
  論文  参考訳（メタデータ） (2020-10-19T13:09:14Z)
• A Generic First-Order Algorithmic Framework for Bi-Level Programming Beyond Lower-Level Singleton [49.23948907229656]
  Bi-level Descent Aggregationは、汎用的な双方向最適化のためのフレキシブルでモジュール化されたアルゴリズムフレームワークである。 LLS条件なしでBDAの収束を証明する新しい手法を導出する。 我々の研究は、BDAが特定の一階計算モジュールの検証と互換性があることも示している。
  論文  参考訳（メタデータ） (2020-06-07T05:18:50Z)
• Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
  そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。 フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
  論文  参考訳（メタデータ） (2020-04-01T19:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。