論文の概要: Hierarchical Optimization-Derived Learning

• arxiv url: http://arxiv.org/abs/2302.05587v2
• Date: Tue, 12 Sep 2023 13:52:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 17:28:58.797652
• Title: Hierarchical Optimization-Derived Learning
• Title（参考訳）: 階層的最適化に基づく学習
• Authors: Risheng Liu, Xuan Liu, Shangzhi Zeng, Jin Zhang, and Yixuan Zhang
• Abstract要約: 我々は,最適化モデル構築の本質的な動作とそれに対応する学習過程を同時に研究するために,階層型ODL(Hyerarchical ODL)という新しいフレームワークを構築した。 これは、最適化と学習という2つの結合されたODLコンポーネントに対する最初の理論的保証である。
• 参考スコア（独自算出の注目度）: 58.69200830655009
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In recent years, by utilizing optimization techniques to formulate the propagation of deep model, a variety of so-called Optimization-Derived Learning (ODL) approaches have been proposed to address diverse learning and vision tasks. Although having achieved relatively satisfying practical performance, there still exist fundamental issues in existing ODL methods. In particular, current ODL methods tend to consider model construction and learning as two separate phases, and thus fail to formulate their underlying coupling and depending relationship. In this work, we first establish a new framework, named Hierarchical ODL (HODL), to simultaneously investigate the intrinsic behaviors of optimization-derived model construction and its corresponding learning process. Then we rigorously prove the joint convergence of these two sub-tasks, from the perspectives of both approximation quality and stationary analysis. To our best knowledge, this is the first theoretical guarantee for these two coupled ODL components: optimization and learning. We further demonstrate the flexibility of our framework by applying HODL to challenging learning tasks, which have not been properly addressed by existing ODL methods. Finally, we conduct extensive experiments on both synthetic data and real applications in vision and other learning tasks to verify the theoretical properties and practical performance of HODL in various application scenarios.
• Abstract（参考訳）: 近年,深層モデルの伝播を定式化するために最適化手法を活用することで,多様な学習課題と視覚課題に対処する,いわゆるODLアプローチが提案されている。 実用性能は比較的満足しているが,既存のODL手法には根本的問題がある。 特に、現在のodl法は、モデル構築と学習を2つの異なるフェーズとして考える傾向があるため、基礎となる結合と依存関係を定式化できない。 本研究では,まず階層型odl(hodl)という新しいフレームワークを構築し,最適化モデル構築の固有挙動とそれに対応する学習プロセスを同時に検討する。 そして、近似品質と定常解析の両方の観点から、これらの2つのサブタスクの合同収束を厳密に証明する。 私たちの知る限りでは、これは2つのodlコンポーネント、すなわち最適化と学習に対する最初の理論的保証です。 我々は,既存の ODL 手法で適切に対処されていない学習課題に HODL を適用することで,フレームワークの柔軟性をさらに実証する。 最後に、様々なアプリケーションシナリオにおけるHODLの理論的特性と実用性を検証するために、視覚やその他の学習タスクにおける合成データと実アプリケーションの両方について広範な実験を行った。

関連論文リスト

• Aligned Multi Objective Optimization [14.320569438197271]
  機械学習の実践では、このような衝突が起こらないシナリオが数多く存在する。 近年のマルチタスク学習,強化学習,LLMsトレーニングの成果から,多種多様な関連タスクが,目的物間のパフォーマンスを同時に向上する可能性が示唆された。 我々は、アラインド多目的最適化フレームワークを導入し、この設定のための新しいアルゴリズムを提案し、それらの優れた性能の理論的保証を提供する。
  論文  参考訳（メタデータ） (2025-02-19T20:50:03Z)
• Learning Provably Improves the Convergence of Gradient Descent [9.82454981262489]
  本稿では,学習者によるL2O(Learning to Optimize)問題の収束について検討する。 アルゴリズムの接点により、L2Oの収束が著しく向上する。 以上の結果から,GD法では50%の成績を示した。
  論文  参考訳（メタデータ） (2025-01-30T02:03:30Z)
• A Survey of Optimization Methods for Training DL Models: Theoretical Perspective on Convergence and Generalization [11.072619355813496]
  ディープラーニング(DL)における最適化手法の理論的基礎について概説する。 本稿では、一般的な勾配に基づく1次2階一般化法の理論解析を含む。 また、一般凸損失の解析についても論じ、最適化された最適点の発見を明示的に奨励する。
  論文  参考訳（メタデータ） (2025-01-24T12:42:38Z)
• DaRec: A Disentangled Alignment Framework for Large Language Model and Recommender System [83.34921966305804]
  大規模言語モデル (LLM) はレコメンデーションシステムにおいて顕著な性能を示した。 LLMと協調モデルのための新しいプラグ・アンド・プレイアライメントフレームワークを提案する。 我々の手法は既存の最先端アルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2024-08-15T15:56:23Z)
• Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals [67.64770842323966]
  NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。 既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。 本稿では, 対物近似(CF)の2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T07:31:04Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• Optimization-Derived Learning with Essential Convergence Analysis of Training and Hyper-training [52.39882976848064]
  固定点反復に基づく一般化クラスノセルスキーマンスキースキーム(GKM)を基本ODLモジュールとして設計する。 GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
  論文  参考訳（メタデータ） (2022-06-16T01:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。