論文の概要: Hierarchical Optimization-Derived Learning
- arxiv url: http://arxiv.org/abs/2302.05587v2
- Date: Tue, 12 Sep 2023 13:52:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 17:28:58.797652
- Title: Hierarchical Optimization-Derived Learning
- Title（参考訳）: 階層的最適化に基づく学習
- Authors: Risheng Liu, Xuan Liu, Shangzhi Zeng, Jin Zhang, and Yixuan Zhang
- Abstract要約: 我々は,最適化モデル構築の本質的な動作とそれに対応する学習過程を同時に研究するために,階層型ODL(Hyerarchical ODL)という新しいフレームワークを構築した。
これは、最適化と学習という2つの結合されたODLコンポーネントに対する最初の理論的保証である。
- 参考スコア（独自算出の注目度）: 58.69200830655009
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In recent years, by utilizing optimization techniques to formulate the
propagation of deep model, a variety of so-called Optimization-Derived Learning
(ODL) approaches have been proposed to address diverse learning and vision
tasks. Although having achieved relatively satisfying practical performance,
there still exist fundamental issues in existing ODL methods. In particular,
current ODL methods tend to consider model construction and learning as two
separate phases, and thus fail to formulate their underlying coupling and
depending relationship. In this work, we first establish a new framework, named
Hierarchical ODL (HODL), to simultaneously investigate the intrinsic behaviors
of optimization-derived model construction and its corresponding learning
process. Then we rigorously prove the joint convergence of these two sub-tasks,
from the perspectives of both approximation quality and stationary analysis. To
our best knowledge, this is the first theoretical guarantee for these two
coupled ODL components: optimization and learning. We further demonstrate the
flexibility of our framework by applying HODL to challenging learning tasks,
which have not been properly addressed by existing ODL methods. Finally, we
conduct extensive experiments on both synthetic data and real applications in
vision and other learning tasks to verify the theoretical properties and
practical performance of HODL in various application scenarios.
- Abstract（参考訳）: 近年,深層モデルの伝播を定式化するために最適化手法を活用することで,多様な学習課題と視覚課題に対処する,いわゆるODLアプローチが提案されている。
実用性能は比較的満足しているが,既存のODL手法には根本的問題がある。
特に、現在のodl法は、モデル構築と学習を2つの異なるフェーズとして考える傾向があるため、基礎となる結合と依存関係を定式化できない。
本研究では,まず階層型odl(hodl)という新しいフレームワークを構築し,最適化モデル構築の固有挙動とそれに対応する学習プロセスを同時に検討する。
そして、近似品質と定常解析の両方の観点から、これらの2つのサブタスクの合同収束を厳密に証明する。
私たちの知る限りでは、これは2つのodlコンポーネント、すなわち最適化と学習に対する最初の理論的保証です。
我々は,既存の ODL 手法で適切に対処されていない学習課題に HODL を適用することで,フレームワークの柔軟性をさらに実証する。
最後に、様々なアプリケーションシナリオにおけるHODLの理論的特性と実用性を検証するために、視覚やその他の学習タスクにおける合成データと実アプリケーションの両方について広範な実験を行った。
関連論文リスト
- DaRec: A Disentangled Alignment Framework for Large Language Model and Recommender System [83.34921966305804]
大規模言語モデル (LLM) はレコメンデーションシステムにおいて顕著な性能を示した。
LLMと協調モデルのための新しいプラグ・アンド・プレイアライメントフレームワークを提案する。
我々の手法は既存の最先端アルゴリズムよりも優れている。
論文 参考訳（メタデータ） (2024-08-15T15:56:23Z) - A Unifying Framework for Action-Conditional Self-Predictive Reinforcement Learning [48.59516337905877]
優れた表現を学ぶことは、強化学習(RL)エージェントにとって重要な課題である。
近年の研究では、これらのアルゴリズムに関する理論的洞察が生まれている。
我々は,行動条件の自己予測的目的を分析することによって,理論と実践のギャップを埋める一歩を踏み出した。
論文 参考訳（メタデータ） (2024-06-04T07:22:12Z) - Faithful Explanations of Black-box NLP Models Using LLM-generated
Counterfactuals [67.64770842323966]
NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。
既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。
本稿では, 対物近似(CF)の2つの手法を提案する。
論文 参考訳（メタデータ） (2023-10-01T07:31:04Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-17T00:26:31Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳（メタデータ） (2022-11-14T08:51:04Z) - Task-Free Continual Learning via Online Discrepancy Distance Learning [11.540150938141034]
本稿では,来訪したサンプルとモデルトレーニングに利用可能な情報全体との差分距離に基づく一般化境界を提供する,新しい理論解析フレームワークを開発する。
この理論モデルに着想を得て,混合モデルに対する動的成分展開機構,すなわちオンライン離散距離学習(ODDL)によって実現された新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-10-12T20:44:09Z) - Optimization-Derived Learning with Essential Convergence Analysis of
Training and Hyper-training [52.39882976848064]
固定点反復に基づく一般化クラスノセルスキーマンスキースキーム(GKM)を基本ODLモジュールとして設計する。
GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
論文 参考訳（メタデータ） (2022-06-16T01:50:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。