論文の概要: Meta Subspace Optimization

• arxiv url: http://arxiv.org/abs/2110.14920v1
• Date: Thu, 28 Oct 2021 07:02:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-30 05:52:37.070265
• Title: Meta Subspace Optimization
• Title（参考訳）: メタサブスペース最適化
• Authors: Yoni Choukroun and Michael Katz
• Abstract要約: 部分空間最適化法は、大規模最適化問題を低次元部分空間最適化問題の列に還元する魅力的な性質を持つ。 既存のサブスペース最適化フレームワークは、サブスペースの固定更新ポリシーを採用しており、したがって、サブ最適イテレーションであるように見える。 本稿では,各最適化における部分空間行列の決定を可能にする,大規模最適化問題のための新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 20.69982393658195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Subspace optimization methods have the attractive property of reducing large-scale optimization problems to a sequence of low-dimensional subspace optimization problems. However, existing subspace optimization frameworks adopt a fixed update policy of the subspace, and therefore, appear to be sub-optimal. In this paper we propose a new \emph{Meta Subspace Optimization} (MSO) framework for large-scale optimization problems, which allows to determine the subspace matrix at each optimization iteration. In order to remain invariant to the optimization problem's dimension, we design an efficient meta optimizer based on very low-dimensional subspace optimization coefficients, inducing a rule-based agent that can significantly improve performance. Finally, we design and analyze a reinforcement learning procedure based on the subspace optimization dynamics whose learnt policies outperform existing subspace optimization methods.
• Abstract（参考訳）: 部分空間最適化法は、大規模最適化問題を低次元部分空間最適化問題の列に還元する魅力的な性質を持つ。 しかし、既存のサブスペース最適化フレームワークは、サブスペースの固定更新ポリシーを採用しており、したがって、サブ最適であるように見える。 本稿では,大規模な最適化問題に対して,各最適化イテレーションでサブスペース行列を決定するための新しい 'emph{Meta Subspace Optimization} (MSO) フレームワークを提案する。 最適化問題の次元に不変性を保ちながら、非常に低次元の部分空間最適化係数に基づく効率的なメタオプティマイザを設計し、性能を大幅に向上できるルールベースエージェントを誘導する。 最後に,学習方針が既存の部分空間最適化手法を上回る部分空間最適化ダイナミクスに基づいて強化学習手順を設計・解析する。

関連論文リスト

• I3S: Importance Sampling Subspace Selection for Low-Rank Optimization in LLM Pretraining [50.89661053183944]
  低ランク最適化は、大規模言語モデル(LLM)のメモリ効率のトレーニングを可能にするための有望なアプローチとして登場した。 既存の低ランク最適化手法は、通常、低ランクのサブスペースに勾配を投影し、状態を保存する際のメモリコストを低減させる。 低ランク最適化のための重要サンプリング部分空間選択(I3S)を提案し、理論的には支配的部分空間アプローチに匹敵する収束率を提供する。
  論文  参考訳（メタデータ） (2025-02-09T06:30:19Z)
• High-Dimensional Bayesian Optimization Using Both Random and Supervised Embeddings [0.6291443816903801]
  本稿では,小さな次元の線形埋め込み部分空間を組み込んだ高次元最適化手法を提案する。 結果のBO法は、ランダムおよび教師付き線形埋め込みの両方を適応的に組み合わせる。 その結果,高次元ブラックボックス最適化問題に対するEGORSEの有効性が示された。
  論文  参考訳（メタデータ） (2025-02-02T16:57:05Z)
• An Adaptive Dimension Reduction Estimation Method for High-dimensional Bayesian Optimization [6.79843988450982]
  BOを高次元設定に拡張するための2段階最適化フレームワークを提案する。 私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。 数値実験により,困難シナリオにおける本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-03-08T16:21:08Z)
• Towards Efficient Exact Optimization of Language Model Alignment [93.39181634597877]
  嗜好データから直接ポリシーを最適化するために、直接選好最適化(DPO)が提案された。 問題の最適解に基づいて導出されたDPOが,現実の最適解の妥協平均探索近似に繋がることを示す。 本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
  論文  参考訳（メタデータ） (2024-02-01T18:51:54Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Optimistic Policy Optimization is Provably Efficient in Non-stationary MDPs [113.8752163061151]
  非定常線形カーネルマルコフ決定過程(MDP)におけるエピソード強化学習(RL)の研究 線形最適化アンダーライン最適化アルゴリズム(PROPO)を提案する。 PROPOはスライディングウィンドウベースのポリシー評価と周期的リスタートベースのポリシー改善の2つのメカニズムを特徴としている。
  論文  参考訳（メタデータ） (2021-10-18T02:33:20Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Good practices for Bayesian Optimization of high dimensional structured spaces [15.488642552157131]
  高次元構造データセットにおけるベイズ最適化のための異なる探索空間設計の選択の効果について検討する。 遅延空間における最適化境界を自動的に定義する新しい手法を評価します。 我々は実践者に推薦する。
  論文  参考訳（メタデータ） (2020-12-31T07:00:39Z)
• Primal-Dual Sequential Subspace Optimization for Saddle-point Problems [3.9582154141918964]
  大規模サドル点問題に対する逐次部分空間最適化手法を提案する。 低次元部分空間における補助的サドル点問題(英語版)を、原始整数双対変数上の一階情報から導かれる方向によって解決する。 実験結果は、一般的な一階法と比較して、かなり良い収束性を示した。
  論文  参考訳（メタデータ） (2020-08-20T18:19:19Z)
• Tiering as a Stochastic Submodular Optimization Problem [5.659969270836789]
  タイアリングは大規模情報検索システムを構築する上で欠かせない技術である。 最適化問題としての最適階層化は、部分モジュラーなknapsack制約を伴う部分モジュラー最小化問題として適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-16T07:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。