論文の概要: Meta Subspace Optimization

• arxiv url: http://arxiv.org/abs/2110.14920v1
• Date: Thu, 28 Oct 2021 07:02:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-30 05:52:37.070265
• Title: Meta Subspace Optimization
• Title（参考訳）: メタサブスペース最適化
• Authors: Yoni Choukroun and Michael Katz
• Abstract要約: 部分空間最適化法は、大規模最適化問題を低次元部分空間最適化問題の列に還元する魅力的な性質を持つ。 既存のサブスペース最適化フレームワークは、サブスペースの固定更新ポリシーを採用しており、したがって、サブ最適イテレーションであるように見える。 本稿では,各最適化における部分空間行列の決定を可能にする,大規模最適化問題のための新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 20.69982393658195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Subspace optimization methods have the attractive property of reducing large-scale optimization problems to a sequence of low-dimensional subspace optimization problems. However, existing subspace optimization frameworks adopt a fixed update policy of the subspace, and therefore, appear to be sub-optimal. In this paper we propose a new \emph{Meta Subspace Optimization} (MSO) framework for large-scale optimization problems, which allows to determine the subspace matrix at each optimization iteration. In order to remain invariant to the optimization problem's dimension, we design an efficient meta optimizer based on very low-dimensional subspace optimization coefficients, inducing a rule-based agent that can significantly improve performance. Finally, we design and analyze a reinforcement learning procedure based on the subspace optimization dynamics whose learnt policies outperform existing subspace optimization methods.
• Abstract（参考訳）: 部分空間最適化法は、大規模最適化問題を低次元部分空間最適化問題の列に還元する魅力的な性質を持つ。 しかし、既存のサブスペース最適化フレームワークは、サブスペースの固定更新ポリシーを採用しており、したがって、サブ最適であるように見える。 本稿では,大規模な最適化問題に対して,各最適化イテレーションでサブスペース行列を決定するための新しい 'emph{Meta Subspace Optimization} (MSO) フレームワークを提案する。 最適化問題の次元に不変性を保ちながら、非常に低次元の部分空間最適化係数に基づく効率的なメタオプティマイザを設計し、性能を大幅に向上できるルールベースエージェントを誘導する。 最後に,学習方針が既存の部分空間最適化手法を上回る部分空間最適化ダイナミクスに基づいて強化学習手順を設計・解析する。

関連論文リスト

• Iterative or Innovative? A Problem-Oriented Perspective for Code Optimization [81.88668100203913]
  大規模言語モデル(LLM)は、幅広いプログラミングタスクを解く上で強力な能力を示している。 本稿では,パフォーマンス向上に着目したコード最適化について検討する。
  論文  参考訳（メタデータ） (2024-06-17T16:10:10Z)
• An Adaptive Dimension Reduction Estimation Method for High-dimensional Bayesian Optimization [6.79843988450982]
  BOを高次元設定に拡張するための2段階最適化フレームワークを提案する。 私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。 数値実験により,困難シナリオにおける本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-03-08T16:21:08Z)
• Towards Efficient Exact Optimization of Language Model Alignment [93.39181634597877]
  嗜好データから直接ポリシーを最適化するために、直接選好最適化(DPO)が提案された。 問題の最適解に基づいて導出されたDPOが,現実の最適解の妥協平均探索近似に繋がることを示す。 本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
  論文  参考訳（メタデータ） (2024-02-01T18:51:54Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• High dimensional Bayesian Optimization Algorithm for Complex System in Time Series [1.9371782627708491]
  本稿では,新しい高次元ベイズ最適化アルゴリズムを提案する。 モデルの時間依存特性や次元依存特性に基づいて,提案アルゴリズムは次元を均等に低減することができる。 最適解の最終精度を高めるために,提案アルゴリズムは,最終段階におけるアダムに基づく一連のステップに基づく局所探索を追加する。
  論文  参考訳（メタデータ） (2021-08-04T21:21:17Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Good practices for Bayesian Optimization of high dimensional structured spaces [15.488642552157131]
  高次元構造データセットにおけるベイズ最適化のための異なる探索空間設計の選択の効果について検討する。 遅延空間における最適化境界を自動的に定義する新しい手法を評価します。 我々は実践者に推薦する。
  論文  参考訳（メタデータ） (2020-12-31T07:00:39Z)
• Primal-Dual Sequential Subspace Optimization for Saddle-point Problems [3.9582154141918964]
  大規模サドル点問題に対する逐次部分空間最適化手法を提案する。 低次元部分空間における補助的サドル点問題(英語版)を、原始整数双対変数上の一階情報から導かれる方向によって解決する。 実験結果は、一般的な一階法と比較して、かなり良い収束性を示した。
  論文  参考訳（メタデータ） (2020-08-20T18:19:19Z)
• Tiering as a Stochastic Submodular Optimization Problem [5.659969270836789]
  タイアリングは大規模情報検索システムを構築する上で欠かせない技術である。 最適化問題としての最適階層化は、部分モジュラーなknapsack制約を伴う部分モジュラー最小化問題として適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-16T07:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。