論文の概要: Optimization with Access to Auxiliary Information

• arxiv url: http://arxiv.org/abs/2206.00395v3
• Date: Tue, 26 Sep 2023 13:18:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 21:01:30.782106
• Title: Optimization with Access to Auxiliary Information
• Title（参考訳）: 補助情報へのアクセスによる最適化
• Authors: El Mahdi Chayti and Sai Praneeth Karimireddy
• Abstract要約: 本稿では,目標関数を$f$で最小化するための基本的な最適化問題について検討する。 これらすべての設定に適用可能な2つの新しいアルゴリズムを提案し、ターゲット情報と側情報のヘッセン的類似性に関する仮定のみを用いて、このフレームワークの利点を証明した。
• 参考スコア（独自算出の注目度）: 16.023095173490116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the fundamental optimization question of minimizing a target function $f$, whose gradients are expensive to compute or have limited availability, given access to some auxiliary side function $h$ whose gradients are cheap or more available. This formulation captures many settings of practical relevance, such as i) re-using batches in SGD, ii) transfer learning, iii) federated learning, iv) training with compressed models/dropout, etc. We propose two generic new algorithms that apply in all these settings and prove that we can benefit from this framework using only an assumption on the Hessian similarity between the target and side information. A benefit is obtained when this similarity measure is small, we also show a potential benefit from stochasticity when the auxiliary noise is correlated with that of the target function.
• Abstract（参考訳）: 目的関数 $f$ を最小化するための基本的な最適化問題について検討し,その勾配が計算に費用がかかるか,可用性が限られているかについて検討する。 この定式化は、実用的関連性の多くの設定をキャプチャする。 i)SGDにおけるバッチの再利用 ii) 転帰学習 三 連合学習 四 圧縮モデル/ドロップアウト等による訓練 これらすべての設定に適用可能な2つの汎用的な新しいアルゴリズムを提案し,対象と側情報とのヘッセン類似性を前提として,このフレームワークの利点を証明した。 また, この類似度尺度が小さい場合には, 補助雑音と対象関数の相関関係がある場合には, 確率性による潜在的な利点を示す。

関連論文リスト

• ColA: Collaborative Adaptation with Gradient Learning [33.493103874633675]
  グラディエントラーニング(GL)を用いた協調適応(ColA)を導入する。 ColAはパラメータフリーでモデルに依存しない微調整アプローチであり、勾配パラメータと隠れ表現の計算を分離する。 各種ベンチマークにおいて既存のPEFT法と比較して,ColAが同等以上の性能を発揮することを実験的に実証した。
  論文  参考訳（メタデータ） (2024-04-22T02:52:54Z)
• A Nearly Optimal and Low-Switching Algorithm for Reinforcement Learning with General Function Approximation [66.26739783789387]
  我々は、強化学習のための新しいアルゴリズム、MQL-UCBを用いたモノトニックQ-Learningを提案する。 MQL-UCBは、$tildeO(dsqrtHK)$の最小限の後悔を実現する。 本研究は,非線形関数近似を用いたサンプル効率およびデプロイメント効率のよいQ-ラーニングの設計に重点を置いている。
  論文  参考訳（メタデータ） (2023-11-26T08:31:57Z)
• BatchGFN: Generative Flow Networks for Batch Active Learning [80.73649229919454]
  BatchGFNは、生成フローネットワークを使用してバッチ報酬に比例したデータポイントのセットをサンプリングする、プールベースのアクティブラーニングのための新しいアプローチである。 提案手法は,おもちゃの回帰問題において,1点当たり1回の前方通過で推定時間に近距離最適効用バッチをサンプリングすることを可能にした。
  論文  参考訳（メタデータ） (2023-06-26T20:41:36Z)
• Target-based Surrogates for Stochastic Optimization [26.35752393302125]
  我々は(おそらく)勾配を計算するのに費用がかかる関数の最小化を考える。 このような機能は、計算強化学習、模倣学習、および敵の訓練で広く用いられている。 我々のフレームワークは、最適化アルゴリズムを用いて、効率的に最小化できるサロゲートを構築することができる。
  論文  参考訳（メタデータ） (2023-02-06T08:08:34Z)
• Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary Data [100.33096338195723]
  補助データを用いたFew-shot Learning(FLAD)に焦点を当てる。 FLADは、一般化を改善するために、数ショットの学習中に補助データへのアクセスを前提としている。 提案するアルゴリズムは EXP3-FLAD と UCB1-FLAD の2つである。
  論文  参考訳（メタデータ） (2023-02-01T18:59:36Z)
• Improved Regret for Efficient Online Reinforcement Learning with Linear Function Approximation [69.0695698566235]
  線形関数近似による強化学習と,コスト関数の逆変化について検討した。 本稿では,未知のダイナミクスと帯域幅フィードバックの一般設定に挑戦する,計算効率のよいポリシ最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-30T17:26:39Z)
• Batch Multi-Fidelity Active Learning with Budget Constraints [37.420149663263835]
  Batch Multi-Fidelity Active Learning with Budget Constraints (BMFAL-BC) 本稿では,多要素クエリのバッチと対象関数間の相互情報を計測する新しいバッチ取得関数を提案する。 計算物理学と工学のいくつかの応用において,本手法の利点を示す。
  論文  参考訳（メタデータ） (2022-10-23T11:39:56Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration [143.43658264904863]
  我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。 そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-08-18T04:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。