論文の概要: Towards Fully Parameter-Free Stochastic Optimization: Grid Search with Self-Bounding Analysis

• arxiv url: http://arxiv.org/abs/2604.16888v1
• Date: Sat, 18 Apr 2026 07:32:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.218583
• Title: Towards Fully Parameter-Free Stochastic Optimization: Grid Search with Self-Bounding Analysis
• Title（参考訳）: 完全パラメータフリー確率最適化に向けて:自己境界解析を用いた格子探索
• Authors: Yuheng Zhao, Yu-Hu Yan, Amit Attia, Tomer Koren, Lijun Zhang, Peng Zhao,
• Abstract要約: 検索不要の最適化は、根底にある問題パラメータに対応するアルゴリズムを設計することを目的としている。 そこで我々は,新しい自己バウンディング分析手法により,ScGraspという強力な汎用グリッド検索フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 44.258546874111566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-free stochastic optimization aims to design algorithms that are agnostic to the underlying problem parameters while still achieving convergence rates competitive with optimally tuned methods. While some parameter-free methods do not require the specific values of the problem parameters, they still rely on prior knowledge, such as the lower or upper bounds of them. We refer to such methods as ``partially parameter-free''. In this work, we target achieving ``fully parameter-free'' methods, i.e., the algorithmic inputs do not need to satisfy any unverifiable condition related to the true problem parameters. We propose a powerful and general grid search framework, named \textsc{Grasp}, with a novel self-bounding analysis technique that effectively determines the search ranges of parameters, in contrast to previous work. Our method demonstrates generality in: (i) the non-convex case, where we propose a fully parameter-free method that achieves near-optimal convergence rate, up to logarithmic factors; (ii) the convex case, where our parameter-free methods are competitive with strong performance in terms of acceleration and universality. Finally, we contribute a sharper guarantee for the model ensemble, a final step of the grid search framework, under interpolated variance characterization.
• Abstract（参考訳）: パラメータフリー確率最適化は、最適に調整された手法と競合する収束率を保ちながら、基礎となる問題パラメータに依存しないアルゴリズムを設計することを目的としている。 パラメータフリーなメソッドの中には、問題パラメータの特定の値を必要としないものもあるが、その下限や上限のような事前の知識に依存しているものもある。 このようなメソッドを ``partially parameter-free'' と呼ぶ。 そこで本研究では,アルゴリズムの入力が真問題パラメータに関連する検証不能な条件を満たす必要がなくなることを目標とした。 本稿では,従来の研究とは対照的に,パラメータの探索範囲を効果的に決定する,新しい自己有界分析手法を用いた,強力で汎用的なグリッド検索フレームワークであるtextsc{Grasp}を提案する。 我々の手法は、次のように一般化している。 (i)非凸の場合において、対数的要因までほぼ最適収束率を達成する完全パラメータフリー法を提案する。 (II) パラメータフリーな手法が加速と普遍性の点で強い性能と競合する凸の場合。 最後に,格子探索フレームワークの最終段階であるモデルアンサンブルを補間分散特性下でより鮮明に保証する。

関連論文リスト

• How Free is Parameter-Free Stochastic Optimization? [29.174036532175855]
  パラメータフリー最適化の問題について検討し、パラメータフリーな手法が存在するかどうかを問う。 既存の手法は、真の問題パラメータに関するいくつかの非自明な知識を必要とするため、部分的にはパラメータフリーとみなすことができる。 単純なハイパーサーチ手法により、より洗練された最先端アルゴリズムより優れたパラメータフリーな手法が実現できることを実証する。
  論文  参考訳（メタデータ） (2024-02-05T15:51:49Z)
• On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
  現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
  論文  参考訳（メタデータ） (2022-11-28T17:41:48Z)
• Automated differential equation solver based on the parametric approximation optimization [77.34726150561087]
  本稿では,最適化アルゴリズムを用いてパラメータ化近似を用いた解を求める手法を提案する。 アルゴリズムのパラメータを変更することなく、幅広い種類の方程式を自動で解くことができる。
  論文  参考訳（メタデータ） (2022-05-11T10:06:47Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Lazy Parameter Tuning and Control: Choosing All Parameters Randomly From a Power-Law Distribution [8.34061303235504]
  ほとんどの進化的アルゴリズムは複数のパラメータを持ち、その値は性能に大きな影響を及ぼす。 そこで本研究では,各繰り返しにおけるパラメータの値を,適切にスケールされたパワー・ロー分布からランダムに選択する,遅延だが効果的な解を提案する。 静的パラメータで知られている最高のパフォーマンスに匹敵する性能を保証する。
  論文  参考訳（メタデータ） (2021-04-14T09:17:18Z)
• Efficient Hyperparameter Tuning with Dynamic Accuracy Derivative-Free Optimization [0.27074235008521236]
  我々は,最近の動的精度微分自由最適化法をハイパーパラメータチューニングに適用する。 この方法は、収束保証を維持しながら、学習問題の不正確な評価を可能にする。 固定精度アプローチと比較して頑健さと効率性を実証する。
  論文  参考訳（メタデータ） (2020-11-06T00:59:51Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。