論文の概要: Surrogate-based Autotuning for Randomized Sketching Algorithms in Regression Problems

• arxiv url: http://arxiv.org/abs/2308.15720v1
• Date: Wed, 30 Aug 2023 02:50:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-31 15:05:26.574064
• Title: Surrogate-based Autotuning for Randomized Sketching Algorithms in Regression Problems
• Title（参考訳）: 回帰問題におけるランダムスケッチアルゴリズムのサロゲートベースオートチューニング
• Authors: Younghyun Cho, James W. Demmel, Micha{\l} Derezi\'nski, Haoyun Li, Hengrui Luo, Michael W. Mahoney, Riley J. Murray
• Abstract要約: 本稿では,RandNLAアルゴリズムにおけるパラメータ選択の基本的な問題に対して,サロゲートに基づくオートチューニング手法を適用する方法について述べる。 提案手法は, 提案手法により, ランダム探索よりもチューニングコストがはるかに低く, ほぼ最適性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 44.54726768134471
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Algorithms from Randomized Numerical Linear Algebra (RandNLA) are known to be effective in handling high-dimensional computational problems, providing high-quality empirical performance as well as strong probabilistic guarantees. However, their practical application is complicated by the fact that the user needs to set various algorithm-specific tuning parameters which are different than those used in traditional NLA. This paper demonstrates how a surrogate-based autotuning approach can be used to address fundamental problems of parameter selection in RandNLA algorithms. In particular, we provide a detailed investigation of surrogate-based autotuning for sketch-and-precondition (SAP) based randomized least squares methods, which have been one of the great success stories in modern RandNLA. Empirical results show that our surrogate-based autotuning approach can achieve near-optimal performance with much less tuning cost than a random search (up to about 4x fewer trials of different parameter configurations). Moreover, while our experiments focus on least squares, our results demonstrate a general-purpose autotuning pipeline applicable to any kind of RandNLA algorithm.
• Abstract（参考訳）: ランダム化数値線形代数(RandNLA)のアルゴリズムは高次元の計算問題を処理し、高い確率的保証とともに高品質な経験的性能を提供する。 しかし,その実践的応用は,従来のNLAと異なるアルゴリズム固有のチューニングパラメータをユーザが設定する必要があるという事実によって複雑である。 本稿では、RandNLAアルゴリズムにおけるパラメータ選択の基本的な問題に、代理ベースのオートチューニング手法を用いて対処する方法を示す。 特に,現代のRandNLAにおける成功事例の1つであるスケッチ・アンド・プレコンディショニング(SAP)に基づくランダム化最小二乗法におけるサロゲートに基づく自動チューニングについて,詳細に検討する。 実験結果から,我々のサーロゲートに基づく自動チューニング手法は,ランダム検索よりもチューニングコストがはるかに少ない(パラメータ構成の試行回数が最大4倍少ない)ことで,最適化に近い性能を達成できることがわかった。 さらに,実験では最小二乗に焦点を合わせながら,任意の種類のRandNLAアルゴリズムに適用可能な汎用オートチューニングパイプラインを実証した。

関連論文リスト

• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
  現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
  論文  参考訳（メタデータ） (2022-11-28T17:41:48Z)
• Fast Feature Selection with Fairness Constraints [49.142308856826396]
  モデル構築における最適特徴の選択に関する基礎的問題について検討する。 この問題は、greedyアルゴリズムの変種を使用しても、大規模なデータセットで計算的に困難である。 適応クエリモデルは,最近提案された非モジュラー関数に対する直交整合探索のより高速なパラダイムに拡張する。 提案アルゴリズムは、適応型クエリモデルにおいて指数関数的に高速な並列実行を実現する。
  論文  参考訳（メタデータ） (2022-02-28T12:26:47Z)
• TFPnP: Tuning-free Plug-and-Play Proximal Algorithm with Applications to Inverse Imaging Problems [22.239477171296056]
  Plug-and-Play (MM) は非最適化フレームワークであり、例えば、数値アルゴリズムと高度なデノゲーション前処理を組み合わせたものである。 我々は、学習戦略とともに最先端の成果である、より難解な問題に対するいくつかの実践的考察について論じる。
  論文  参考訳（メタデータ） (2020-11-18T14:19:30Z)
• Data-driven Algorithm Design [21.39493074700162]
  データ駆動型アルゴリズム設計は、現代のデータ科学とアルゴリズム設計の重要な側面である。 パラメータの小さな微調整は、アルゴリズムの振る舞いのカスケードを引き起こす可能性がある。 バッチおよびオンラインシナリオに対して、強力な計算および統計的パフォーマンス保証を提供する。
  論文  参考訳（メタデータ） (2020-11-14T00:51:57Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)
• Fast Perturbative Algorithm Configurators [0.0]
  ParamRLS と ParamILS のパラメータ問題を最適化するために,期待時間に線形な下界を証明した。 本研究では, 摂動アルゴリズムのための高調波突然変異演算子を, 対数時間, 対数時間, ほぼ対数時間で提案する。 実験的な分析により、いくつかの構成シナリオにおいて、実際にアプローチの優位性を確認することができる。
  論文  参考訳（メタデータ） (2020-07-07T10:48:32Z)
• Determinantal Point Processes in Randomized Numerical Linear Algebra [80.27102478796613]
  数値線形代数(RandNLA)は、科学計算、データサイエンス、機械学習などで発生する行列問題に対する改良されたアルゴリズムを開発するためにランダム性を使用する。 最近の研究により、DPPとRandNLAの間の深い実りある関係が明らかになり、新たな保証とアルゴリズムの改善につながった。
  論文  参考訳（メタデータ） (2020-05-07T00:39:52Z)
• MATE: A Model-based Algorithm Tuning Engine [2.4693304175649304]
  モデルに基づくアルゴリズム変換エンジン、すなわちMATEを導入し、アルゴリズムのパラメータを目標最適化問題の特徴の表現として表現する。 パラメータと問題の特徴の関係を象徴的回帰問題として求める問題を定式化し,遺伝子プログラミングを用いてこれらの表現を抽出する。 本評価では,OneMax,LeadingOnes,BinValue,Jumpの最適化問題に対して,(1+1) EAおよびRSSアルゴリズムの構成に適用する。
  論文  参考訳（メタデータ） (2020-04-27T12:50:48Z)
• Online Hyperparameter Search Interleaved with Proximal Parameter Updates [9.543667840503739]
  本研究では,近似勾配法の構造に依存する手法を開発し,スムーズなコスト関数を必要としない。 そのような方法は、Leave-one-out (LOO)-validated LassoおよびGroup Lassoに適用される。 数値実験により,提案手法の収束度をLOO検証誤差曲線の局所最適値に相関させる。
  論文  参考訳（メタデータ） (2020-04-06T15:54:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。