Fugu-MT 論文翻訳(概要): Beyond Cross-Validation: Adaptive Parameter Selection for Kernel-Based Gradient Descents

論文の概要: Beyond Cross-Validation: Adaptive Parameter Selection for Kernel-Based Gradient Descents

arxiv url: http://arxiv.org/abs/2603.03401v1
Date: Tue, 03 Mar 2026 14:19:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-05 21:29:15.035949
Title: Beyond Cross-Validation: Adaptive Parameter Selection for Kernel-Based Gradient Descents
Title（参考訳）: クロスバリデーションを超えて:カーネルベースグラディエントDescenceに対する適応パラメータ選択
Authors: Xiaotong Liu, Yunwen Lei, Xiangyu Chang, Shao-Bo Lin,
Abstract要約: 本稿では,カーネルベース勾配勾配(KGD)アルゴリズムのパラメータ選択手法を提案する。 KGDにおける反復増分を定量化するための経験的有効次元の概念を導入し、実装可能な適応パラメータ選択戦略を導出する。
参考スコア（独自算出の注目度）: 34.607718413336585
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: This paper proposes a novel parameter selection strategy for kernel-based gradient descent (KGD) algorithms, integrating bias-variance analysis with the splitting method. We introduce the concept of empirical effective dimension to quantify iteration increments in KGD, deriving an adaptive parameter selection strategy that is implementable. Theoretical verifications are provided within the framework of learning theory. Utilizing the recently developed integral operator approach, we rigorously demonstrate that KGD, equipped with the proposed adaptive parameter selection strategy, achieves the optimal generalization error bound and adapts effectively to different kernels, target functions, and error metrics. Consequently, this strategy showcases significant advantages over existing parameter selection methods for KGD.
Abstract（参考訳）: 本稿では,カーネルベース勾配勾配勾配法(KGD)アルゴリズムのパラメータ選択手法を提案する。 KGDにおける反復増分を定量化するための経験的有効次元の概念を導入し、実装可能な適応パラメータ選択戦略を導出する。理論的な検証は、学習理論の枠組みの中で提供される。最近開発された積分作用素アプローチを用いて、提案した適応パラメータ選択戦略を実装したKGDが最適一般化誤差境界を達成し、異なるカーネル、ターゲット関数、エラーメトリクスに効果的に適用できることを厳密に実証した。その結果,KGD のパラメータ選択手法に対して,この手法は大きな利点があることがわかった。

関連論文リスト

Neural Network Training via Stochastic Alternating Minimization with Trainable Step Sizes [3.246129789918632]
ディープニューラルネットワークのトレーニングは本質的に非最適化問題である。勾配降下(SGD)のような標準的なアプローチでは、パラメータを同時に更新する必要がある。そこで本研究では,SAMTを用いた列車最小化手法を提案する。 SAMTは、最先端のメソッドに比べて、パラメータ更新が少なく、パフォーマンスが向上する。
論文参考訳（メタデータ） (2025-08-06T08:23:38Z)
Reinforcement learning Based Automated Design of Differential Evolution Algorithm for Black-box Optimization [14.116216795259554]
微分進化(DE)アルゴリズムは最も効果的な進化アルゴリズムの1つとして認識されている。ブラックボックス最適化のためのDEの自動設計に強化学習(RL)を用いる新しいフレームワークを提案する。 RLは高度なメタ最適化器として機能し、カスタマイズされたDE構成を生成する。
論文参考訳（メタデータ） (2025-01-22T13:41:47Z)
Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文参考訳（メタデータ） (2024-06-04T20:33:22Z)
End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文参考訳（メタデータ） (2024-02-12T16:33:35Z)
Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文参考訳（メタデータ） (2023-12-10T15:22:30Z)
Adaptive Parameter Selection for Kernel Ridge Regression [16.389581549801253]
本稿ではカーネルリッジ回帰(KRR)のパラメータ選択問題に焦点をあてる。 KRRの特別なスペクトル特性により、パラメータ間隔の微妙な分割が、2つの連続するKRR推定値の差を縮めることが分かる。我々は、いわゆるLepskii型原理に従って、KRRの早期ストッピング型パラメータ選択戦略を開発する。
論文参考訳（メタデータ） (2023-12-10T13:28:20Z)
Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2023-06-12T03:35:45Z)
An Adaptive Incremental Gradient Method With Support for Non-Euclidean Norms [19.41328109094503]
そこで本研究では,SAGAアルゴリズムの適応型を新たにいくつか提案し,解析する。一般的な設定の下で収束保証を確立する。我々は、非ユークリッドノルムをサポートするためにSAGAの分析を改善した。
論文参考訳（メタデータ） (2022-04-28T09:43:07Z)
Optimistic Policy Optimization is Provably Efficient in Non-stationary MDPs [113.8752163061151]
非定常線形カーネルマルコフ決定過程(MDP)におけるエピソード強化学習(RL)の研究線形最適化アンダーライン最適化アルゴリズム(PROPO)を提案する。 PROPOはスライディングウィンドウベースのポリシー評価と周期的リスタートベースのポリシー改善の2つのメカニズムを特徴としている。
論文参考訳（メタデータ） (2021-10-18T02:33:20Z)
Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文参考訳（メタデータ） (2020-10-21T14:49:00Z)
Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文参考訳（メタデータ） (2020-10-01T18:14:11Z)
Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。