論文の概要: Infinite-Dimensional Operator/Block Kaczmarz Algorithms: Regret Bounds and $λ$-Effectiveness

• arxiv url: http://arxiv.org/abs/2511.07604v1
• Date: Wed, 12 Nov 2025 01:06:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.398852
• Title: Infinite-Dimensional Operator/Block Kaczmarz Algorithms: Regret Bounds and $λ$-Effectiveness
• Title（参考訳）: Infinite-dimensional Operator/Block Kaczmarz Algorithms: Regret bounds and $λ$-Effectiveness
• Authors: Halyun Jeong, Palle E. T. Jorgensen, Hyun-Kyoung Kwon, Myung-Sin Song,
• Abstract要約: 一般化Kaczmarzアルゴリズムにおける緩和パラメータの役割について検討する。 我々は,アルゴリズムの性能が最適性能からどの程度逸脱するかを定量化するために,明示的な$-dependenceと事前後悔境界を確立する。
• 参考スコア（独自算出の注目度）: 2.1465871746452043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a variety of projection-based linear regression algorithms with a focus on modern machine-learning models and their algorithmic performance. We study the role of the relaxation parameter in generalized Kaczmarz algorithms and establish a priori regret bounds with explicit $λ$-dependence to quantify how much an algorithm's performance deviates from its optimal performance. A detailed analysis of relaxation parameter is also provided. Applications include: explicit regret bounds for the framework of Kaczmarz algorithm models, non-orthogonal Fourier expansions, and the use of regret estimates in modern machine learning models, including for noisy data, i.e., regret bounds for the noisy Kaczmarz algorithms. Motivated by machine-learning practice, our wider framework treats bounded operators (on infinite-dimensional Hilbert spaces), with updates realized as (block) Kaczmarz algorithms, leading to new and versatile results.
• Abstract（参考訳）: 本稿では,現代の機械学習モデルとそのアルゴリズム性能に着目した,プロジェクションに基づく線形回帰アルゴリズムを提案する。 一般化されたKaczmarzアルゴリズムにおける緩和パラメータの役割を研究し、明示的な$λ$-dependenceで事前後悔境界を確立し、アルゴリズムの性能がその最適性能からどれだけ逸脱するかを定量化する。 緩和パラメータの詳細な分析も提供する。 応用としては、Kaczmarzアルゴリズムモデルのフレームワークに対する明示的な後悔境界、非直交フーリエ拡張、および現代の機械学習モデルにおける後悔推定の使用、すなわちノイズの多いKaczmarzアルゴリズムに対する後悔境界などがある。 機械学習の実践によって動機づけられた我々のフレームワークは、(無限次元ヒルベルト空間上で)有界作用素を扱い、更新を(ブロック) Kaczmarzアルゴリズムとして実現し、新しい多目的な結果をもたらす。

関連論文リスト

• Single-loop Algorithms for Stochastic Non-convex Optimization with Weakly-Convex Constraints [49.76332265680669]
  本稿では、目的関数と制約関数の両方が弱凸である問題の重要な部分集合について検討する。 既存の手法では、収束速度の遅さや二重ループ設計への依存など、しばしば制限に直面している。 これらの課題を克服するために,新しい単一ループペナルティに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-21T17:15:48Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Geometry-Aware Approaches for Balancing Performance and Theoretical Guarantees in Linear Bandits [5.847084649531299]
  トンプソンサンプリングとグリーディは有望な経験的性能を示したが、これは悲観的な理論的後悔の境界とは対照的である。 本稿では,問題パラメータの周辺における不確かさ楕円体の幾何学的特性を追従する新しいデータ駆動手法を提案する。 この手法により,Greedy,OFUL,Thompsonサンプルを含む幅広いアルゴリズムに対して,幾何学的情報を含むデータ駆動型頻繁な後悔境界を定式化することができる。
  論文  参考訳（メタデータ） (2023-06-26T17:38:45Z)
• Online Learning Under A Separable Stochastic Approximation Framework [20.26530917721778]
  分離可能な近似フレームワークを用いて,機械学習モデルのクラスに対するオンライン学習アルゴリズムを提案する。 提案アルゴリズムは,他の一般的な学習アルゴリズムと比較して,より堅牢でテスト性能が高いことを示す。
  論文  参考訳（メタデータ） (2023-05-12T13:53:03Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Algorithms that Approximate Data Removal: New Results and Limitations [2.6905021039717987]
  本研究では,経験的リスク最小化を用いて学習した機械学習モデルからユーザデータを削除することの問題点について検討する。 計算とメモリ効率を両立させるオンラインアンラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-09-25T17:20:33Z)
• Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
  パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。 そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。 後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
  論文  参考訳（メタデータ） (2022-03-19T13:39:49Z)
• Improved Model based Deep Learning using Monotone Operator Learning (MOL) [25.077510176642807]
  アンローリングに依存するMoDLアルゴリズムは、イメージリカバリのための強力なツールとして登場している。 我々は,現在展開されていないフレームワークに関連するいくつかの課題を克服するために,新しいモノトーン演算子学習フレームワークを導入する。 並列MRIにおける提案手法の有用性を実証する。
  論文  参考訳（メタデータ） (2021-11-22T17:42:27Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Learning outside the Black-Box: The pursuit of interpretable models [78.32475359554395]
  本稿では,任意の連続ブラックボックス関数の連続的大域的解釈を生成するアルゴリズムを提案する。 我々の解釈は、その芸術の以前の状態から飛躍的な進歩を表している。
  論文  参考訳（メタデータ） (2020-11-17T12:39:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。