論文の概要: State-of-art minibatches via novel DPP kernels: discretization, wavelets, and rough objectives
- arxiv url: http://arxiv.org/abs/2605.13127v1
- Date: Wed, 13 May 2026 07:54:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:27.883352
- Title: State-of-art minibatches via novel DPP kernels: discretization, wavelets, and rough objectives
- Title（参考訳）: 新しいDPPカーネルによる最先端のミニバッチ:離散化、ウェーブレット、および粗目標
- Authors: Hoang-Son Tran, Pranav Gupta, Rémi Bardenet, Subhroshekhar Ghosh,
- Abstract要約: 本稿では,ML のサブサンプリングツールボックスとして DPP を確立するプログラムに貢献する。
まず、ウェーブレットに基づくユークリッド空間上の新しい DPP を提案する。
次に,解析文の証明に適した連続DPPを離散カーネルに変換する方法を提案する。
- 参考スコア（独自算出の注目度）: 10.565834218166524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Determinantal point processes (DPPs) have emerged as a kernelized alternative to vanilla independent sampling for generating efficient minibatches, coresets and other parsimonious representations of large-scale datasets. While theoretical foundations and promising empirical performance have been demonstrated, there are two challenges for current proposals for DPP-based coresets or minibatches. The first is the need for families of DPPs with certain key variance reduction properties, usually constructed in a continuous setting, of which there are few known examples. The second is the need for an ad-hoc construction of a discrete DPP defined on a given dataset, that inherits such variance reduction. In this work, we contribute to the programme of establishing DPPs as a subsampling toolbox for ML by advancing on these two fronts. First, we propose new DPPs on the Euclidean space based on wavelets, with provably better accuracy guarantees than the best known rates. Second, we introduce a general method to convert such continuous DPPs, which are more amenable to proving analytical statements, into discrete kernels, which are pertinent for subsampling tasks such as minibatch and coreset constructions. This conversion mechanism simultaneously preserves the desired variance decay and reveals a low-rank decomposition of the discrete kernel, which makes sampling the corresponding DPP computationally inexpensive. En route, we enlarge the class of ML tasks amenable to improvements via DPP-based minibatches and coresets to include objective functions with arbitrarily low regularity, and rate guarantees that explicitly adapt to this regularity.
- Abstract（参考訳）: 決定点プロセス (Determinantal point process, DPPs) は、大規模なデータセットの効率的なミニバッチ、コアセット、その他の類似表現を生成するために、バニラ独立サンプリングに代わるカーネル化された代替として登場した。
理論的基礎と有望な経験的性能が実証されているが、DPPベースのコアセットやミニバッチに対する現在の提案には2つの課題がある。
1つ目は、特定の鍵分散還元特性を持つ DPP の族の必要性であり、通常は連続的な設定で構築される。
2つ目は、あるデータセット上で定義された離散DPPのアドホックな構成の必要性であり、そのような分散還元を継承する。
本研究は,これら2つの領域を前進させることにより,MLのサブサンプリングツールボックスとしてDPPを確立するプログラムに貢献する。
まず、ウェーブレットに基づくユークリッド空間上の新しい DPP を提案する。
第二に、分析文を証明しやすいような連続DPPを離散カーネルに変換し、ミニバッチやコアセット構造のようなサブサンプリングタスクに関連付ける方法を提案する。
この変換機構は、所望の分散減衰を同時に保存し、離散カーネルの低ランク分解を明らかにし、対応するDPPのサンプリングを安価に行う。
その過程で、DPPベースのミニバッチとコアセットによって改善可能なMLタスクのクラスを拡大し、任意に低い正規性を持つ目的関数と、この正規性に明示的に適応するレート保証を含むようにします。
関連論文リスト
- Distributionally Robust Multi-Objective Optimization [47.16280600850848]
分散ロバストな多目的最適化(DRMOO)を導入する。
本稿では、内部ループを用いて2変数を推定し、$$$Pareto-stationary点に達するための合計サンプル複雑性を$mathcalO(-12)$とする2ループMGDAを提案する。
さらに効率を向上させるために、一般化された平滑な偏り推定を処理し、二重サンプリングの必要性を排除した。
論文 参考訳（メタデータ） (2026-05-07T04:24:17Z) - Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。
既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。
本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
論文 参考訳（メタデータ） (2025-12-28T05:48:55Z) - Second-Order Convergence in Private Stochastic Non-Convex Optimization [28.00987194971941]
微分プライベート(DP)非次元同定最適化における2次定常点(SOS)の探索問題について検討する。
既存手法はサドル点エスケープ解析における勾配変動による不正確な収束誤差に悩まされている。
我々は,先行研究で報告された収束誤差を補正する新しいDPアルゴリズムを開発した。
論文 参考訳（メタデータ） (2025-05-21T15:25:23Z) - Decomposed Global Optimization for Robust Point Matching with Low-Dimensional Branching [41.05165517541873]
部分重なり合う点集合を整列する新しい大域的最適化手法を提案する。
本手法は非剛性変形, 位置雑音, 外れ値に優れた強靭性を示す。
2次元および3次元合成および実世界のデータを用いた実験により,本手法は最先端の手法と比較して,外れ値に対して優れた強靭性を示すことが示された。
論文 参考訳（メタデータ） (2024-05-14T13:28:57Z) - FaDIn: Fast Discretized Inference for Hawkes Processes with General
Parametric Kernels [82.53569355337586]
この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。
脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。
その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
論文 参考訳（メタデータ） (2022-10-10T12:35:02Z) - Determinantal point processes based on orthogonal polynomials for
sampling minibatches in SGD [0.0]
勾配降下(SGD)は機械学習の基盤である。
デフォルトのミニバッチ構成では、望ましいサイズのサブセットを一様にサンプリングする。
DPPと制御された近似の列が、一様サンプリングよりもバッチサイズで高速に崩壊するばらつきを持つ勾配推定器にどのように影響するかを示す。
論文 参考訳（メタデータ） (2021-12-11T15:09:19Z) - Differentially Private Coordinate Descent for Composite Empirical Risk
Minimization [13.742100810492014]
機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。
Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。
差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
論文 参考訳（メタデータ） (2021-10-22T10:22:48Z) - DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic
Convolution [136.7261709896713]
本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。
提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。
また、現在の最先端よりも推論速度を25%以上向上させる。
論文 参考訳（メタデータ） (2020-11-26T14:56:57Z) - Learning from DPPs via Sampling: Beyond HKPV and symmetry [2.0305676256390934]
行列点過程(DPP)の線形統計量の分布関数を近似する方法を示す。
我々のアプローチはスケーラブルであり、従来の対称カーネルを超えて非常に一般的なDPPに適用できる。
論文 参考訳（メタデータ） (2020-07-08T17:33:45Z) - Determinantal Point Processes in Randomized Numerical Linear Algebra [80.27102478796613]
数値線形代数(RandNLA)は、科学計算、データサイエンス、機械学習などで発生する行列問題に対する改良されたアルゴリズムを開発するためにランダム性を使用する。
最近の研究により、DPPとRandNLAの間の深い実りある関係が明らかになり、新たな保証とアルゴリズムの改善につながった。
論文 参考訳（メタデータ） (2020-05-07T00:39:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。