Fugu-MT 論文翻訳(概要): Derivative Gaussian Processes on a Two-Direction Budget

論文の概要: Derivative Gaussian Processes on a Two-Direction Budget

arxiv url: http://arxiv.org/abs/2610.10428v1
Date: Wed, 07 Oct 2026 17:08:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-08 21:58:23.067122
Title: Derivative Gaussian Processes on a Two-Direction Budget
Title（参考訳）: 2方向予算によるガウス過程の導出
Abstract要約: 観測勾配あたりの2方向のみの予算を持つ導関数GPを提案する。 1つの方向は、各勾配の目標予測への直接的な寄与に焦点を当てている。他のコントリビューションは、条件付け関数値との相関を通じて間接的なコントリビューションを集約する。
参考スコア（独自算出の注目度）: 1.683019116094311
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Gradient observations promise more accurate Gaussian process (GP) surrogates, but the cost of incorporating them has long stood in the way of realizing that promise. We propose a derivative GP with a budget of just two directions per observed gradient. One direction focuses on each gradient's direct contribution to target prediction, while the other aggregates its indirect contributions through correlations with the conditioning function values. Within a Vecchia approximation, where each prediction conditions on $m$ nearby inputs in $d$ dimensions, this construction represents their $md$ gradient coordinates using at most $2m$ directional derivatives, giving $\mathcal{O}(m^3)$ dense factorization cost per prediction target. For general conditioning sets, we bound the posterior approximation error relative to using full gradients and characterize when the error is small or the approximation is exact. In simulations, our method matches the accuracy of a leading exact gradient-reduction method at equal conditioning set size. Because its cost grows much more slowly with that size, it can use conditioning sets well beyond the memory limit of the exact method, reaching lower prediction error with a small fraction of the time and memory. Notably, our method can exploit gradient observations while requiring less computation time or memory than function-only GP baselines.
Abstract（参考訳）: グラディエントな観測はより正確なガウス過程(GP)のサロゲートを約束するが、それらを組み込むコストは長い間、その約束を実現する方法に立っていた。観測勾配あたりの2方向のみの予算を持つ導関数GPを提案する。 1つの方向は、各勾配の目標予測への直接的な寄与に焦点を当て、もう1つは条件付き関数値との相関を通じて間接的な寄与を集約する。この構成は、Vecchia近似の中で、$m$近くの入力に対する$d$次元での予測条件がそれぞれ$md$勾配座標を、少なくとも2m$方向微分を用いて表現し、予測対象ごとに$\mathcal{O}(m^3)$密度分解コストを与える。一般条件集合に対しては、全勾配を用いて後方近似誤差を限定し、誤差が小さい場合や近似が正確であれば特徴付ける。シミュレーションにおいて,本手法は,鉛直勾配法と等条件セットサイズとの精度を一致させる。そのコストは、そのサイズとともにずっと遅くなるので、正確なメソッドのメモリ限界を超えて条件セットを使用することができ、時間とメモリのごく一部で低い予測誤差に達することができる。特に,本手法は,関数のみのGPベースラインよりも計算時間やメモリを少なくしながら,勾配観測を活用できる。

関連論文リスト

Learning Decision-Stump Thresholds in Context: Dynamics of Softmax Attention [10.960057599060562]
決定しきい値を推定するには、未知の境界付近で観測を行う必要がある。勾配に基づく事前学習は2パラメータのソフトマックスアテンションモデルでこの統計則を学習することを示す。また, 片頭部モデルの境界限界を同定し, 反射対称性を統計的に説明する。
論文参考訳（メタデータ） (2026-10-05T09:00:28Z)
WEIRDO: WEak resIdual Regularized DOob's h-transform diffusion alignment [0.0]
本研究では,拡散生成モデルを用いて学習した分布を推定する方法について検討する。得られた誘導推定値の2乗誤差に基づいて高確率境界を導出する。
論文参考訳（メタデータ） (2026-09-30T11:32:29Z)
Scalable Derivative Gaussian Processes via Exact Gradient Reduction [1.683019116094311]
本稿では,ターゲット比の厳密な勾配減少に基づく高度にスケーラブルな微分GP法であるTERAを紹介する。 TERAは、標準的な派生GPよりも桁違いに高速に動作しながら、最先端の予測精度を達成する。
論文参考訳（メタデータ） (2026-06-01T21:29:28Z)
Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
論文参考訳（メタデータ） (2026-05-21T08:57:38Z)
Differential Private Stochastic Optimization with Heavy-tailed Data: Towards Optimal Rates [15.27596975662702]
重み付き勾配を用いたDP最適化の最適速度を達成するアルゴリズムについて検討する。その結果,DP下での凸最適化の理論的限界が達成可能であることを示す。
論文参考訳（メタデータ） (2024-08-19T11:07:05Z)
Second-order Information Promotes Mini-Batch Robustness in Variance-Reduced Gradients [0.196629787330046]
目的関数の部分的な2次情報を組み込むことで、分散還元勾配法のミニバッチサイズに対するロバスト性を劇的に向上させることができることを示す。本稿では,この現象をプロトタイプNewton(textttMb-SVRN$)アルゴリズムで示す。
論文参考訳（メタデータ） (2024-04-23T05:45:52Z)
Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
論文参考訳（メタデータ） (2023-09-17T08:35:11Z)
Min-Max Optimization Made Simple: Approximating the Proximal Point Method via Contraction Maps [77.8999425439444]
本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
論文参考訳（メタデータ） (2023-01-10T12:18:47Z)
Estimating the minimizer and the minimum value of a regression function under passive design [72.85024381807466]
最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。 2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
論文参考訳（メタデータ） (2022-11-29T18:38:40Z)
Correcting Momentum with Second-order Information [50.992629498861724]
最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
論文参考訳（メタデータ） (2021-03-04T19:01:20Z)
Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。