論文の概要: Boosting for Vector-Valued Prediction and Conditional Density Estimation
- arxiv url: http://arxiv.org/abs/2602.18866v1
- Date: Sat, 21 Feb 2026 15:21:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-24 17:42:02.365147
- Title: Boosting for Vector-Valued Prediction and Conditional Density Estimation
- Title(参考訳): ベクトル値予測と条件密度推定のためのブースティング
- Authors: Jian Qian, Shu Ge,
- Abstract要約: 幾何的中央値のアグリゲーションは多種多様な発散の促進性を達成できることを示す。
指数的再重み付けと幾何学的中間集合に基づく汎用的なブースティングフレームワークtextscGeoMedBoostを提案する。
本フレームワークは,textscMedBoost, textscAdaBoost, textscSAMMEなどの古典的アルゴリズムを特殊ケースとして復元する。
- 参考スコア(独自算出の注目度): 9.193683755151051
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the widespread use of boosting in structured prediction, a general theoretical understanding of aggregation beyond scalar losses remains incomplete. We study vector-valued and conditional density prediction under general divergences and identify stability conditions under which aggregation amplifies weak guarantees into strong ones. We formalize this stability property as \emph{$(α,β)$-boostability}. We show that geometric median aggregation achieves $(α,β)$-boostability for a broad class of divergences, with tradeoffs that depend on the underlying geometry. For vector-valued prediction and conditional density estimation, we characterize boostability under common divergences ($\ell_1$, $\ell_2$, $\TV$, and $\Hel$) with geometric median, revealing a sharp distinction between dimension-dependent and dimension-free regimes. We further show that while KL divergence is not directly boostable via geometric median aggregation, it can be handled indirectly through boostability under Hellinger distance. Building on these structural results, we propose a generic boosting framework \textsc{GeoMedBoost} based on exponential reweighting and geometric-median aggregation. Under a weak learner condition and $(α,β)$-boostability, we obtain exponential decay of the empirical divergence exceedance error. Our framework recovers classical algorithms such as \textsc{MedBoost}, \textsc{AdaBoost}, and \textsc{SAMME} as special cases, and provides a unified geometric view of boosting for structured prediction.
- Abstract(参考訳): 構造的予測においてブースティングが広く用いられているにもかかわらず、スカラー損失を超えた集約の一般的な理論的理解はいまだ不完全である。
一般分散下でのベクトル値および条件密度予測について検討し、凝集が弱い保証を強いものに増幅する安定性条件を同定する。
この安定性特性を \emph{$(α,β)$-boostability} として定式化する。
幾何中央値のアグリゲーションは、その基底となる幾何に依存するトレードオフを伴って、幅広い種類の発散に対して$(α,β)$-boostabilityを達成することを示す。
ベクトル値予測と条件密度推定では、幾何学的中央値の共通発散($\ell_1$, $\ell_2$, $\TV$, $\Hel$)で、次元に依存しない状態と次元に依存しない状態との明確な区別を明らかにする。
さらに,KLの発散は幾何的中央集束によって直接的に促進できないが,Hellinger距離下では間接的に促進可能であることを示す。
これらの構造的結果に基づいて,指数的再重み付けと幾何学的中間集合に基づく汎用的なブースティングフレームワーク \textsc{GeoMedBoost} を提案する。
弱い学習条件と$(α,β)$-boostabilityの下では、経験的発散超過誤差の指数的減衰が得られる。
我々のフレームワークは、特別な場合として、古典的なアルゴリズムである \textsc{MedBoost} 、 \textsc{AdaBoost} 、 \textsc{SAMME} を復元し、構造化予測のためのブースティングの統一的な幾何学的ビューを提供する。
関連論文リスト
- Singular Bayesian Neural Networks [1.2891210250935148]
ベイズニューラルネットワークはキャリブレーションされた不確かさを約束するが、標準平均体ガウス後方に対する$O(mn)$パラメータを必要とする。
我々は、ルベーグ測度に関して特異な後部を誘導し、ランク-$r$多様体に集中する。
複素項が $sqrtr(m+n)$ ではなく $sqrtm n$ としてスケールするPAC-Bayes 一般化境界を導出し、誤差を最適化とランク誘導バイアスに分解する損失境界を証明する。
論文 参考訳(メタデータ) (2026-01-30T23:06:34Z) - Fast and Robust: Computationally Efficient Covariance Estimation for Sub-Weibull Vectors [0.0]
本研究では,textbfSub-Weibull(拡張指数尾部$exp(-t)$)の特定の構造を目標とする。
要素的トランケーションとは異なり、我々の手法は、$O(Nd2)$演算を必要としながらスペクトル幾何学を保存する。
我々は、推定器が高い確率で最適な準ガウスレート$tildeO(sqrtr()/N)$を回復することを示す非漸近誤差境界を導出する。
論文 参考訳(メタデータ) (2025-12-19T14:34:30Z) - Cauchy-Schwarz Divergence Information Bottleneck for Regression [27.768887283866643]
情報ボトルネック(IB)アプローチは、ディープニューラルネットワークの一般化、堅牢性、説明可能性を改善するために人気がある。
我々は、コーシー=シュワルツ分岐の好ましい性質を利用して、深いニューラルネットワークでIBをパラメータ化する新しい方法を開発した。
我々は6つの実世界の回帰タスクにおいて、他の人気のある深いIBアプローチよりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-04-27T16:13:05Z) - Federated Learning Resilient to Byzantine Attacks and Data Heterogeneity [59.17297282373628]
本稿では、データに対する悪意ある攻撃の文脈におけるグラディエント学習(FL)について述べる。
本稿では,収束解析と損失関数の中央値を用いた新しい平均ロバストアルゴリズム(RAGA)を提案する。
論文 参考訳(メタデータ) (2024-03-20T08:15:08Z) - Sparse PCA with Oracle Property [115.72363972222622]
新規な正規化を伴うスパースPCAの半定緩和に基づく推定器群を提案する。
我々は、家族内の別の推定器が、スパースPCAの標準半定緩和よりも、より急激な収束率を達成することを証明した。
論文 参考訳(メタデータ) (2023-12-28T02:52:54Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳(メタデータ) (2023-04-27T06:27:37Z) - Lassoed Tree Boosting [53.56229983630983]
有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。
我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
論文 参考訳(メタデータ) (2022-05-22T00:34:41Z) - Robust Linear Predictions: Analyses of Uniform Concentration, Fast Rates
and Model Misspecification [16.0817847880416]
ヒルベルト空間上の様々な線形予測問題を含む統一的なフレームワークを提供する。
誤特定レベル $epsilon$ に対して、これらの推定器は、文献で最もよく知られたレートと一致する、$O(maxleft|mathcalO|1/2n-1/2, |mathcalI|1/2n-1 right+epsilon)$ の誤差率を達成する。
論文 参考訳(メタデータ) (2022-01-06T08:51:08Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳(メタデータ) (2021-09-24T14:48:20Z) - Spatially relaxed inference on high-dimensional linear models [48.989769153211995]
本研究では,空間的に制約されたクラスタリング,統計的推論,アンサンブルを組み合わせ,複数のクラスタリング推論解を集約するアンサンブルクラスタリング推論アルゴリズムの特性について検討する。
アンサンブルクラスタ推論アルゴリズムは,最大クラスター径に等しい$delta$-FWERの標準仮定で$delta$-FWERを制御することを示す。
論文 参考訳(メタデータ) (2021-06-04T16:37:19Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳(メタデータ) (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。