論文の概要: B2P-Corr: Batch-to-Population Gradient Estimators for Non-Decomposable Correlation Losses
- arxiv url: http://arxiv.org/abs/2610.38171v2
- Date: Sat, 31 Oct 2026 03:12:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 02:41:44.996927
- Title: B2P-Corr: Batch-to-Population Gradient Estimators for Non-Decomposable Correlation Losses
- Title（参考訳）: B2P-Corr:非分解性相関損失に対するバッチ・ツー・ポピュレーション勾配推定器
- Abstract要約: 我々は,B2P-Corrを提案する。B2P-Corrは,相関対象を軽量なグローバルモーメントスケッチによって駆動される分解可能な擬似空間に変換する新しいフレームワークである。」
2つの実世界のデータセットと3つの実世界のデータセットの実験により、B2P-Corrは、無視可能なオーバーヘッドを伴う単純なミニバッチ最適化よりも安定した最適化と高い相関を達成することを示した。
- 参考スコア（独自算出の注目度）: 21.002587086609243
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Correlation metrics such as the Pearson Correlation Coefficient (PCC) and Concordance Correlation Coefficient (CCC) are standard regression metrics and learning objectives, but their non-decomposable nature poses a challenge for stochastic optimization. Since these metrics depend on dataset-level moments (mean, variance, covariance), naive mini-batch training with local statistics yields biased, high-variance gradients whose expectation does not align with the population gradient. To bridge this ``batch-to-population'' (B2P) gap, we propose B2P-Corr, a novel framework that transforms correlation objectives into decomposable pseudo-losses driven by lightweight global ``moment sketches''. We introduce two efficient variants: B2P-EMA, which utilizes exponential moving averages and stop-gradient operators to ensure asymptotic gradient tracking with $O(B)$ cost ($B$ is batch size); and B2P-U, which uses sampled cross-batch U-statistic estimators and a reservoir-based stabilization with an $O(B)$ implementation. Theoretically, we quantify the $O(B^{-1})$ bias of naive mini-batch optimization, prove a moving-target tracking result for B2P-EMA under a fast-sketch / slow-parameter regime, and provide an idealized control-variate analysis for B2P-U. Experiments on two synthetic and three real-world datasets demonstrate B2P-Corr achieves stable optimization and higher correlation than naive mini-batch optimization with negligible overhead.
- Abstract（参考訳）: Pearson correlation Coefficient (PCC) やConcordance correlation Coefficient (CCC) のような相関指標は標準回帰指標と学習目標であるが、その非分解性は確率的最適化の課題である。
これらの指標はデータセットレベルのモーメント(平均、分散、共分散)に依存しているため、局所統計による素早いミニバッチトレーニングは偏りがあり、期待される高分散勾配は人口勾配と一致しない。
この「バッチ・トゥ・ポピュレーション」 (B2P) ギャップを埋めるために, 軽量なグローバルな「モーメントスケッチ」によって駆動される、相関対象を分解可能な擬似空間に変換する新しいフレームワークであるB2P-Corrを提案する。
B2P-EMAは指数的な移動平均値と停止勾配演算子を用いて漸近的勾配追跡を$O(B)$コスト(B$はバッチサイズ)で保証し、B2P-UはサンプルバッチU-統計推定器と$O(B)$実装による貯水池ベースの安定化を行う。
理論的には、単純最小バッチ最適化の$O(B^{-1})$バイアスを定量化し、高速・低パラメータな条件下でB2P-EMAの移動目標追跡結果を証明し、B2P-Uの最適制御変量解析を提供する。
2つの実世界のデータセットと3つの実世界のデータセットの実験により、B2P-Corrは、無視可能なオーバーヘッドを伴う単純なミニバッチ最適化よりも安定した最適化と高い相関を達成することを示した。
関連論文リスト
- Beyond Text Matching: Towards Reference-Free Evaluation for Human-Oriented Binary Reverse Engineering [30.567931362297553]
我々は,多次元の人的判断に基づく最初の専門家による基準のない評価ベンチマークであるBinJudgeBenchを紹介する。
BinJudgeは、人間の専門家との相関を4.5%-24.7%改善し、APIコストを0.06$times$-0.84$times$に削減する。
論文 参考訳（メタデータ） (2026-08-07T09:48:25Z) - Functional Bilevel Optimization for Predictive Fairness [25.649081304879218]
本稿では, DPVar による人口統計学的同値性, センシティブな属性による条件平均予測のばらつきについて考察し, その最適化が機能的二段階問題をもたらすことを示す。
この問題に対して,2つのアルゴリズムを提案する: FBO, 正方形の随伴体を用いて, 正方形空間を正確に過次的に得るために導出する FBO と, 回転しない内部ステップで微分し, 正方形の損失を超えて拡張する ITD である。
論文 参考訳（メタデータ） (2026-07-06T13:56:16Z) - Distribution-Aware Robust Bilevel Optimization: Quantile-Guided Huber Updates in Two-Timescale Stochastic Approximation [16.106678611834102]
双レベル最適化(BLO)は階層的な決定には基本的だが、重み付き雑音下での臨界不安定性に悩まされている。
既存の技術は通常、等級チェックに依存しており、情報的幾何学的信号と外れ値の区別に失敗する。
論文 参考訳（メタデータ） (2026-06-21T10:57:37Z) - Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。
本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。
刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
論文 参考訳（メタデータ） (2026-03-04T14:48:53Z) - Trajectory Consistency for One-Step Generation on Euler Mean Flows [24.038760671907024]
本研究では,フローベース生成フレームワークであるemphEuler Mean Flows (EMF)を提案する。
EMFは最小サンプリングコストで長距離軌道の整合性を実現する。
論文 参考訳（メタデータ） (2026-01-31T04:32:32Z) - Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。
Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
論文 参考訳（メタデータ） (2025-09-28T13:27:38Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-17T08:32:25Z) - A Specialized Semismooth Newton Method for Kernel-Based Optimal
Transport [92.96250725599958]
カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。
SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
論文 参考訳（メタデータ） (2023-10-21T18:48:45Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z) - Amortized variance reduction for doubly stochastic objectives [17.064916635597417]
複素確率モデルにおける近似推論は二重目的関数の最適化を必要とする。
現在のアプローチでは、ミニバッチがサンプリング性にどのように影響するかを考慮せず、結果として準最適分散が減少する。
本稿では,認識ネットワークを用いて各ミニバッチに対して最適な制御変数を安価に近似する手法を提案する。
論文 参考訳（メタデータ） (2020-03-09T13:23:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。