論文の概要: Probabilistic Multi-Source Data Selection via Learnable Categorical Priors: Variance Reduction and Guaranteed Derandomization

• arxiv url: http://arxiv.org/abs/2610.14942v1
• Date: Sat, 10 Oct 2026 14:14:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.133581
• Title: Probabilistic Multi-Source Data Selection via Learnable Categorical Priors: Variance Reduction and Guaranteed Derandomization
• Title（参考訳）: 学習可能なカテゴリプリミティブによる確率的多元データ選択:可変化と保証デランドマイゼーション
• Abstract要約: バイレベルデータ選択は、機械学習と統計学における多くの応用における基本的なタスクである。 本稿では,マルチソースバイレベルデータ選択問題に対する新しい確率緩和法を提案する。 我々のキーとなる考え方は、複数の学習可能なカテゴリ先を導入し、実現可能なデータサブセットでのみサポートされている確率分布をパラメータ化することである。
• 参考スコア（独自算出の注目度）: 59.701780470926074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bilevel data selection is a fundamental task with numerous applications in machine learning and statistics. A common strategy for tackling this problem is to relax the original bilevel combinatorial optimization into a continuous one. However, existing methods, including 0-1 relaxation and probabilistic relaxation, still suffer from several limitations, such as unstable gradient estimation and infeasible rounding. To address these issues, this paper proposes a new probabilistic relaxation for the multi-source bilevel data selection problem. Our key idea is to introduce multiple learnable categorical priors to parameterize a probability distribution supported only on feasible data subsets, thus naturally yielding a lossless rounding scheme. We further show that our proposed relaxation admits an effective two-point gradient estimator, which can simultaneously avoid the inverse-Hessian computation required by existing 0-1 relaxation and the unbounded score term appearing in prior probabilistic relaxation. Furthermore, we develop a reducible representation of this estimator, which substantially reduces the number of lower-level retrainings required for gradient computation. Built upon this reducible two-point estimator, we then design a novel stochastic gradient algorithm, termed ReSGD, for multi-source bilevel data selection problem, and establish a rigorous approximation guarantee for the subset returned by ReSGD under weak submodularity. Finally, extensive experiments are conducted to validate the effectiveness of our proposed ReSGD.
• Abstract（参考訳）: バイレベルデータ選択は、機械学習と統計学における多くの応用における基本的なタスクである。 この問題に取り組むための一般的な戦略は、元の二段階組合せ最適化を連続的な最適化に緩和することである。 しかし、0-1緩和や確率緩和を含む既存の手法は、不安定な勾配推定や不可能な丸めといったいくつかの制限に悩まされている。 これらの問題に対処するため,マルチソース・バイレベルデータ選択問題に対する新しい確率緩和法を提案する。 我々のキーとなる考え方は、複数の学習可能な分類先を導入して、実現可能なデータサブセットにのみサポートされた確率分布をパラメータ化し、自然に損失のないラウンドリングスキームを生成することである。 さらに,本提案手法では,既存の0-1緩和と,事前確率緩和に現れる非有界スコア項によって必要となる逆ヘッセン計算を同時に回避できる2点勾配推定器が有効であることを示す。 さらに、この推定器の再現可能な表現を開発し、勾配計算に必要な低レベル再学習の数を大幅に削減する。 この再現可能な2点推定器に基づいて、マルチソースの双方向データ選択問題に対してReSGDと呼ばれる新しい確率勾配アルゴリズムを設計し、弱い部分モジュラリティの下でReSGDによって返される部分集合に対する厳密な近似を保証する。 最後に,提案したReSGDの有効性を検証するため,広範囲な実験を行った。

関連論文リスト

• Interleaved Resampling and Refitting: Data and Compute-Efficient Evaluation of Black-Box Predictors [15.386375612838371]
  本研究では,2乗損失下での大規模実証的リスク最小化の余剰リスクを評価することの課題について検討する。 トレーニングアルゴリズムへのブラックボックスアクセスのみを仮定し、過剰リスクを推定するための効率的な手順を開発する。
  論文  参考訳（メタデータ） (2026-03-15T04:41:20Z)
• BAPE: Learning an Explicit Bayes Classifier for Long-tailed Visual Recognition [78.70453964041718]
  現在のディープラーニングアルゴリズムは通常、後部確率を簡易に推定することで最適分類器を解く。 この単純な手法は、厳密にバランスのとれた学術ベンチマークデータセットに有効であることが証明されている。 しかし、これは現実世界の長い尾のデータ分布には適用できない。 本稿では,データ分布のより正確な理論的推定を行う新しい手法(BAPE)を提案する。
  論文  参考訳（メタデータ） (2025-06-29T15:12:50Z)
• Data-Driven Sequential Sampling for Tail Risk Mitigation [1.795366746592388]
  固定サンプリング予算を逐次割当てして最適な選択肢を高い確率で特定する問題について検討する。 本稿では,データ駆動シーケンシャルサンプリングポリシーを提案する。
  論文  参考訳（メタデータ） (2025-03-10T04:32:27Z)
• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Fully Stochastic Trust-Region Sequential Quadratic Programming for Equality-Constrained Optimization Problems [62.83783246648714]
  目的と決定論的等式制約による非線形最適化問題を解くために,逐次2次プログラミングアルゴリズム(TR-StoSQP)を提案する。 アルゴリズムは信頼領域半径を適応的に選択し、既存の直線探索StoSQP方式と比較して不確定なヘッセン行列を利用することができる。
  論文  参考訳（メタデータ） (2022-11-29T05:52:17Z)
• Distributed Estimation and Inference for Semi-parametric Binary Response Models [8.309294338998539]
  本稿では,分散コンピューティング環境下での半パラメトリック二値選択モデルの最大スコア推定について検討する。 直感的な分割・対数推定器は計算コストが高く、機械数に対する非正規制約によって制限される。
  論文  参考訳（メタデータ） (2022-10-15T23:06:46Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。