論文の概要: Statistical Inference for Conditional Group Distributionally Robust Optimization with Cross-Entropy Loss

• arxiv url: http://arxiv.org/abs/2507.09905v1
• Date: Mon, 14 Jul 2025 04:21:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:24.265923
• Title: Statistical Inference for Conditional Group Distributionally Robust Optimization with Cross-Entropy Loss
• Title（参考訳）: クロスエントロピー損失を考慮した条件群分布ロバスト最適化の統計的推測
• Authors: Zijian Guo, Zhenyu Wang, Yifan Hu, Francis Bach,
• Abstract要約: 本研究では,複数のソースドメインからラベル付きデータを抽出し,対象ドメインからラベル付きデータのみを抽出するマルチソース非教師付きドメイン適応について検討する。 本稿では,条件条件分布の凸結合に対する最悪のクロスエントロピー損失を最小限に抑え,分類器を学習する新しい条件条件最適化(CG-DRO)フレームワークを提案する。 理論的ブリッジとして機能する2つのサロゲート極小最適化問題を構築することにより、推定器の高速な統計的収束率を確立する。
• 参考スコア（独自算出の注目度）: 9.054486124506521
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In multi-source learning with discrete labels, distributional heterogeneity across domains poses a central challenge to developing predictive models that transfer reliably to unseen domains. We study multi-source unsupervised domain adaptation, where labeled data are drawn from multiple source domains and only unlabeled data from a target domain. To address potential distribution shifts, we propose a novel Conditional Group Distributionally Robust Optimization (CG-DRO) framework that learns a classifier by minimizing the worst-case cross-entropy loss over the convex combinations of the conditional outcome distributions from the sources. To solve the resulting minimax problem, we develop an efficient Mirror Prox algorithm, where we employ a double machine learning procedure to estimate the risk function. This ensures that the errors of the machine learning estimators for the nuisance models enter only at higher-order rates, thereby preserving statistical efficiency under covariate shift. We establish fast statistical convergence rates for the estimator by constructing two surrogate minimax optimization problems that serve as theoretical bridges. A distinguishing challenge for CG-DRO is the emergence of nonstandard asymptotics: the empirical estimator may fail to converge to a standard limiting distribution due to boundary effects and system instability. To address this, we introduce a perturbation-based inference procedure that enables uniformly valid inference, including confidence interval construction and hypothesis testing.
• Abstract（参考訳）: 離散ラベルを持つマルチソース学習において、ドメイン間の分布の不均一性は、未知のドメインに確実に移行する予測モデルを開発する上で、中心的な課題となる。 本研究では,複数のソースドメインからラベル付きデータを抽出し,対象ドメインからラベル付きデータのみを抽出するマルチソース非教師付きドメイン適応について検討する。 そこで本研究では,条件分布分布の凸結合に対する最悪のクロスエントロピー損失を最小限に抑え,分類器を学習する新しい条件群分散ロバスト最適化(CG-DRO)フレームワークを提案する。 結果の最小化問題を解決するために、リスク関数を推定するために2つの機械学習手法を用いる、効率的なミラープロキシアルゴリズムを開発した。 これにより、ニュアンスモデルの機械学習推定器の誤差が高次レートでのみ入力されることが保証され、従って共変量シフトの下で統計効率が保たれる。 理論的ブリッジとして機能する2つのサロゲート極小最適化問題を構築することにより、推定器の高速な統計的収束率を確立する。 CG-DROの顕著な課題は、非標準漸近の出現である:経験的推定器は、境界効果とシステム不安定性による標準極限分布に収束しないかもしれない。 そこで本稿では,信頼区間構築や仮説検証など,一様に有効な推論を可能にする摂動に基づく推論手法を提案する。

関連論文リスト

• Distributionally Robust Optimization with Adversarial Data Contamination [36.409282287280185]
  凸リプシッツ損失関数を持つ一般化線形モデルに対するワッサーシュタイン-1 DRO 目標の最適化に焦点をあてる。 私たちの主な貢献は、データ汚染のトレーニングに対するロバストネスと分散シフトに対するロバストネスを統合した、新しいモデリングフレームワークです。 この研究は、データ汚染と分散シフトという2つの課題の下で学習するために、効率的な計算によって支援される最初の厳密な保証を確立する。
  論文  参考訳（メタデータ） (2025-07-14T18:34:10Z)
• Partial Transportability for Domain Generalization [56.37032680901525]
  本稿では, 部分的同定と輸送可能性の理論に基づいて, 対象分布の関数値の有界化に関する新たな結果を紹介する。 我々の貢献は、輸送可能性問題に対する最初の一般的な評価手法を提供することである。 本稿では,スケーラブルな推論を実現するための勾配に基づく最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-03-30T22:06:37Z)
• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)
• Learning from Noisy Labels via Conditional Distributionally Robust Optimization [5.85767711644773]
  クラウドソーシングは、大規模なデータセットをラベル付けするための実用的なソリューションとして現れました。 これは、様々なレベルの専門知識を持つアノテータからのノイズの多いラベルによって、正確なモデルを学習する上で大きな課題となる。
  論文  参考訳（メタデータ） (2024-11-26T05:03:26Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Distributional Shift-Aware Off-Policy Interval Estimation: A Unified Error Quantification Framework [8.572441599469597]
  本研究では、無限水平マルコフ決定過程の文脈における高信頼オフ政治評価について検討する。 目的は、未知の行動ポリシーから事前に収集されたオフラインデータのみを用いて、対象の政策値に対する信頼区間(CI)を確立することである。 提案アルゴリズムは, 非線形関数近似設定においても, サンプル効率, 誤差ローバスト, 既知収束性を示す。
  論文  参考訳（メタデータ） (2023-09-23T06:35:44Z)
• Federated Distributionally Robust Optimization with Non-Convex Objectives: Algorithm and Analysis [24.64654924173679]
  Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。 新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。 実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
  論文  参考訳（メタデータ） (2023-07-25T01:56:57Z)
• Distributed Distributionally Robust Optimization with Non-Convex Objectives [24.64654924173679]
  Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。 新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。 実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
  論文  参考訳（メタデータ） (2022-10-14T07:39:13Z)
• Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
  まず、適応性ギャップを明示的に考慮した一般化境界を確立する。 本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
  論文  参考訳（メタデータ） (2022-08-18T06:42:49Z)
• Which Invariance Should We Transfer? A Causal Minimax Learning Approach [18.71316951734806]
  本稿では、因果的観点からの包括的ミニマックス分析について述べる。 最小の最悪のリスクを持つサブセットを探索する効率的なアルゴリズムを提案する。 本手法の有効性と有効性は, 合成データとアルツハイマー病の診断で実証された。
  論文  参考訳（メタデータ） (2021-07-05T09:07:29Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。