論文の概要: Learning Where to Learn: Training Distribution Selection for Provable OOD Performance

• arxiv url: http://arxiv.org/abs/2505.21626v1
• Date: Tue, 27 May 2025 18:00:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.214505
• Title: Learning Where to Learn: Training Distribution Selection for Provable OOD Performance
• Title（参考訳）: 学習するべき場所:確率的OODパフォーマンスのための配電選択のトレーニング
• Authors: Nicolas Guerra, Nicholas H. Nelsen, Yunan Yang,
• Abstract要約: アウト・オブ・ディストリビューション(OOD)の一般化は、マシンラーニングにおける根本的な課題である。 本稿では,平均 OOD 性能を最大化するトレーニングデータ分布の設計について検討する。
• 参考スコア（独自算出の注目度）: 2.7309692684728617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Out-of-distribution (OOD) generalization remains a fundamental challenge in machine learning. Models trained on one data distribution often experience substantial performance degradation when evaluated on shifted or unseen domains. To address this challenge, the present paper studies the design of training data distributions that maximize average-case OOD performance. First, a theoretical analysis establishes a family of generalization bounds that quantify how the choice of training distribution influences OOD error across a predefined family of target distributions. These insights motivate the introduction of two complementary algorithmic strategies: (i) directly formulating OOD risk minimization as a bilevel optimization problem over the space of probability measures and (ii) minimizing a theoretical upper bound on OOD error. Last, the paper evaluates the two approaches across a range of function approximation and operator learning examples. The proposed methods significantly improve OOD accuracy over standard empirical risk minimization with a fixed distribution. These results highlight the potential of distribution-aware training as a principled and practical framework for robust OOD generalization.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)の一般化は、マシンラーニングにおける根本的な課題である。 1つのデータ分散でトレーニングされたモデルは、シフトしたドメインや見当たらないドメインで評価された場合、大きなパフォーマンス劣化を経験することが多い。 この課題に対処するために,本研究では,平均 OOD 性能を最大化するトレーニングデータ分布の設計について検討する。 第一に、理論解析は、訓練分布の選択が、予め定義された対象分布の族全体でのOOD誤差にどのように影響するかを定量化する一般化境界の族を確立する。 これらの洞察は、2つの補完的なアルゴリズム戦略の導入を動機付けている。 一 確率測度の空間上の二段階最適化問題としてOODリスク最小化を直接定式化すること。 (ii)OOD誤差の理論的上限を最小化する。 最後に,関数近似と演算子学習の2つの手法について検討する。 提案手法は, 固定分布の標準経験的リスク最小化よりもOODの精度を有意に向上させる。 これらの結果は,OODの高機能化のための原則的かつ実践的な枠組みとして,分散学習の可能性を強調した。

関連論文リスト

• Distributionally Robust Graph Out-of-Distribution Recommendation via Diffusion Model [7.92181856602497]
  OODレコメンデーション(DRGO)のための分散ロバストグラフモデルを設計する。 具体的には,遅延空間における雑音効果を軽減するために,単純かつ効果的な拡散パラダイムを用いる。 DRGOの一般化誤差境界の理論的証明と,本手法がノイズサンプル効果を緩和する理論的解析を提供する。
  論文  参考訳（メタデータ） (2025-01-26T15:07:52Z)
• A Practical Theory of Generalization in Selectivity Learning [8.268822578361824]
  クエリ駆動機械学習モデルは、クエリ選択のための有望な推定手法として登場した。 確率的近似(PAC)学習フレームワークに基づく最先端(SOTA)理論のギャップを埋める。 符号付き測度によって誘導される選択性予測器は学習可能であり,SOTA理論における確率測度への依存を緩和することを示す。
  論文  参考訳（メタデータ） (2024-09-11T05:10:32Z)
• Out-of-Distribution Learning with Human Feedback [26.398598663165636]
  本稿では,人的フィードバックによるOOD学習のための新しい枠組みを提案する。 当社のフレームワークは、無償で利用可能な未ラベルデータに便乗しています。 人間のフィードバックを利用して、機械学習モデルの堅牢性と信頼性を高める。
  論文  参考訳（メタデータ） (2024-08-14T18:49:27Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Graph Structure and Feature Extrapolation for Out-of-Distribution Generalization [54.64375566326931]
  アウト・オブ・ディストリビューション(OOD)の一般化は、テスト分布がトレーニング分布からシフトする一般的な学習シナリオを扱う。 我々は,非ユークリッド空間線型補間の新しい設計により,グラフOOD一般化を実現することを提案する。 我々の設計は、根底にある因果機構を損なうことなく、OODサンプルを特定のシフトのために調整する。
  論文  参考訳（メタデータ） (2023-06-13T18:46:28Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models [58.78043959556283]
  本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。 解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2022-10-10T16:07:24Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Improved OOD Generalization via Adversarial Training and Pre-training [49.08683910076778]
  本稿では,入力摂動に頑健なモデルがOODデータによく一般化されることを理論的に示す。 従来, 対人訓練が入力難聴の改善に有効であったことが示唆され, 対人訓練モデルがOODデータに過剰なリスクを集中していることが示唆された。
  論文  参考訳（メタデータ） (2021-05-24T08:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。