論文の概要: Learning the Pareto Frontier of Predictive Models under Distribution Shift

• arxiv url: http://arxiv.org/abs/2608.00632v1
• Date: Sat, 01 Aug 2026 12:40:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.831583
• Title: Learning the Pareto Frontier of Predictive Models under Distribution Shift
• Title（参考訳）: 分布シフト下における予測モデルのパレートフロンティアの学習
• Abstract要約: 現代の機械学習パイプラインは、下流タスク間で事前訓練された基礎モデルの再利用にますます依存している。 ゼロショットアプリケーション、微調整、ターゲット固有のモデルを直接訓練を含む単一の戦略は、分散シフトが存在する場合、ターゲットドメインにデプロイするときに一様にベストである。 本稿では,異なるトレーニング履歴とアクセス規則を補完する情報ソースとして,候補モデルのライブラリを扱うフレームワークであるFrontier Learningを提案する。
• 参考スコア（独自算出の注目度）: 4.165638457510604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern machine learning pipelines increasingly rely on reusing pretrained and foundation models across downstream tasks. These pretrained models can differ not only in performance but also in how they can be used: some only provide black-box predictions, while others may permit white-box access to internal representations that can be probed or fine-tuned. When deployed to the target domain in the presence of distribution shift, no single strategy, including zero-shot application, fine-tuning, or directly training a target-specific model, is uniformly the best. In this work, we propose Frontier Learning, a framework that treats a library of candidate models spanning different training histories and access regimes as complementary sources of information rather than mutually exclusive alternatives. Frontier Learning constructs a unified target-domain feature by concatenating internal representations from white-box candidates as well as prediction outputs from black-box candidates, then fits a lightweight, regularized supervised learner on this concatenated representation using labeled target data. Because the resulting hypothesis class contains predictors obtained by zero-shot reuse, fine-tuning, and direct training as special cases, empirical risk minimization over the frontier learner is guaranteed to be no worse, on the training sample, than any individual baseline. We evaluate the framework in simulations spanning varying degrees of source-target compatibility and in two real-world distribution-shift settings: visual domain adaptation on DomainNet/VisDA and clinical mortality prediction across intensive care unit domains using MIMIC-IV-Notes. Across all settings, Frontier Learning matches or outperforms the strongest individual reuse strategy, with the largest gains arising precisely when no single baseline is reliable across the range of shift considered.
• Abstract（参考訳）: 現代の機械学習パイプラインは、下流タスク間で事前訓練された基礎モデルの再利用にますます依存している。 これらの事前訓練されたモデルは、性能だけでなく、ブラックボックス予測のみを提供するものもあれば、内部表現へのホワイトボックスアクセスを許可するものもある。 分散シフトの存在下でターゲットドメインにデプロイされた場合、ゼロショットアプリケーション、微調整、あるいはターゲット固有のモデルを直接訓練する単一の戦略は、一様にベストである。 本研究では,異なる学習履歴とアクセス体制にまたがる候補モデルのライブラリを,相互に排他的な代替手段ではなく補完的な情報ソースとして扱うフレームワークであるFrontier Learningを提案する。 Frontier Learningは、ホワイトボックス候補からの内部表現とブラックボックス候補からの予測出力を連結して統合されたターゲットドメイン機能を構築し、ラベル付きターゲットデータを用いて、軽量で正規化された教師付き学習者に適合させる。 得られた仮説クラスは、ゼロショットの再利用、微調整、直接訓練によって得られる予測器を特別な場合として含むため、フロンティア学習者に対する経験的リスク最小化は、トレーニングサンプルにおいて、どのベースラインよりも悪くならないことが保証される。 MIMIC-IV-Notes を用いた集中治療単位領域の視覚的ドメイン適応と,集中治療単位領域における臨床死亡率予測の2つの実世界の分布シフト設定において,ソース・ターゲット互換性の程度が異なるシミュレーションの枠組みを評価した。 すべての設定において、フロンティア・ラーニングは最強の個人再利用戦略に適合し、最も大きな利得は、考慮されたシフトの範囲で単一のベースラインが信頼できない場合に生じる。

関連論文リスト

• A Multi-View Consistency Framework with Semi-Supervised Domain Adaptation [16.068009772194642]
  Semi-Supervised Domain Adaptation (SSDA)は、完全にラベル付けされたソースドメインからの知識を活用して、部分的にラベル付けされたターゲットドメインにデータを分類する。 強化されたデータをトレーニングするための2つのビューを含む多視点一貫性フレームワークを導入する。 実験の結果,提案手法は2つの標準領域適応データセット上で競合する手法より優れていることが示された。
  論文  参考訳（メタデータ） (2026-01-27T06:54:13Z)
• Prompt Tuning Vision Language Models with Margin Regularizer for Few-Shot Learning under Distribution Shifts [13.21626568246313]
  視覚言語基礎モデルが、分布やクラスが全く異なるデータセットに適応できるかどうかを解析する。 本稿では,少数のサンプルに対して,このような大規模VLMを直接適用するための新しいプロンプトチューニング手法であるPromptMarginを提案する。 PromptMarginは、このタスクのテキストと視覚的なプロンプトを効果的に調整し、2つのメインモジュールを持っている。
  論文  参考訳（メタデータ） (2025-05-21T13:26:56Z)
• Robust Fine-Tuning of Vision-Language Models for Domain Generalization [6.7181844004432385]
  ファンデーションモデルは、分散シフトの下で、印象的なゼロショット推論能力とロバスト性を持っている。 一般的な視覚言語基盤モデルCLIPの微調整のための新しいレシピを提案する。 私たちの実験では、ゼロショットCLIPは、より複雑なベンチマークでトレーニング済みのビジョンモデルのパフォーマンスと一致しないが、少数ショットCLIPの微調整は、ビジョンのみのパフォーマンスよりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-11-03T20:50:40Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• A Curriculum-style Self-training Approach for Source-Free Semantic Segmentation [91.13472029666312]
  ソースフリーなドメイン適応型セマンティックセマンティックセグメンテーションのためのカリキュラムスタイルの自己学習手法を提案する。 提案手法は, ソースフリーなセマンティックセグメンテーションタスクにおいて, 合成-実-実-実-実-実-実-非実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実
  論文  参考訳（メタデータ） (2021-06-22T10:21:39Z)
• On Universal Black-Box Domain Adaptation [53.7611757926922]
  実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。 ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。 対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
  論文  参考訳（メタデータ） (2021-04-10T02:21:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。