論文の概要: Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing

• arxiv url: http://arxiv.org/abs/2410.05980v1
• Date: Tue, 8 Oct 2024 12:26:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 11:50:19.120256
• Title: Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing
• Title（参考訳）: 多様な分布に一般化する:一様性、優雅な微調整、再バランス
• Authors: Andreas Loukas, Karolis Martinkus, Ed Wagstaff, Kyunghyun Cho,
• Abstract要約: 我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
• 参考スコア（独自算出の注目度）: 55.791818510796645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As training datasets grow larger, we aspire to develop models that generalize well to any diverse test distribution, even if the latter deviates significantly from the training data. Various approaches like domain adaptation, domain generalization, and robust optimization attempt to address the out-of-distribution challenge by posing assumptions about the relation between training and test distribution. Differently, we adopt a more conservative perspective by accounting for the worst-case error across all sufficiently diverse test distributions within a known domain. Our first finding is that training on a uniform distribution over this domain is optimal. We also interrogate practical remedies when uniform samples are unavailable by considering methods for mitigating non-uniformity through finetuning and rebalancing. Our theory provides a mathematical grounding for previous observations on the role of entropy and rebalancing for o.o.d. generalization and foundation model training. We also provide new empirical evidence across tasks involving o.o.d. shifts which illustrate the broad applicability of our perspective.
• Abstract（参考訳）: トレーニングデータセットが大きくなるにつれて、トレーニングデータから大きく逸脱した場合でも、さまざまなテスト分布に適切に適応するモデルを開発したいと考えています。 ドメイン適応、ドメイン一般化、堅牢な最適化といった様々なアプローチは、トレーニングとテスト分布の関係に関する仮定を仮定することによって、アウト・オブ・ディストリビューションの課題に対処しようとする。 異なることに、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。 最初の発見は、この領域上の一様分布のトレーニングが最適であるということです。 また,一様サンプルが利用できない場合,微調整と再バランスによる不均一性を緩和する方法を検討することで,実用的対策も検討する。 我々の理論は、エントロピーの役割と、o.o.d.一般化と基礎モデルトレーニングに対する再バランスに関する過去の観測の数学的根拠を提供する。 我々はまた、我々の視点の幅広い適用性を示すo.o.d.シフトを含むタスクにまたがる新しい経験的証拠を提供する。

関連論文リスト

• Any-Shift Prompting for Generalization over Distributions [66.29237565901734]
  即時学習におけるトレーニングとテスト分布の関係を考察する一般的な確率的推論フレームワークである「任意のシフトプロンプト」を提案する。 このフレームワーク内では、テストプロンプトが分散関係を利用して、CLIPイメージ言語モデルのトレーニングからテストディストリビューションへの一般化を導く。 ネットワークは、トレーニング情報とテスト情報の両方をフィードフォワードパスに組み込んだ調整されたテストプロンプトを生成し、テスト時の追加のトレーニングコストを回避する。
  論文  参考訳（メタデータ） (2024-02-15T16:53:42Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Distribution Shift Inversion for Out-of-Distribution Prediction [57.22301285120695]
  本稿では,OoD(Out-of-Distribution)予測のためのポータブル分布シフト変換アルゴリズムを提案する。 提案手法は,OoDアルゴリズムを広範囲に接続した場合に,一般的な性能向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-14T08:00:49Z)
• Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
  私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。 私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
  論文  参考訳（メタデータ） (2022-07-19T12:52:33Z)
• Transferring Fairness under Distribution Shifts via Fair Consistency Regularization [15.40257564187799]
  本研究では,分散シフトの下でモデルフェアネスを伝達する方法について検討する。 ドメインシフトの下での転送精度の自己学習の成功に触発されて、グループフェアネスの転送に十分な条件が導出される。
  論文  参考訳（メタデータ） (2022-06-26T06:19:56Z)
• Robust Calibration with Multi-domain Temperature Scaling [86.07299013396059]
  我々は,複数の領域からのデータを活用することで,分散シフトを処理するシステムキャリブレーションモデルを開発した。 提案手法は,分布シフト時のキャリブレーションを改善するために,領域内のロバスト性を利用する。
  論文  参考訳（メタデータ） (2022-06-06T17:32:12Z)
• Domain Conditional Predictors for Domain Adaptation [3.951376400628575]
  本稿では,入力データに依存することに加えて,基礎となるデータ生成分布に対する情報を利用する条件付きモデリング手法を検討する。 このようなアプローチは、現在のドメイン適応手法よりも一般的に適用可能であると論じる。
  論文  参考訳（メタデータ） (2021-06-25T22:15:54Z)
• Out-of-Distribution Generalization in Kernel Regression [21.958028127426196]
  トレーニングとテストの分布が異なる場合のカーネル回帰の一般化について検討する。 与えられたカーネルの分布間のミスマッチを定量化する重なり行列を同定する。 本研究では,データ予算に対するトレーニングとテストの配分を最適化する手法を開発し,そのシフトの下で最良のケースと最悪のケースの一般化を求める。
  論文  参考訳（メタデータ） (2021-06-04T04:54:25Z)
• Understanding Generalization in Adversarial Training via the Bias-Variance Decomposition [39.108491135488286]
  テストのリスクをバイアスと分散コンポーネントに分解します。 バイアスは摂動の大きさとともに単調に増加し、リスクの主要な用語であることがわかった。 一般化ギャップに対する一般的な説明は、代わりに分散が単調であることを予測している。
  論文  参考訳（メタデータ） (2021-03-17T23:30:00Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。