論文の概要: Beyond Finite Data: Towards Data-free Out-of-distribution Generalization via Extrapolation

• arxiv url: http://arxiv.org/abs/2403.05523v2
• Date: Mon, 11 Mar 2024 04:58:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 13:08:40.621435
• Title: Beyond Finite Data: Towards Data-free Out-of-distribution Generalization via Extrapolation
• Title（参考訳）: 有限データを超えて:外挿によるデータ自由分散一般化に向けて
• Authors: Yijiang Li, Sucheng Ren, Weipeng Deng, Yuzhi Xu, Ying Gao, Edith Ngai and Haohan Wang
• Abstract要約: ニューラルネットワークが人間のように外挿し、OODの一般化を実現するにはどうすればよいのか? 本稿では,大言語モデル(LLM)にカプセル化されている推論能力と広範な知識を活用して,完全に新しいドメインを合成する領域外挿手法を提案する。 提案手法は, VLCSなどのデータセットにおいて, 教師付き設定を約1～2%超え, 評価可能な性能を示す。
• 参考スコア（独自算出の注目度）: 19.944946262284123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Out-of-distribution (OOD) generalization is a favorable yet challenging property for deep neural networks. The core challenges lie in the limited availability of source domains that help models learn an invariant representation from the spurious features. Various domain augmentation have been proposed but largely rely on interpolating existing domains and frequently face difficulties in creating truly "novel" domains. Humans, on the other hand, can easily extrapolate novel domains, thus, an intriguing question arises: How can neural networks extrapolate like humans and achieve OOD generalization? We introduce a novel approach to domain extrapolation that leverages reasoning ability and the extensive knowledge encapsulated within large language models (LLMs) to synthesize entirely new domains. Starting with the class of interest, we query the LLMs to extract relevant knowledge for these novel domains. We then bridge the gap between the text-centric knowledge derived from LLMs and the pixel input space of the model using text-to-image generation techniques. By augmenting the training set of domain generalization datasets with high-fidelity, photo-realistic images of these new domains, we achieve significant improvements over all existing methods, as demonstrated in both single and multi-domain generalization across various benchmarks. With the ability to extrapolate any domains for any class, our method has the potential to learn a generalized model for any task without any data. To illustrate, we put forth a much more difficult setting termed, data-free domain generalization, that aims to learn a generalized model in the absence of any collected data. Our empirical findings support the above argument and our methods exhibit commendable performance in this setting, even surpassing the supervised setting by approximately 1-2\% on datasets such as VLCS.
• Abstract（参考訳）: out-of-distribution (ood) 一般化はディープニューラルネットワークにとって好都合だが挑戦的な性質である。 主な課題は、モデルがスプリアスの特徴から不変表現を学ぶのを助ける、ソースドメインの可用性の制限にある。 様々なドメイン拡張が提案されているが、ほとんどが既存のドメインの補間に依存しており、真の"ノベル"ドメインを作成するのにしばしば困難に直面している。 一方、人間は簡単に新しいドメインを外挿できるため、興味深い疑問が生じる: ニューラルネットワークは人間のように外挿してOODの一般化を実現することができるのか? 本稿では,大言語モデル(LLM)にカプセル化された推論能力と広範な知識を活用して,全く新しいドメインを合成する領域外挿手法を提案する。 興味のクラスから始めて、これらの新しいドメインに関する関連知識を抽出するためにLLMに問い合わせる。 次に、LLMから導出されるテキスト中心の知識と、テキスト・画像生成技術を用いてモデルの画素入力空間とのギャップを埋める。 ドメイン一般化データセットのトレーニングセットを、これらの新しいドメインの高忠実で写実的な画像で拡張することにより、様々なベンチマークで示されるように、既存のすべてのメソッドよりも大幅に改善される。 任意のクラスの任意のドメインを外挿することができるので、このメソッドはデータなしで任意のタスクの一般化モデルを学ぶことができる。 そこで本研究では,収集データがない場合に一般化されたモデルを学習することを目的とした,データフリーな領域一般化という,はるかに難しい設定を述べる。 本手法は, VLCSなどのデータセットにおいて, 教師付き設定を約1～2倍の精度で上回っても, この設定で満足できる性能を示す。

関連論文リスト

• Domain Expansion and Boundary Growth for Open-Set Single-Source Domain Generalization [70.02187124865627]
  オープンソースの単一ソースドメインの一般化は、単一のソースドメインを使用して、未知のターゲットドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。 本稿では,領域拡大と境界成長に基づく新しい学習手法を提案する。 提案手法は,いくつかの領域横断画像分類データセットにおいて,大幅な改善と最先端性能を実現することができる。
  論文  参考訳（メタデータ） (2024-11-05T09:08:46Z)
• Learning to Generalize Unseen Domains via Multi-Source Meta Learning for Text Classification [71.08024880298613]
  テキスト分類の多元的領域一般化について検討する。 本稿では、複数の参照ドメインを使用して、未知のドメインで高い精度を達成可能なモデルをトレーニングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T07:46:21Z)
• Overcoming Data Inequality across Domains with Semi-Supervised Domain Generalization [4.921899151930171]
  本稿では,ドメイン認識型プロトタイプを用いて,ドメイン不変性を効果的に学習できる新しいアルゴリズムProUDを提案する。 3つの異なるベンチマークデータセットに対する実験により, ProUDの有効性が示された。
  論文  参考訳（メタデータ） (2024-03-08T10:49:37Z)
• Normalization Perturbation: A Simple Domain Generalization Method for Real-World Domain Shifts [133.99270341855728]
  実世界のドメインスタイルは環境の変化やセンサノイズによって大きく変化する可能性がある。 深層モデルはトレーニングドメインスタイルしか知らない。 このドメインスタイルのオーバーフィット問題を解決するために,正規化摂動を提案する。
  論文  参考訳（メタデータ） (2022-11-08T17:36:49Z)
• INDIGO: Intrinsic Multimodality for Domain Generalization [26.344372409315177]
  マルチモーダル情報がどのように「本質的な」方法で活用され、システムが目に見えない領域の下で一般化されるかを検討する。 IntriNsic multimodality for DomaIn GeneralizatiOn (INDIGO)を提案する。
  論文  参考訳（メタデータ） (2022-06-13T05:41:09Z)
• Federated and Generalized Person Re-identification through Domain and Feature Hallucinating [88.77196261300699]
  人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。 一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。 提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-05T09:15:13Z)
• Towards Data-Free Domain Generalization [12.269045654957765]
  異なるソースデータドメインでトレーニングされたモデルに含まれる知識は、どのようにして単一のモデルにマージされるのか? 以前のドメインの一般化手法は、典型的にはソースドメインデータの使用に依存しており、プライベートな分散データには適さない。 DeKANは、利用可能な教師モデルからドメイン固有の知識を抽出し、融合し、ドメインシフトに頑健な学生モデルに変換するアプローチである。
  論文  参考訳（メタデータ） (2021-10-09T11:44:05Z)
• COLUMBUS: Automated Discovery of New Multi-Level Features for Domain Generalization via Knowledge Corruption [12.555885317622131]
  ここでは、ソースドメインの集合で訓練されたモデルが、データに触れることなく、目に見えないドメインでうまく一般化されることを期待する領域一般化問題に対処する。 コロンバス(Columbus)は、最も関連性の高い入力とマルチレベルのデータ表現を対象とする汚職によって、新機能の発見を強制する手法である。
  論文  参考訳（メタデータ） (2021-09-09T14:52:05Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)
• Learning to Generate Novel Domains for Domain Generalization [115.21519842245752]
  本稿では,未知の領域によく一般化するモデルとして,複数のソースドメインから学習するタスクに焦点を当てる。 我々は、擬似ノーベル領域からデータを合成し、ソースドメインを増強するためにデータジェネレータを用いる。 我々の手法であるL2A-OTは、4つのベンチマークデータセット上で現在最先端のDG手法より優れています。
  論文  参考訳（メタデータ） (2020-07-07T09:34:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。