論文の概要: Example-based Hypernetworks for Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2203.14276v3
• Date: Wed, 18 Oct 2023 19:30:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 21:32:28.554451
• Title: Example-based Hypernetworks for Out-of-Distribution Generalization
• Title（参考訳）: out-of-distribution generalizationのためのサンプルベースのハイパーネットワーク
• Authors: Tomer Volk, Eyal Ben-David, Ohad Amosy, Gal Chechik, Roi Reichart
• Abstract要約: 本稿では、不慣れなドメインに対するマルチソース適応の問題に対処する。 複数のソースドメインからのラベル付きデータを利用して、トレーニング時に未知のターゲットドメインに一般化する。 私たちの革新的なフレームワークは、例ベースのHypernetwork適応を採用しています。
• 参考スコア（独自算出の注目度）: 43.99982893976026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Natural Language Processing (NLP) algorithms continually achieve new milestones, out-of-distribution generalization remains a significant challenge. This paper addresses the issue of multi-source adaptation for unfamiliar domains: We leverage labeled data from multiple source domains to generalize to unknown target domains at training. Our innovative framework employs example-based Hypernetwork adaptation: a T5 encoder-decoder initially generates a unique signature from an input example, embedding it within the source domains' semantic space. This signature is subsequently utilized by a Hypernetwork to generate the task classifier's weights. We evaluated our method across two tasks - sentiment classification and natural language inference - in 29 adaptation scenarios, where it outpaced established algorithms. In an advanced version, the signature also enriches the input example's representation. We also compare our finetuned architecture to few-shot GPT-3, demonstrating its effectiveness in essential use cases. To our knowledge, this marks the first application of Hypernetworks to the adaptation for unknown domains.
• Abstract（参考訳）: 自然言語処理(NLP)アルゴリズムは新しいマイルストーンを継続的に達成しているため、分布外一般化は依然として大きな課題である。 本稿では、複数のソースドメインからのラベル付きデータを活用し、トレーニング時に未知のターゲットドメインに一般化する。 T5エンコーダデコーダは、最初に入力例からユニークなシグネチャを生成し、ソースドメインのセマンティック空間に埋め込む。 このシグネチャはその後Hypernetworkによってタスク分類器の重みを生成するために利用される。 我々は,29の適応シナリオにおいて,感情分類と自然言語推論という2つのタスクにまたがる手法の評価を行った。 高度なバージョンでは、シグネチャは入力例の表現も豊かにする。 また,精巧なアーキテクチャを数ショットのGPT-3と比較し,本質的なユースケースでの有効性を示した。 我々の知る限り、これは未知のドメインへの適応に対するHypernetworksの初めての応用である。

関連論文リスト

• Generalized One-shot Domain Adaption of Generative Adversarial Networks [72.84435077616135]
  GAN(Generative Adversarial Network)の適応は、事前訓練されたGANを、限られたトレーニングデータを持つ特定のドメインに転送することを目的としている。 我々は、ソースドメインからターゲットドメインへの適応を、テクスチャや色といったグローバルなスタイルの移行と、ソースドメインに属さない新しいエンティティの出現の2つの部分に分離できると考えている。 我々の中核的な目的は、参照と合成の内部分布のギャップをワッサーシュタイン距離によって制限することである。
  論文  参考訳（メタデータ） (2022-09-08T09:24:44Z)
• Dynamic Instance Domain Adaptation [109.53575039217094]
  教師なしのドメイン適応に関するほとんどの研究は、各ドメインのトレーニングサンプルがドメインラベルを伴っていると仮定している。 適応的な畳み込みカーネルを持つ動的ニューラルネットワークを開発し、各インスタンスにドメインに依存しない深い特徴を適応させるために、インスタンス適応残差を生成する。 我々のモデルはDIDA-Netと呼ばれ、複数の一般的な単一ソースおよび複数ソースのUDAデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-09T20:05:54Z)
• Adaptive Methods for Aggregated Domain Generalization [26.215904177457997]
  多くの設定において、プライバシに関する懸念は、トレーニングデータサンプルのドメインラベルを取得することを禁止している。 本稿では,この問題に対するドメイン適応的アプローチを提案する。 提案手法は,ドメインラベルを使わずに,様々な領域一般化ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-12-09T08:57:01Z)
• Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation [78.28390172958643]
  マルチターゲットドメイン適応(MTDA)における複数のドメインシフトを軽減するのに役立つ2つの重要な側面を同定する。 本論文では,二重分類器ヘッドを用いたCGCT(Curriculum Graph Co-Teaching)を提案する。そのうちの1つがグラフ畳み込みネットワーク(GCN)である。 ドメインラベルが利用可能になると、まずより簡単なターゲットドメインに適応し、続いて難しいドメインに適応する逐次適応戦略であるDomain-Aware Curriculum Learning (DCL)を提案する。
  論文  参考訳（メタデータ） (2021-04-01T23:41:41Z)
• PADA: A Prompt-based Autoregressive Approach for Adaptation to Unseen Domains [19.682729518136142]
  PADA: T5モデルに基づいた、PromptベースのAutoregressive Domain Adaptationアルゴリズム。 本稿では,T5 モデルに基づく Prompt-based Autoregressive Domain Adaptation アルゴリズムを提案する。 2つのタスクの実験では、PADAは最先端のアプローチと強力なベースラインを強く上回ります。
  論文  参考訳（メタデータ） (2021-02-24T11:02:29Z)
• Robust Domain-Free Domain Generalization with Class-aware Alignment [4.442096198968069]
  ドメインフリードメイン一般化(DFDG)は、目に見えないテストドメインでより良い一般化性能を実現するモデル非依存の方法である。 DFDGは新しい戦略を用いてドメイン不変なクラス差別的特徴を学習する。 時系列センサと画像分類公開データセットの両方で競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-17T17:46:06Z)
• Curriculum CycleGAN for Textual Sentiment Domain Adaptation with Multiple Sources [68.31273535702256]
  我々は,C-CycleGAN(C-CycleGAN)という,新しいインスタンスレベルのMDAフレームワークを提案する。 C-CycleGANは、(1)異なるドメインからのテキスト入力を連続的な表現空間にエンコードする事前訓練されたテキストエンコーダ、(2)ソースとターゲットドメイン間のギャップを埋めるカリキュラムインスタンスレベルの適応を伴う中間ドメインジェネレータ、(3)中間ドメインで最終感情分類のために訓練されたタスク分類器の3つのコンポーネントから構成される。 3つのベンチマークデータセットに対して広範な実験を行い、最先端のDAアプローチよりも大幅に向上した。
  論文  参考訳（メタデータ） (2020-11-17T14:50:55Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。