論文の概要: Example-based Hypernetworks for Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2203.14276v1
• Date: Sun, 27 Mar 2022 11:10:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-02 19:32:52.775203
• Title: Example-based Hypernetworks for Out-of-Distribution Generalization
• Title（参考訳）: out-of-distribution generalizationのためのサンプルベースのハイパーネットワーク
• Authors: Tomer Volk, Eyal Ben-David, Ohad Amosy, Gal Chechik, Roi Reichart
• Abstract要約: 実例に基づくHypernetwork適応に基づくアルゴリズムフレームワークを提案する。 感情分類と自然言語推論という2つのタスクの実験において、我々のアルゴリズムは既存のアルゴリズムを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 34.4109756990766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Natural Language Processing (NLP) algorithms keep reaching unprecedented milestones, out-of-distribution generalization is still challenging. In this paper we address the problem of multi-source adaptation to unknown domains: Given labeled data from multiple source domains, we aim to generalize to data drawn from target domains that are unknown to the algorithm at training time. We present an algorithmic framework based on example-based Hypernetwork adaptation: Given an input example, a T5 encoder-decoder first generates a unique signature which embeds this example in the semantic space of the source domains, and this signature is then fed into a Hypernetwork which generates the weights of the task classifier. In an advanced version of our model, the learned signature also serves for improving the representation of the input example. In experiments with two tasks, sentiment classification and natural language inference, across 29 adaptation settings, our algorithms substantially outperform existing algorithms for this adaptation setup. To the best of our knowledge, this is the first time Hypernetworks are applied to domain adaptation or in example-based manner in NLP.
• Abstract（参考訳）: 自然言語処理(NLP)アルゴリズムは先例のないマイルストーンに達し続けているが、分布外一般化はまだ難しい。 本稿では,未知領域へのマルチソース適応の問題に対処する:複数のソースドメインからのラベル付きデータを与えられた場合,トレーニング時に未知領域から抽出されたデータに一般化することを目的とする。 入力例が与えられたとき、t5エンコーダ-デコーダはまず、この例をソースドメインの意味空間に埋め込むユニークなシグネチャを生成し、そのシグネチャは、タスク分類器の重みを生成するハイパーネットワークに供給されます。 我々のモデルの高度なバージョンでは、学習されたシグネチャは入力例の表現を改善するのにも役立ちます。 感情分類と自然言語推論という2つのタスクを用いた実験では、29の適応設定において、この適応設定のために既存のアルゴリズムを実質的に上回っています。 私たちの知る限りでは、Hypernetworksがドメイン適応やNLPの例ベースの方法に適用されたのはこれが初めてです。

関連論文リスト

• Generalized One-shot Domain Adaption of Generative Adversarial Networks [72.84435077616135]
  GAN(Generative Adversarial Network)の適応は、事前訓練されたGANを、限られたトレーニングデータを持つ特定のドメインに転送することを目的としている。 我々は、ソースドメインからターゲットドメインへの適応を、テクスチャや色といったグローバルなスタイルの移行と、ソースドメインに属さない新しいエンティティの出現の2つの部分に分離できると考えている。 我々の中核的な目的は、参照と合成の内部分布のギャップをワッサーシュタイン距離によって制限することである。
  論文  参考訳（メタデータ） (2022-09-08T09:24:44Z)
• Dynamic Instance Domain Adaptation [109.53575039217094]
  教師なしのドメイン適応に関するほとんどの研究は、各ドメインのトレーニングサンプルがドメインラベルを伴っていると仮定している。 適応的な畳み込みカーネルを持つ動的ニューラルネットワークを開発し、各インスタンスにドメインに依存しない深い特徴を適応させるために、インスタンス適応残差を生成する。 我々のモデルはDIDA-Netと呼ばれ、複数の一般的な単一ソースおよび複数ソースのUDAデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-09T20:05:54Z)
• Adaptive Methods for Aggregated Domain Generalization [26.215904177457997]
  多くの設定において、プライバシに関する懸念は、トレーニングデータサンプルのドメインラベルを取得することを禁止している。 本稿では,この問題に対するドメイン適応的アプローチを提案する。 提案手法は,ドメインラベルを使わずに,様々な領域一般化ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-12-09T08:57:01Z)
• Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation [78.28390172958643]
  マルチターゲットドメイン適応(MTDA)における複数のドメインシフトを軽減するのに役立つ2つの重要な側面を同定する。 本論文では,二重分類器ヘッドを用いたCGCT(Curriculum Graph Co-Teaching)を提案する。そのうちの1つがグラフ畳み込みネットワーク(GCN)である。 ドメインラベルが利用可能になると、まずより簡単なターゲットドメインに適応し、続いて難しいドメインに適応する逐次適応戦略であるDomain-Aware Curriculum Learning (DCL)を提案する。
  論文  参考訳（メタデータ） (2021-04-01T23:41:41Z)
• PADA: A Prompt-based Autoregressive Approach for Adaptation to Unseen Domains [19.682729518136142]
  PADA: T5モデルに基づいた、PromptベースのAutoregressive Domain Adaptationアルゴリズム。 本稿では,T5 モデルに基づく Prompt-based Autoregressive Domain Adaptation アルゴリズムを提案する。 2つのタスクの実験では、PADAは最先端のアプローチと強力なベースラインを強く上回ります。
  論文  参考訳（メタデータ） (2021-02-24T11:02:29Z)
• Robust Domain-Free Domain Generalization with Class-aware Alignment [4.442096198968069]
  ドメインフリードメイン一般化(DFDG)は、目に見えないテストドメインでより良い一般化性能を実現するモデル非依存の方法である。 DFDGは新しい戦略を用いてドメイン不変なクラス差別的特徴を学習する。 時系列センサと画像分類公開データセットの両方で競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-17T17:46:06Z)
• Curriculum CycleGAN for Textual Sentiment Domain Adaptation with Multiple Sources [68.31273535702256]
  我々は,C-CycleGAN(C-CycleGAN)という,新しいインスタンスレベルのMDAフレームワークを提案する。 C-CycleGANは、(1)異なるドメインからのテキスト入力を連続的な表現空間にエンコードする事前訓練されたテキストエンコーダ、(2)ソースとターゲットドメイン間のギャップを埋めるカリキュラムインスタンスレベルの適応を伴う中間ドメインジェネレータ、(3)中間ドメインで最終感情分類のために訓練されたタスク分類器の3つのコンポーネントから構成される。 3つのベンチマークデータセットに対して広範な実験を行い、最先端のDAアプローチよりも大幅に向上した。
  論文  参考訳（メタデータ） (2020-11-17T14:50:55Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。