論文の概要: Doge Tickets: Uncovering Domain-general Language Models by Playing Lottery Tickets

• arxiv url: http://arxiv.org/abs/2207.09638v1
• Date: Wed, 20 Jul 2022 03:37:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 12:43:54.382316
• Title: Doge Tickets: Uncovering Domain-general Language Models by Playing Lottery Tickets
• Title（参考訳）: Doge Tickets: Lottery Ticketsをプレイすることでドメイン汎用言語モデルを明らかにする
• Authors: Yi Yang, Chen Zhang, Benyou Wang, Dawei Song
• Abstract要約: 複数のドメインに直面すると、パラメータの重要な部分がドメイン固有の方法で予期せず振る舞うことが分かりました。 本稿では,宝くじ(ダブド・ドッグ・チケット)をプレイすることで,ドメインジェネラルパラメータの同定を提案する。 総合的な実験はAmazon、Mnli、OntoNotesのデータセットで行われている。
• 参考スコア（独自算出の注目度）: 38.12785820250345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over-parameterized models, typically pre-trained language models (LMs), have shown an appealing expressive power due to their small learning bias. However, the huge learning capacity of LMs can also lead to large learning variance. In a pilot study, we find that, when faced with multiple domains, a critical portion of parameters behave unexpectedly in a domain-specific manner while others behave in a domain-general one. Motivated by this phenomenon, we for the first time posit that domain-general parameters can underpin a domain-general LM that can be derived from the original LM. To uncover the domain-general LM, we propose to identify domain-general parameters by playing lottery tickets (dubbed doge tickets). In order to intervene the lottery, we propose a domain-general score, which depicts how domain-invariant a parameter is by associating it with the variance. Comprehensive experiments are conducted on the Amazon, Mnli and OntoNotes datasets. The results show that the doge tickets obtains an improved out-of-domain generalization in comparison with a range of competitive baselines. Analysis results further hint the existence of domain-general parameters and the performance consistency of doge tickets.
• Abstract（参考訳）: 過パラメータ化モデル(典型的には事前学習言語モデル(LM))は、学習バイアスが小さいため、表現力に訴えられる。 しかし、LMの膨大な学習能力は、大きな学習ばらつきを引き起こす可能性がある。 パイロットスタディでは、複数のドメインに直面した場合、パラメータの臨界部分がドメイン固有の方法で予期せず振る舞うのに対して、他はドメイン一般の方法で振る舞うのが分かる。 この現象に動機づけられて、ドメイン一般パラメータが元の lm から派生できるドメイン一般 lm の基盤となることを初めて証明した。 ドメイン一般lmを明らかにするために,抽選券(ダッブド・ドージ券)をプレイすることでドメイン一般パラメータを特定することを提案する。 抽選に介入するために,パラメータを分散に関連付けることで,ドメイン不変なパラメータがどのように存在するかを表現した,ドメイン一般スコアを提案する。 包括的な実験はamazon、mnli、onnotesデータセットで行われる。 その結果、dogeチケットは、競合ベースラインと比べ、ドメイン外一般化が改善されたことが判明した。 分析結果はさらに、ドメインジェネラルパラメータの存在とドッグチケットのパフォーマンス一貫性を示唆している。

関連論文リスト

• Domain Generalization via Causal Adjustment for Cross-Domain Sentiment Analysis [59.73582306457387]
  クロスドメイン感情分析における領域一般化の問題に焦点をあてる。 本稿では,ドメイン固有表現とドメイン不変表現をアンタングル化するバックドア調整に基づく因果モデルを提案する。 一連の実験は、我々のモデルの優れたパフォーマンスと堅牢性を示しています。
  論文  参考訳（メタデータ） (2024-02-22T13:26:56Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Domain-General Crowd Counting in Unseen Scenarios [25.171343652312974]
  群集データ間のドメインシフトは、群集数モデルが目に見えないシナリオに一般化するのを著しく妨げます。 ソースドメインを複数のサブドメインに分割する動的サブドメイン分割方式を提案する。 画像特徴におけるドメイン固有情報からドメイン不変情報を切り離すために、ドメイン不変および-特定のクラウドメモリモジュールを設計する。
  論文  参考訳（メタデータ） (2022-12-05T19:52:28Z)
• Efficient Hierarchical Domain Adaptation for Pretrained Language Models [77.02962815423658]
  生成言語モデルは、多種多様な一般的なドメインコーパスに基づいて訓練される。 計算効率のよいアダプタアプローチを用いて,ドメイン適応を多種多様なドメインに拡張する手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T11:09:29Z)
• Learning Transferable Parameters for Unsupervised Domain Adaptation [29.962241958947306]
  非自明なドメイン適応(UDA)は、学習機械が分散シフトの下でラベル付きソースドメインからラベルなしドメインに適応できるようにする。 本稿では,学習過程におけるドメイン固有情報による副作用を軽減するためにTransferable Learning(TransPar)を提案する。
  論文  参考訳（メタデータ） (2021-08-13T09:09:15Z)
• Domain-Class Correlation Decomposition for Generalizable Person Re-Identification [34.813965300584776]
  個人の再識別では、ドメインとクラスは相関する。 このドメイン・クラス間の相関関係により、ドメインの敵対的学習はクラスに関する特定の情報を失うことが示される。 我々のモデルは、大規模ドメイン一般化Re-IDベンチマークにおいて最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-06-29T09:45:03Z)
• Adaptive Domain-Specific Normalization for Generalizable Person Re-Identification [81.30327016286009]
  一般化可能なRe-IDのための適応型ドメイン固有正規化手法(AdsNorm)を提案する。 本研究では,一般化可能人物 Re-ID に対する適応領域特異的正規化手法 (AdsNorm) を提案する。
  論文  参考訳（メタデータ） (2021-05-07T02:54:55Z)
• Batch Normalization Embeddings for Deep Domain Generalization [50.51405390150066]
  ドメインの一般化は、異なるドメインと見えないドメインで堅牢に実行されるように機械学習モデルをトレーニングすることを目的としている。 一般的な領域一般化ベンチマークにおいて,最先端技術よりも分類精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2020-11-25T12:02:57Z)
• Learning to Balance Specificity and Invariance for In and Out of Domain Generalization [27.338573739304604]
  ドメイン内および外部の一般化性能を改善するモデルである一般化のためのドメイン固有マスクを紹介する。 ドメインの一般化のために、ゴールはソースドメインの集合から学び、見えないターゲットドメインに最もよく一般化する単一のモデルを作成することである。 本研究では,PACSとDomainNetの両面において,単純なベースラインと最先端の手法と比較して,競争力のある性能を示す。
  論文  参考訳（メタデータ） (2020-08-28T20:39:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。