論文の概要: Finding Sparse Structures for Domain Specific Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2012.10586v2
• Date: Fri, 26 Mar 2021 16:57:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-01 11:17:07.554881
• Title: Finding Sparse Structures for Domain Specific Neural Machine Translation
• Title（参考訳）: ドメイン固有ニューラルネットワーク翻訳のためのスパース構造探索
• Authors: Jianze Liang, Chengqi Zhao, Mingxuan Wang, Xipeng Qiu, Lei Li
• Abstract要約: Prune-Tuneは段階的プルーニングによる新しいドメイン適応手法である。 新しいドメインの微調整中に、小さなドメイン固有のサブネットワークを学習する。 prune-tuneはモデル修正なしに過剰フィッティングと劣化問題を緩和する。
• 参考スコア（独自算出の注目度）: 35.78082347539918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural machine translation often adopts the fine-tuning approach to adapt to specific domains. However, nonrestricted fine-tuning can easily degrade on the general domain and over-fit to the target domain. To mitigate the issue, we propose Prune-Tune, a novel domain adaptation method via gradual pruning. It learns tiny domain-specific sub-networks during fine-tuning on new domains. Prune-Tune alleviates the over-fitting and the degradation problem without model modification. Furthermore, Prune-Tune is able to sequentially learn a single network with multiple disjoint domain-specific sub-networks for multiple domains. Empirical experiment results show that Prune-Tune outperforms several strong competitors in the target domain test set without sacrificing the quality on the general domain in both single and multi-domain settings. The source code and data are available at https://github.com/ohlionel/Prune-Tune.
• Abstract（参考訳）: ニューラルマシン翻訳は、しばしば特定の領域に適応するために微調整アプローチを採用する。 しかし、制限のない微調整は、汎用ドメインで容易に分解でき、ターゲットドメインに過度に適合する。 この問題を軽減するために,段階的プルーニングによるドメイン適応手法Prune-Tuneを提案する。 新しいドメインの微調整中に、小さなドメイン固有のサブネットワークを学ぶ。 prune-tuneはモデル修正なしに過剰フィッティングと劣化問題を緩和する。 さらに、Prune-Tuneは複数のドメインにまたがる複数のドメイン固有のサブネットワークを持つ単一のネットワークを逐次学習することができる。 実証実験の結果,Prune-Tuneは,単一ドメインとマルチドメインの両方の設定において,汎用ドメインの品質を犠牲にすることなく,ターゲットドメインテストセットにおける強力な競合数を上回っていることがわかった。 ソースコードとデータはhttps://github.com/ohlionel/prune-tuneで入手できる。

関連論文リスト

• Incremental Open-set Domain Adaptation [27.171935835686117]
  破滅的な忘れは、視覚領域を連続的に学習する際にニューラルネットワークモデルを不安定にする。 我々は、画像分類のための忘れやすい漸進的学習戦略を開発する。
  論文  参考訳（メタデータ） (2024-08-31T19:37:54Z)
• Domain-Rectifying Adapter for Cross-Domain Few-Shot Segmentation [40.667166043101076]
  多様なターゲットドメインスタイルをソースドメインに修正するための小さなアダプタを提案する。 アダプタは、さまざまな合成対象ドメインから画像特徴を修正して、ソースドメインと整合するように訓練される。 提案手法は,ドメイン間複数ショットセマンティックセマンティックセグメンテーションタスクにおいて有望な結果を得る。
  論文  参考訳（メタデータ） (2024-04-16T07:07:40Z)
• Bidirectional Domain Mixup for Domain Adaptive Semantic Segmentation [73.3083304858763]
  本稿では,ドメイン適応型セマンティックセグメンテーションタスクにおけるミックスアップの影響を系統的に研究する。 具体的には、ドメインミックスアップをカットとペーストという2ステップで実現します。 フレームワークの主なコンポーネントを実証的に検証するために、広範囲にわたるアブレーション実験を行います。
  論文  参考訳（メタデータ） (2023-03-17T05:22:44Z)
• Domain-General Crowd Counting in Unseen Scenarios [25.171343652312974]
  群集データ間のドメインシフトは、群集数モデルが目に見えないシナリオに一般化するのを著しく妨げます。 ソースドメインを複数のサブドメインに分割する動的サブドメイン分割方式を提案する。 画像特徴におけるドメイン固有情報からドメイン不変情報を切り離すために、ドメイン不変および-特定のクラウドメモリモジュールを設計する。
  論文  参考訳（メタデータ） (2022-12-05T19:52:28Z)
• Domain Specific Sub-network for Multi-Domain Neural Machine Translation [1.9852045836206569]
  ドメイン特化サブネットワーク(DoSS) プルーニングによって得られたマスクのセットを使用して、各ドメインのサブネットワークを定義する。 また、各領域ごとにマスクをユニークなものにする方法を提案し、未確認領域への一般化を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2022-10-18T12:26:49Z)
• HyperDomainNet: Universal Domain Adaptation for Generative Adversarial Networks [0.0]
  そこで本研究では,StyleGAN2の3000万重量ではなく,6千次元ベクトルのみを最適化し,対象領域に適応する新しい領域変調手法を提案する。 最適化パラメータ空間の縮小に着想を得て, GANの多領域適応の問題を考える。 対象ドメインからパラメータ化を予測するハイパーネットワークであるHyperDomainNetを提案する。
  論文  参考訳（メタデータ） (2022-10-17T09:27:39Z)
• Domain Invariant Masked Autoencoders for Self-supervised Learning from Multi-domains [73.54897096088149]
  マルチドメインからの自己教師型学習のためのドメイン不変のMasked AutoEncoder (DiMAE)を提案する。 中心となる考え方は、入力画像を異なるドメインからのスタイルノイズで拡張し、拡張イメージの埋め込みからイメージを再構築することである。 PACSとDomainNetの実験は、最近の最先端の手法と比較して、DiMAEがかなりの利益を得ていることを示している。
  論文  参考訳（メタデータ） (2022-05-10T09:49:40Z)
• Prototypical Cross-domain Self-supervised Learning for Few-shot Unsupervised Domain Adaptation [91.58443042554903]
  FUDA(Unsupervised Domain Adaptation)のためのPCS(Prototypical Cross-Domain Self-Supervised Learning)フレームワークを提案する。 PCSは、クロスドメインのローレベルな機能アライメントを行うだけでなく、ドメイン間の共有埋め込み空間におけるセマンティック構造をエンコードおよびアライメントする。 最新の手法と比較して、pcsは、fuda上の異なるドメインペアの平均分類精度を10.5%、office、office-home、visda-2017、domainnetで3.5%、9.0%、13.2%改善している。
  論文  参考訳（メタデータ） (2021-03-31T02:07:42Z)
• Dynamic Transfer for Multi-Source Domain Adaptation [82.54405157719641]
  モデルパラメータがサンプルに適合する領域の競合に対処するために動的転送を提案する。 ソースドメインの障壁を壊し、マルチソースドメインを単一ソースドメインに変換する。 実験の結果, ドメインラベルを使わずに, 動的移動は最先端の手法よりも3%以上優れていた。
  論文  参考訳（メタデータ） (2021-03-19T01:22:12Z)
• Batch Normalization Embeddings for Deep Domain Generalization [50.51405390150066]
  ドメインの一般化は、異なるドメインと見えないドメインで堅牢に実行されるように機械学習モデルをトレーニングすることを目的としている。 一般的な領域一般化ベンチマークにおいて,最先端技術よりも分類精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2020-11-25T12:02:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。