論文の概要: Domain Specific Sub-network for Multi-Domain Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2210.09805v1
- Date: Tue, 18 Oct 2022 12:26:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 14:38:25.679786
- Title: Domain Specific Sub-network for Multi-Domain Neural Machine Translation
- Title（参考訳）: マルチドメインニューラルマシン翻訳のためのドメイン固有サブネットワーク
- Authors: Amr Hendy, Mohamed Abdelghaffar, Mohamed Afify and Ahmed Y. Tawfik
- Abstract要約: ドメイン特化サブネットワーク(DoSS)
プルーニングによって得られたマスクのセットを使用して、各ドメインのサブネットワークを定義する。
また、各領域ごとにマスクをユニークなものにする方法を提案し、未確認領域への一般化を大幅に改善することを示した。
- 参考スコア（独自算出の注目度）: 1.9852045836206569
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents Domain-Specific Sub-network (DoSS). It uses a set of
masks obtained through pruning to define a sub-network for each domain and
finetunes the sub-network parameters on domain data. This performs very closely
and drastically reduces the number of parameters compared to finetuning the
whole network on each domain. Also a method to make masks unique per domain is
proposed and shown to greatly improve the generalization to unseen domains. In
our experiments on German to English machine translation the proposed method
outperforms the strong baseline of continue training on multi-domain (medical,
tech and religion) data by 1.47 BLEU points. Also continue training DoSS on new
domain (legal) outperforms the multi-domain (medical, tech, religion, legal)
baseline by 1.52 BLEU points.
- Abstract（参考訳）: 本稿ではドメイン特化サブネットワーク(DoSS)について述べる。
プルーニングによって得られたマスクのセットを使用して、各ドメインのサブネットワークを定義し、ドメインデータのサブネットワークパラメータを微調整する。
これにより、各ドメイン上のネットワーク全体を微調整するのに比べて、パラメータの数が大幅に削減される。
また,ドメイン毎にマスクをユニークなものにする方法を提案し,未発見領域の一般化を大幅に改善することを示した。
提案手法は,ドイツ語と英語の機械翻訳実験において,マルチドメイン(医療,技術,宗教)データに対する継続訓練の強いベースラインを1.47 bleuポイントで上回っている。
新たなドメイン(法律)に関するDoSSのトレーニングも継続し、マルチドメイン(医療、技術、宗教、法律)のベースラインを1.22BLEUポイント上回っている。
関連論文リスト
- Virtual Classification: Modulating Domain-Specific Knowledge for
Multidomain Crowd Counting [67.38137379297717]
マルチドメインのクラウドカウントは、複数の多様なデータセットの一般的なモデルを学ぶことを目的としている。
ディープネットワークは、ドメインバイアスとして知られるすべてのドメインではなく、支配的なドメインの分布をモデル化することを好む。
マルチドメイン群カウントにおけるドメインバイアス問題を処理するために,MDKNet(Modulating Domain-specific Knowledge Network)を提案する。
論文 参考訳（メタデータ） (2024-02-06T06:49:04Z) - ReMask: A Robust Information-Masking Approach for Domain Counterfactual
Generation [16.275230631985824]
ドメインのカウンターファクト生成は、テキストをソースドメインから特定のターゲットドメインに変換することを目的としています。
我々は、周波数とアテンションノルムに基づくマスキングを含む3段階のドメイン難読化アプローチを用いて、ドメイン固有のキューをマスキングし、ドメインの一般的なコンテキストを復元する。
本モデルは, 対向領域適応設定における平均精度を1.4%向上させることにより, 最先端技術よりも優れる。
論文 参考訳（メタデータ） (2023-05-04T14:19:02Z) - Domain-General Crowd Counting in Unseen Scenarios [25.171343652312974]
群集データ間のドメインシフトは、群集数モデルが目に見えないシナリオに一般化するのを著しく妨げます。
ソースドメインを複数のサブドメインに分割する動的サブドメイン分割方式を提案する。
画像特徴におけるドメイン固有情報からドメイン不変情報を切り離すために、ドメイン不変および-特定のクラウドメモリモジュールを設計する。
論文 参考訳（メタデータ） (2022-12-05T19:52:28Z) - Can Domains Be Transferred Across Languages in Multi-Domain Multilingual
Neural Machine Translation? [52.27798071809941]
本稿では,多言語NMTと多言語NMTの合成において,言語間でドメイン情報を転送できるかどうかを検討する。
マルチドメイン多言語(MDML)NMTは,BLEUで0ショット変換性能を+10ゲインまで向上させることができる。
論文 参考訳（メタデータ） (2022-10-20T23:13:54Z) - Domain Invariant Masked Autoencoders for Self-supervised Learning from
Multi-domains [73.54897096088149]
マルチドメインからの自己教師型学習のためのドメイン不変のMasked AutoEncoder (DiMAE)を提案する。
中心となる考え方は、入力画像を異なるドメインからのスタイルノイズで拡張し、拡張イメージの埋め込みからイメージを再構築することである。
PACSとDomainNetの実験は、最近の最先端の手法と比較して、DiMAEがかなりの利益を得ていることを示している。
論文 参考訳（メタデータ） (2022-05-10T09:49:40Z) - Efficient Hierarchical Domain Adaptation for Pretrained Language Models [77.02962815423658]
生成言語モデルは、多種多様な一般的なドメインコーパスに基づいて訓練される。
計算効率のよいアダプタアプローチを用いて,ドメイン適応を多種多様なドメインに拡張する手法を提案する。
論文 参考訳（メタデータ） (2021-12-16T11:09:29Z) - Topic Driven Adaptive Network for Cross-Domain Sentiment Classification [6.196375060616161]
ドメイン間感情分類のためのトピック駆動適応ネットワーク(TDAN)を提案する。
このネットワークはセマンティックスアテンションネットワークとドメイン固有のワードアテンションネットワークの2つのサブネットワークで構成されている。
ドメイン間の感情分類におけるTDANの有効性を検証する実験を行った。
論文 参考訳（メタデータ） (2021-11-28T10:17:11Z) - Learning to Share by Masking the Non-shared for Multi-domain Sentiment
Classification [24.153584996936424]
テキストからドメイン関連語を明示的にマスキングし,これらのドメインに依存しないテキストからドメイン不変感の特徴を学習し,それらのマスキング語を用いてドメイン認識文表現を形成するネットワークを提案する。
適応度の高い複数領域感情分類データセットの実証実験により,提案モデルの有効性が実証された。
論文 参考訳（メタデータ） (2021-04-17T08:15:29Z) - Boosting Binary Masks for Multi-Domain Learning through Affine
Transformations [49.25451497933657]
マルチドメイン学習の目標は、すべてのドメインでタスクを実行する単一のモデルを作成することです。
最近の研究は、学習されたバイナリ変数を通して、与えられた元のconv-netの内部重みをマスキングすることでこの問題に対処できることを示した。
元のネットワークパラメータのアフィン変換によるマルチドメイン学習のためのバイナリマスクベースのモデルの一般定式化を提供する。
論文 参考訳（メタデータ） (2021-03-25T14:54:37Z) - Domain2Vec: Domain Embedding for Unsupervised Domain Adaptation [56.94873619509414]
従来の教師なしドメイン適応は、限られた数のドメイン間の知識伝達を研究する。
本稿では,特徴不整合とグラム行列の連成学習に基づいて,視覚領域のベクトル表現を提供する新しいDomain2Vecモデルを提案する。
我々の埋め込みは、異なるドメイン間の視覚的関係に関する直感と一致するドメイン類似性を予測できることを示した。
論文 参考訳（メタデータ） (2020-07-17T22:05:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。