Fugu-MT 論文翻訳(概要): Specializing Multi-domain NMT via Penalizing Low Mutual Information

論文の概要: Specializing Multi-domain NMT via Penalizing Low Mutual Information

arxiv url: http://arxiv.org/abs/2210.12910v1
Date: Mon, 24 Oct 2022 01:36:37 GMT
ステータス: 処理完了
システム内更新日: 2022-10-25 13:47:53.442918
Title: Specializing Multi-domain NMT via Penalizing Low Mutual Information
Title（参考訳）: 低相互情報を用いたマルチドメインNMTの特殊化
Authors: Jiyoung Lee, Hantae Kim, Hyunchang Cho, Edward Choi, and Cheonbok Park
Abstract要約: マルチドメインニューラルネットワーク変換(NMT)は、複数のドメインを持つ単一のモデルを訓練する。本稿では、相互情報レンズ(MI)を用いてドメイン固有情報を調査し、低MIをペナルティ化する新たな目的を提案する。
参考スコア（独自算出の注目度）: 10.419330010105682
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multi-domain Neural Machine Translation (NMT) trains a single model with multiple domains. It is appealing because of its efficacy in handling multiple domains within one model. An ideal multi-domain NMT should learn distinctive domain characteristics simultaneously, however, grasping the domain peculiarity is a non-trivial task. In this paper, we investigate domain-specific information through the lens of mutual information (MI) and propose a new objective that penalizes low MI to become higher. Our method achieved the state-of-the-art performance among the current competitive multi-domain NMT models. Also, we empirically show our objective promotes low MI to be higher resulting in domain-specialized multi-domain NMT.
Abstract（参考訳）: multi-domain neural machine translation (nmt)は、複数のドメインを持つ単一のモデルを訓練する。一つのモデル内で複数のドメインを扱うのに効果があるため、魅力的である。理想的マルチドメインnmtは、異なるドメイン特性を同時に学習する必要があるが、ドメイン特異性をつかむことは非自明なタスクである。本稿では、相互情報レンズ(MI)を用いてドメイン固有情報を調査し、低MIをペナルティ化する新たな目的を提案する。提案手法は,現在の競合するマルチドメインNMTモデルの最先端性能を実現する。また,本研究の目的は,ドメイン特化マルチドメインnmtの低mi化を促進することである。

関連論文リスト

Large Language Model for Multi-Domain Translation: Benchmarking and Domain CoT Fine-tuning [55.107329995417786]
大規模言語モデル(LLM)は、目覚ましい一般的な理解と生成能力を示している。我々は、25のドイツ語$Leftrightarrow$ Englishと22の中国語$Leftrightarrow$ Englishテストセットを特徴とするマルチドメイン翻訳のベンチマークを確立する。本稿では,LLMの内在的マルチドメインインテリジェンスを活用し,翻訳性能を向上させるためのドメインチェーン・オブ・シント(CoT)ファインチューニング手法を提案する。
論文参考訳（メタデータ） (2024-10-03T16:15:04Z)
Investigating the potential of Sparse Mixtures-of-Experts for multi-domain neural machine translation [59.41178047749177]
トレーニング中に見られるさまざまなドメインのデータを扱うことができ、トレーニング中に見つからないドメインに対して堅牢な効率的なモデルを開発することを目的として、マルチドメインニューラルネットワーク翻訳に重点を置いている。 SMOE(Sparse Mixture-of-Experts)モデルは、効率的なモデルスケーリングを可能にするため、このタスクに適していると仮定する。マルチドメインシナリオにおけるSMoEの有用性を検証するための一連の実験を行い、Transformerの簡単な幅スケーリングは、実際はよりシンプルで驚くほど効率的なアプローチであり、SMoEと同等の性能レベルに達することを発見した。
論文参考訳（メタデータ） (2024-07-01T09:45:22Z)
Virtual Classification: Modulating Domain-Specific Knowledge for Multidomain Crowd Counting [67.38137379297717]
マルチドメインのクラウドカウントは、複数の多様なデータセットの一般的なモデルを学ぶことを目的としている。ディープネットワークは、ドメインバイアスとして知られるすべてのドメインではなく、支配的なドメインの分布をモデル化することを好む。マルチドメイン群カウントにおけるドメインバイアス問題を処理するために,MDKNet(Modulating Domain-specific Knowledge Network)を提案する。
論文参考訳（メタデータ） (2024-02-06T06:49:04Z)
Can Domains Be Transferred Across Languages in Multi-Domain Multilingual Neural Machine Translation? [52.27798071809941]
本稿では,多言語NMTと多言語NMTの合成において,言語間でドメイン情報を転送できるかどうかを検討する。マルチドメイン多言語(MDML)NMTは,BLEUで0ショット変換性能を+10ゲインまで向上させることができる。
論文参考訳（メタデータ） (2022-10-20T23:13:54Z)
M2D2: A Massively Multi-domain Language Modeling Dataset [76.13062203588089]
ドメイン適応(LM)を研究するための細粒度多ドメインコーパスM2D2を提案する。ウィキペディアとArXivから派生したカテゴリを用いて、各データソース内のドメインを22のグループに分類する。我々は、LMをドメイン階層に沿って適用することの利点を示し、より少量のドメイン固有のデータに適応することで、ドメイン内のパフォーマンスが向上することを示した。
論文参考訳（メタデータ） (2022-10-13T21:34:52Z)
ML-BPM: Multi-teacher Learning with Bidirectional Photometric Mixing for Open Compound Domain Adaptation in Semantic Segmentation [78.19743899703052]
オープン化合物ドメイン適応(OCDA)は、ターゲットドメインを複数の未知の同質体の化合物とみなしている。目的とするサブドメインに適応するために,双方向光度ミキシングを用いたマルチテキサフレームワークを提案する。適応蒸留を行い、学生モデルを学習し、整合性正規化を適用して生徒の一般化を改善する。
論文参考訳（メタデータ） (2022-07-19T03:30:48Z)
Domain-Aware Contrastive Knowledge Transfer for Multi-domain Imbalanced Data [23.22953767588902]
マルチドメイン不均衡学習(MIL)は,クラスだけでなく,ドメインにも不均衡が存在するというシナリオである。 MIL設定では、異なるドメインが異なるパターンを示しており、移行学習の機会と課題を呈するドメイン間では、様々な類似性とばらつきがある。我々は,類似ドメイン間のポジティブな伝達を促進するために,DCMIと呼ばれる新しいドメイン認識型コントラスト型知識伝達手法を提案する。
論文参考訳（メタデータ） (2022-04-05T01:02:53Z)
Multi-Source Unsupervised Domain Adaptation via Pseudo Target Domain [0.0]
マルチソースドメイン適応(MDA)は、複数のソースドメインからラベルのないターゲットドメインに知識を転送することを目的としている。我々はPseudo Target for MDA(PTMDA)と呼ばれる新しいMDAアプローチを提案する。 PTMDAは、ソースドメインとターゲットドメインの各グループを、メトリック制約付き逆学習を用いて、グループ固有のサブ空間にマッピングする。 PTMDAは全体として、目標誤差を低減し、MDA設定における目標リスクのより優れた近似を導出できることを示す。
論文参考訳（メタデータ） (2022-02-22T08:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。