論文の概要: Domain-adaptation of spherical embeddings
- arxiv url: http://arxiv.org/abs/2111.00677v1
- Date: Mon, 1 Nov 2021 03:29:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-03 02:44:10.810316
- Title: Domain-adaptation of spherical embeddings
- Title(参考訳): 球面埋め込みの領域適応
- Authors: Mihalis Gongolidis, Jeremy Minton, Ronin Wu, Valentin Stauber, Jason
Hoelscher-Obermaier and Viktor Botev
- Abstract要約: 本研究では,埋め込み空間のグローバルなローテーションに対応する手法を開発し,ドメイン固有トレーニング中に単語や文書を更新する手法を提案する。
我々は,我々の戦略がWord2Vecと同じようなレベルにドメイン適応の性能コストを下げることができることを示した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Domain adaptation of embedding models, updating a generic embedding to the
language of a specific domain, is a proven technique for domains that have
insufficient data to train an effective model from scratch. Chemistry
publications is one such domain, where scientific jargon and overloaded
terminology inhibit the performance of a general language model. The recent
spherical embedding model (JoSE) proposed in arXiv:1911.01196 jointly learns
word and document embeddings during training on the multi-dimensional unit
sphere, which performs well for document classification and word correlation
tasks. But, we show a non-convergence caused by global rotations during its
training prevents it from domain adaptation. In this work, we develop methods
to counter the global rotation of the embedding space and propose strategies to
update words and documents during domain specific training. Two new document
classification data-sets are collated from general and chemistry scientific
journals to compare the proposed update training strategies with benchmark
models. We show that our strategies are able to reduce the performance cost of
domain adaptation to a level similar to Word2Vec.
- Abstract(参考訳): 特定のドメインの言語に汎用的な埋め込みを更新する埋め込みモデルのドメイン適応は、効果的なモデルをスクラッチからトレーニングするのに不十分なデータを持つドメインにとって実証済みのテクニックである。
化学出版物はそのような分野の1つであり、科学用語と過剰な用語が一般的な言語モデルのパフォーマンスを阻害する。
近年の arXiv:1911.01196 で提案されている球面埋め込みモデル (JoSE) は,多次元単位球上での訓練において,単語と文書の埋め込みを共同で学習する。
しかし、トレーニング中のグローバル回転による非収束は、ドメイン適応を妨げている。
本研究では,埋め込み空間のグローバルなローテーションに対応する手法を開発し,ドメイン固有トレーニング中に単語や文書を更新する手法を提案する。
2つの新しい文書分類データセットがgeneral and chemistry scientific journalsから照合され、提案された更新トレーニング戦略とベンチマークモデルを比較する。
当社の戦略は、word2vecに似たレベルまでドメイン適応のパフォーマンスコストを削減できることを示します。
関連論文リスト
- AHAM: Adapt, Help, Ask, Model -- Harvesting LLMs for literature mining [3.8384235322772864]
本稿では、BERTopicトピックモデリングフレームワークのドメイン固有のテキストbfadaptationをガイドするAHAMの方法論とメトリクスについて述べる。
LLaMa2生成言語モデルを利用することで、ワンショット学習によるトピック定義を生成する。
トピック間の類似度評価には、言語生成および翻訳プロセスからのメトリクスを利用する。
論文 参考訳(メタデータ) (2023-12-25T18:23:03Z) - Leveraging Domain Relations for Domain Generalization [77.75140035123063]
D3Gは異なるドメイン間の関係を利用してドメイン固有のモデルを学ぶ。
D3Gは, 平均10.6%の性能向上を図りながら, 常に最先端の手法よりも優れていた。
論文 参考訳(メタデータ) (2023-02-06T08:11:16Z) - Efficient Machine Translation Domain Adaptation [7.747003493657217]
機械翻訳モデルは、ドメイン外のテキストを翻訳する際に苦労する。
ドメイン適応メソッドは、すべての新しいドメインでモデル全体または一部を微調整またはトレーニングすることに焦点を当てます。
我々は、類似したコンテキストがこれまで見られていた場合に、検索を行うのを避ける、単純だが効果的なキャッシュ戦略を導入する。
論文 参考訳(メタデータ) (2022-04-26T21:47:54Z) - Domain Generalization via Gradient Surgery [5.38147998080533]
現実のアプリケーションでは、マシンラーニングモデルは、トレーニングとテストドメイン間のデータ分散の変化があるシナリオに直面します。
本研究では,ドメインシフトのシナリオに現れる矛盾する勾配を特徴付けるとともに,新たな勾配合意戦略を考案する。
論文 参考訳(メタデータ) (2021-08-03T16:49:25Z) - f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。
領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
論文 参考訳(メタデータ) (2021-06-21T18:21:09Z) - Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language
Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。
本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。
提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文 参考訳(メタデータ) (2020-11-23T16:00:42Z) - Iterative Domain-Repaired Back-Translation [50.32925322697343]
本稿では,ドメイン内並列コーパスが少ない,あるいは存在しない,低リソースのドメイン固有翻訳に焦点を当てる。
本稿では,合成バイリンガルデータの翻訳を洗練するためのドメイン・リペアモデルを提案する。
提案手法の有効性を示すため,NMTモデルを特定の領域と一般領域から特定の領域に適応させる実験を行った。
論文 参考訳(メタデータ) (2020-10-06T04:38:09Z) - Coupling Distant Annotation and Adversarial Training for Cross-Domain
Chinese Word Segmentation [40.27961925319402]
本論文は,中国語の単語セグメント化のための遠隔アノテーションと逆行訓練を併用することを提案する。
遠隔アノテーションのために、ターゲットドメインからの監視や事前定義された辞書を必要としない自動遠隔アノテーション機構を設計する。
逆行訓練では、音源領域情報の雑音低減と最大限の活用を行うための文レベルの訓練手法を開発する。
論文 参考訳(メタデータ) (2020-07-16T08:54:17Z) - Domain Adaptation for Semantic Parsing [68.81787666086554]
本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。
我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。
ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
論文 参考訳(メタデータ) (2020-06-23T14:47:41Z) - Dynamic Data Selection and Weighting for Iterative Back-Translation [116.14378571769045]
本稿では,反復的バックトランスレーションモデルのためのカリキュラム学習戦略を提案する。
我々は、ドメイン適応、低リソース、高リソースMT設定に関するモデルを評価する。
実験の結果,提案手法は競争基準値よりも最大1.8 BLEU点の改善を達成できた。
論文 参考訳(メタデータ) (2020-04-07T19:49:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。