論文の概要: Domain-adaptation of spherical embeddings

• arxiv url: http://arxiv.org/abs/2111.00677v1
• Date: Mon, 1 Nov 2021 03:29:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-03 02:44:10.810316
• Title: Domain-adaptation of spherical embeddings
• Title（参考訳）: 球面埋め込みの領域適応
• Authors: Mihalis Gongolidis, Jeremy Minton, Ronin Wu, Valentin Stauber, Jason Hoelscher-Obermaier and Viktor Botev
• Abstract要約: 本研究では,埋め込み空間のグローバルなローテーションに対応する手法を開発し,ドメイン固有トレーニング中に単語や文書を更新する手法を提案する。 我々は,我々の戦略がWord2Vecと同じようなレベルにドメイン適応の性能コストを下げることができることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain adaptation of embedding models, updating a generic embedding to the language of a specific domain, is a proven technique for domains that have insufficient data to train an effective model from scratch. Chemistry publications is one such domain, where scientific jargon and overloaded terminology inhibit the performance of a general language model. The recent spherical embedding model (JoSE) proposed in arXiv:1911.01196 jointly learns word and document embeddings during training on the multi-dimensional unit sphere, which performs well for document classification and word correlation tasks. But, we show a non-convergence caused by global rotations during its training prevents it from domain adaptation. In this work, we develop methods to counter the global rotation of the embedding space and propose strategies to update words and documents during domain specific training. Two new document classification data-sets are collated from general and chemistry scientific journals to compare the proposed update training strategies with benchmark models. We show that our strategies are able to reduce the performance cost of domain adaptation to a level similar to Word2Vec.
• Abstract（参考訳）: 特定のドメインの言語に汎用的な埋め込みを更新する埋め込みモデルのドメイン適応は、効果的なモデルをスクラッチからトレーニングするのに不十分なデータを持つドメインにとって実証済みのテクニックである。 化学出版物はそのような分野の1つであり、科学用語と過剰な用語が一般的な言語モデルのパフォーマンスを阻害する。 近年の arXiv:1911.01196 で提案されている球面埋め込みモデル (JoSE) は,多次元単位球上での訓練において,単語と文書の埋め込みを共同で学習する。 しかし、トレーニング中のグローバル回転による非収束は、ドメイン適応を妨げている。 本研究では,埋め込み空間のグローバルなローテーションに対応する手法を開発し,ドメイン固有トレーニング中に単語や文書を更新する手法を提案する。 2つの新しい文書分類データセットがgeneral and chemistry scientific journalsから照合され、提案された更新トレーニング戦略とベンチマークモデルを比較する。 当社の戦略は、word2vecに似たレベルまでドメイン適応のパフォーマンスコストを削減できることを示します。

関連論文リスト

• StylePrompter: Enhancing Domain Generalization with Test-Time Style Priors [39.695604434738186]
  実世界のアプリケーションでは、推論段階でのサンプル分布は、トレーニング段階でのものとしばしば異なる。 本稿では,訓練されたモデルを動的に適応させるために,言語モダリティのスタイルプロンプトを紹介する。 特に,現在の画像のスタイル情報をトークン埋め込み空間に埋め込むように,スタイルプロンサを訓練する。 スタイルトークン埋め込み空間と手作りスタイル正規化のオープンスペース分割により、トレーニング済みのスタイルプロンサが未知のドメインからのデータを効率的に処理できるようになる。
  論文  参考訳（メタデータ） (2024-08-17T08:35:43Z)
• A Unified Data Augmentation Framework for Low-Resource Multi-Domain Dialogue Generation [52.0964459842176]
  現在の最先端の対話システムは、広範なトレーニングデータセットに大きく依存している。 我々はtextbfAMD$2$G と呼ばれる textbfMulti-textbfDomain textbfDialogue textbfGeneration のための新しいデータ textbfAugmentation フレームワークを提案する。 AMD$2$Gフレームワークは、データ拡張プロセスと、ドメインに依存しないトレーニングとドメイン適応トレーニングという2段階のトレーニングアプローチで構成されている。
  論文  参考訳（メタデータ） (2024-06-14T09:52:27Z)
• AHAM: Adapt, Help, Ask, Model -- Harvesting LLMs for literature mining [3.8384235322772864]
  本稿では、BERTopicトピックモデリングフレームワークのドメイン固有のテキストbfadaptationをガイドするAHAMの方法論とメトリクスについて述べる。 LLaMa2生成言語モデルを利用することで、ワンショット学習によるトピック定義を生成する。 トピック間の類似度評価には、言語生成および翻訳プロセスからのメトリクスを利用する。
  論文  参考訳（メタデータ） (2023-12-25T18:23:03Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Domain Generalization via Gradient Surgery [5.38147998080533]
  現実のアプリケーションでは、マシンラーニングモデルは、トレーニングとテストドメイン間のデータ分散の変化があるシナリオに直面します。 本研究では,ドメインシフトのシナリオに現れる矛盾する勾配を特徴付けるとともに,新たな勾配合意戦略を考案する。
  論文  参考訳（メタデータ） (2021-08-03T16:49:25Z)
• f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
  教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。 領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
  論文  参考訳（メタデータ） (2021-06-21T18:21:09Z)
• Iterative Domain-Repaired Back-Translation [50.32925322697343]
  本稿では,ドメイン内並列コーパスが少ない,あるいは存在しない,低リソースのドメイン固有翻訳に焦点を当てる。 本稿では,合成バイリンガルデータの翻訳を洗練するためのドメイン・リペアモデルを提案する。 提案手法の有効性を示すため,NMTモデルを特定の領域と一般領域から特定の領域に適応させる実験を行った。
  論文  参考訳（メタデータ） (2020-10-06T04:38:09Z)
• Coupling Distant Annotation and Adversarial Training for Cross-Domain Chinese Word Segmentation [40.27961925319402]
  本論文は,中国語の単語セグメント化のための遠隔アノテーションと逆行訓練を併用することを提案する。 遠隔アノテーションのために、ターゲットドメインからの監視や事前定義された辞書を必要としない自動遠隔アノテーション機構を設計する。 逆行訓練では、音源領域情報の雑音低減と最大限の活用を行うための文レベルの訓練手法を開発する。
  論文  参考訳（メタデータ） (2020-07-16T08:54:17Z)
• Domain Adaptation for Semantic Parsing [68.81787666086554]
  本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。 我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。 ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-23T14:47:41Z)
• Dynamic Data Selection and Weighting for Iterative Back-Translation [116.14378571769045]
  本稿では,反復的バックトランスレーションモデルのためのカリキュラム学習戦略を提案する。 我々は、ドメイン適応、低リソース、高リソースMT設定に関するモデルを評価する。 実験の結果,提案手法は競争基準値よりも最大1.8 BLEU点の改善を達成できた。
  論文  参考訳（メタデータ） (2020-04-07T19:49:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。