論文の概要: General-to-Specific Transfer Labeling for Domain Adaptable Keyphrase Generation

• arxiv url: http://arxiv.org/abs/2208.09606v2
• Date: Sun, 7 May 2023 19:53:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 00:35:20.443011
• Title: General-to-Specific Transfer Labeling for Domain Adaptable Keyphrase Generation
• Title（参考訳）: ドメイン適応型keyphrase生成のためのgeneral-to-specific transfer labeling
• Authors: Rui Meng, Tong Wang, Xingdi Yuan, Yingbo Zhou, Daqing He
• Abstract要約: トレーニングキーフレーズ生成(KPG)モデルは、大量の注釈付きデータを必要とする。 KPGモデルの一般的な構文的特徴からドメイン関連セマンティクスへの学習焦点を徐々にガイドする3段階パイプラインを提案する。 実験結果から,提案手法は高品質なキーフレーズを新規ドメインで生成し,ドメイン内アノテートされた限られたデータに適応して一貫した改善を達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 30.167332489528608
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Training keyphrase generation (KPG) models require a large amount of annotated data, which can be prohibitively expensive and often limited to specific domains. In this study, we first demonstrate that large distribution shifts among different domains severely hinder the transferability of KPG models. We then propose a three-stage pipeline, which gradually guides KPG models' learning focus from general syntactical features to domain-related semantics, in a data-efficient manner. With Domain-general Phrase pre-training, we pre-train Sequence-to-Sequence models with generic phrase annotations that are widely available on the web, which enables the models to generate phrases in a wide range of domains. The resulting model is then applied in the Transfer Labeling stage to produce domain-specific pseudo keyphrases, which help adapt models to a new domain. Finally, we fine-tune the model with limited data with true labels to fully adapt it to the target domain. Our experiment results show that the proposed process can produce good-quality keyphrases in new domains and achieve consistent improvements after adaptation with limited in-domain annotated data. All code and datasets are available at https://github.com/memray/OpenNMT-kpg-release.
• Abstract（参考訳）: 訓練用キーフレーズ生成(kpg)モデルは大量の注釈付きデータを必要とするが、これは禁止的に高価であり、しばしば特定のドメインに限定される。 本研究では,各領域間の大きな分布変化がKPGモデルの伝達性を著しく阻害することを示した。 次に,kpgモデルの学習焦点を一般構文的特徴からドメイン関連意味論へ,データ効率のよい方法で徐々に誘導する3段階パイプラインを提案する。 ドメイン一般句事前学習により,web上で広く利用可能な汎用句アノテーションを用いたシーケンス・ツー・シーケンスモデルを事前学習し,幅広い領域で句を生成することができる。 結果のモデルがTransfer Labelingの段階で適用され、ドメイン固有の擬似キーフレーズが生成され、モデルが新しいドメインに適応するのに役立つ。 最後に、ターゲットドメインに完全に適応するために、真のラベルを持つ限られたデータでモデルを微調整する。 実験の結果,提案手法は,新しい領域において良質なキーフレーズを生成でき,制限されたドメイン内アノテートデータへの適応により一貫した改善が得られた。 すべてのコードとデータセットはhttps://github.com/memray/opennmt-kpg-releaseで利用可能である。

関連論文リスト

• UniGen: Universal Domain Generalization for Sentiment Classification via Zero-shot Dataset Generation [6.3823202275924125]
  本稿では,対象領域によらずデータセットを生成する普遍的領域一般化に対する新しいアプローチを提案する。 提案手法は, PLM よりも桁違いの小さいパラメータ集合を用いて, 各領域にまたがる一般化性を実現する。
  論文  参考訳（メタデータ） (2024-05-02T05:46:13Z)
• Regex-augmented Domain Transfer Topic Classification based on a Pre-trained Language Model: An application in Financial Domain [42.5087655999509]
  本稿では,微調整過程におけるドメイン知識の特徴として,正規表現パターンの利用について論じる。 実シナリオ生成データを用いた実験により,本手法が下流のテキスト分類タスクを改善することを示す。
  論文  参考訳（メタデータ） (2023-05-23T03:26:32Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Dynamic Instance Domain Adaptation [109.53575039217094]
  教師なしのドメイン適応に関するほとんどの研究は、各ドメインのトレーニングサンプルがドメインラベルを伴っていると仮定している。 適応的な畳み込みカーネルを持つ動的ニューラルネットワークを開発し、各インスタンスにドメインに依存しない深い特徴を適応させるために、インスタンス適応残差を生成する。 我々のモデルはDIDA-Netと呼ばれ、複数の一般的な単一ソースおよび複数ソースのUDAデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-09T20:05:54Z)
• Efficient Domain Adaptation of Language Models via Adaptive Tokenization [5.058301279065432]
  ドメイン固有のサブワードシーケンスは,ベースおよびドメイン固有のコーパスの条件付きトークン分布の分岐から,直接的に決定可能であることを示す。 我々の手法は、トークン化器の強化を用いた他の手法よりも、より小さなモデルで、トレーニングや推論の時間が少なくなります。
  論文  参考訳（メタデータ） (2021-09-15T17:51:27Z)
• DILBERT: Customized Pre-Training for Domain Adaptation withCategory Shift, with an Application to Aspect Extraction [25.075552473110676]
  事前訓練手順に対する一般的なアプローチは、いくつかのケースでは自然に準最適である。 本稿では,この課題に対処することを目的としたBERTの微調整手法を提案する。 我々は、このスキームをDILBERT: Domain Invariant Learning with BERTと命名し、教師なしドメイン適応設定におけるアスペクト抽出のためにカスタマイズする。
  論文  参考訳（メタデータ） (2021-09-01T18:49:44Z)
• Robust Domain-Free Domain Generalization with Class-aware Alignment [4.442096198968069]
  ドメインフリードメイン一般化(DFDG)は、目に見えないテストドメインでより良い一般化性能を実現するモデル非依存の方法である。 DFDGは新しい戦略を用いてドメイン不変なクラス差別的特徴を学習する。 時系列センサと画像分類公開データセットの両方で競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-17T17:46:06Z)
• Batch Normalization Embeddings for Deep Domain Generalization [50.51405390150066]
  ドメインの一般化は、異なるドメインと見えないドメインで堅牢に実行されるように機械学習モデルをトレーニングすることを目的としている。 一般的な領域一般化ベンチマークにおいて,最先端技術よりも分類精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2020-11-25T12:02:57Z)
• Domain Adaptation for Semantic Parsing [68.81787666086554]
  本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。 我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。 ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-23T14:47:41Z)
• Unsupervised Domain Clusters in Pretrained Language Models [61.832234606157286]
  大規模事前学習型言語モデルでは,教師なしのドメインによってクラスタ化される文表現を暗黙的に学習する。 このようなモデルに基づくドメインデータ選択手法を提案する。 我々は5つの異なる領域にわたるニューラルネットワーク翻訳のためのデータ選択手法を評価する。
  論文  参考訳（メタデータ） (2020-04-05T06:22:16Z)
• Deep Domain-Adversarial Image Generation for Domain Generalisation [115.21519842245752]
  マシンラーニングモデルは通常、ソースデータセットでトレーニングされたり、異なるディストリビューションのターゲットデータセットで評価されたりする際に、ドメインシフトの問題に悩まされる。 この問題を解決するために、ドメイン一般化(DG)手法は、訓練されたモデルが未知のドメインに一般化できるように、複数のソースドメインからのデータを活用することを目的としている。 我々はemphDeep Domain-Adversarial Image Generation (DDAIG)に基づく新しいDG手法を提案する。
  論文  参考訳（メタデータ） (2020-03-12T23:17:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。