論文の概要: A Unified Knowledge Graph Augmentation Service for Boosting Domain-specific NLP Tasks

• arxiv url: http://arxiv.org/abs/2212.05251v2
• Date: Mon, 5 Jun 2023 08:14:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 03:43:46.276765
• Title: A Unified Knowledge Graph Augmentation Service for Boosting Domain-specific NLP Tasks
• Title（参考訳）: ドメイン固有のNLPタスクの強化のための知識グラフ統合サービス
• Authors: Ruiqing Ding, Xiao Han, Leye Wang
• Abstract要約: 本稿では,ドメイン知識グラフを用いたタスク固有のトレーニング手順を強化するために,統合されたドメイン言語モデル開発サービスであるKnowledgeDAを提案する。 我々は、医療とソフトウェア開発という2つの分野の言語モデルを学ぶために、KnowledgeDAのプロトタイプを実装します。
• 参考スコア（独自算出の注目度）: 10.28161912127425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By focusing the pre-training process on domain-specific corpora, some domain-specific pre-trained language models (PLMs) have achieved state-of-the-art results. However, it is under-investigated to design a unified paradigm to inject domain knowledge in the PLM fine-tuning stage. We propose KnowledgeDA, a unified domain language model development service to enhance the task-specific training procedure with domain knowledge graphs. Given domain-specific task texts input, KnowledgeDA can automatically generate a domain-specific language model following three steps: (i) localize domain knowledge entities in texts via an embedding-similarity approach; (ii) generate augmented samples by retrieving replaceable domain entity pairs from two views of both knowledge graph and training data; (iii) select high-quality augmented samples for fine-tuning via confidence-based assessment. We implement a prototype of KnowledgeDA to learn language models for two domains, healthcare and software development. Experiments on domain-specific text classification and QA tasks verify the effectiveness and generalizability of KnowledgeDA.
• Abstract（参考訳）: 事前学習過程をドメイン固有コーパスに焦点を合わせることで、いくつかのドメイン固有事前学習言語モデル(PLM)は最先端の結果を得た。 しかし、PLMの微調整段階において、ドメイン知識を注入するための統一パラダイムを設計することは、未検討である。 ドメイン知識グラフを用いてタスク固有のトレーニング手順を強化するための統合型ドメイン言語モデル開発サービスであるknowledancedaを提案する。 ドメイン固有のタスクテキストが入力されると、knowledgedaは以下の3ステップでドメイン固有の言語モデルを自動的に生成できる。 (i)埋め込み類似性アプローチによるテキスト中のドメイン知識エンティティのローカライズ (ii)知識グラフとトレーニングデータの2つのビューから置換可能なドメインエンティティペアを検索することにより、拡張されたサンプルを生成する。 (iii)信頼度に基づく評価による微調整のための高品質拡張現実サンプルを選択する。 我々は、医療とソフトウェア開発という2つの分野の言語モデルを学ぶために、KnowledgeDAのプロトタイプを実装します。 ドメイン固有のテキスト分類とQAタスクの実験は、知識DAの有効性と一般化性を検証する。

関連論文リスト

• Learning to Generalize Unseen Domains via Multi-Source Meta Learning for Text Classification [71.08024880298613]
  テキスト分類の多元的領域一般化について検討する。 本稿では、複数の参照ドメインを使用して、未知のドメインで高い精度を達成可能なモデルをトレーニングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T07:46:21Z)
• DG-PIC: Domain Generalized Point-In-Context Learning for Point Cloud Understanding [41.49771026674969]
  本稿では,ドメイン一般化ポイントクラウド理解のための統一モデルにおいて,複数のドメインと複数のタスクを扱う,新しい,実用的なマルチドメインマルチタスク設定を提案する。 我々のDG-PICは、テスト中にモデル更新を一切必要とせず、見えないドメインと複数のタスク、例えば、ポイントクラウドの再構築、デノナイズ、登録を1つの統一モデルで処理できる。
  論文  参考訳（メタデータ） (2024-07-11T18:21:40Z)
• A Unified Data Augmentation Framework for Low-Resource Multi-Domain Dialogue Generation [52.0964459842176]
  現在の最先端の対話システムは、広範なトレーニングデータセットに大きく依存している。 我々はtextbfAMD$2$G と呼ばれる textbfMulti-textbfDomain textbfDialogue textbfGeneration のための新しいデータ textbfAugmentation フレームワークを提案する。 AMD$2$Gフレームワークは、データ拡張プロセスと、ドメインに依存しないトレーニングとドメイン適応トレーニングという2段階のトレーニングアプローチで構成されている。
  論文  参考訳（メタデータ） (2024-06-14T09:52:27Z)
• Boosting Large Language Models with Continual Learning for Aspect-based Sentiment Analysis [33.86086075084374]
  アスペクトベース感情分析(ABSA)は感情分析の重要なサブタスクである。 ABSAのための大規模言語モデルに基づく連続学習(textttLLM-CL)モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-09T02:00:07Z)
• Adapting to Distribution Shift by Visual Domain Prompt Generation [34.19066857066073]
  いくつかのラベルのないデータを使って、テスト時にモデルを適応し、分散シフトに対処する。 ソースドメインから移行可能な知識を学ぶための知識銀行を構築します。 提案手法は,WILDSやDomainNetを含む5つの大規模ベンチマークにおいて,従来よりも優れている。
  論文  参考訳（メタデータ） (2024-05-05T02:44:04Z)
• TAL: Two-stream Adaptive Learning for Generalizable Person Re-identification [115.31432027711202]
  我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。 これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。 我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
  論文  参考訳（メタデータ） (2021-11-29T01:27:42Z)
• Curriculum CycleGAN for Textual Sentiment Domain Adaptation with Multiple Sources [68.31273535702256]
  我々は,C-CycleGAN(C-CycleGAN)という,新しいインスタンスレベルのMDAフレームワークを提案する。 C-CycleGANは、(1)異なるドメインからのテキスト入力を連続的な表現空間にエンコードする事前訓練されたテキストエンコーダ、(2)ソースとターゲットドメイン間のギャップを埋めるカリキュラムインスタンスレベルの適応を伴う中間ドメインジェネレータ、(3)中間ドメインで最終感情分類のために訓練されたタスク分類器の3つのコンポーネントから構成される。 3つのベンチマークデータセットに対して広範な実験を行い、最先端のDAアプローチよりも大幅に向上した。
  論文  参考訳（メタデータ） (2020-11-17T14:50:55Z)
• DomBERT: Domain-oriented Language Model for Aspect-based Sentiment Analysis [71.40586258509394]
  本研究では、ドメイン内コーパスと関連するドメインコーパスの両方から学習するためのBERTの拡張であるDomBERTを提案する。 アスペクトベース感情分析における課題の整理実験を行い、有望な結果を示す。
  論文  参考訳（メタデータ） (2020-04-28T21:07:32Z)
• Domain Adaption for Knowledge Tracing [65.86619804954283]
  本稿では,DAKT問題に対処するための新しい適応型フレームワーク,すなわち知識追跡(AKT)を提案する。 まず,Deep Knowledge Trace(DKT)に基づく教育的特徴(スリップ,推測,質問文など)を取り入れ,優れた知識追跡モデルを得る。 第2の側面として、3つのドメイン適応プロセスを提案し、採用する。まず、ターゲットモデルトレーニングに有用なソースインスタンスを選択するために、自動エンコーダを事前訓練する。
  論文  参考訳（メタデータ） (2020-01-14T15:04:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。