論文の概要: A Few-Shot Approach for Relation Extraction Domain Adaptation using Large Language Models

• arxiv url: http://arxiv.org/abs/2408.02377v1
• Date: Mon, 5 Aug 2024 11:06:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 13:46:54.821929
• Title: A Few-Shot Approach for Relation Extraction Domain Adaptation using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた関係抽出領域適応のための数ショットアプローチ
• Authors: Vanni Zavarella, Juan Carlos Gamero-Salinas, Sergio Consoli,
• Abstract要約: 本稿では,大規模言語モデルの文脈内学習機能を活用してデータアノテーションを実行する実験を行う。 提案手法は,構造化プロンプトと最小限のエキスパートアノテーションを併用した数発の学習戦略を用いることで,科学的なKG生成モデルのドメイン適応を支援することができることを示す。
• 参考スコア（独自算出の注目度）: 1.3927943269211591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge graphs (KGs) have been successfully applied to the analysis of complex scientific and technological domains, with automatic KG generation methods typically building upon relation extraction models capturing fine-grained relations between domain entities in text. While these relations are fully applicable across scientific areas, existing models are trained on few domain-specific datasets such as SciERC and do not perform well on new target domains. In this paper, we experiment with leveraging in-context learning capabilities of Large Language Models to perform schema-constrained data annotation, collecting in-domain training instances for a Transformer-based relation extraction model deployed on titles and abstracts of research papers in the Architecture, Construction, Engineering and Operations (AECO) domain. By assessing the performance gain with respect to a baseline Deep Learning architecture trained on off-domain data, we show that by using a few-shot learning strategy with structured prompts and only minimal expert annotation the presented approach can potentially support domain adaptation of a science KG generation model.
• Abstract（参考訳）: 知識グラフ(KG)は、複雑な科学的および技術的領域の分析に成功しており、テキスト内のドメインエンティティ間のきめ細かい関係をキャプチャする関係抽出モデルに基づいて構築される自動KG生成手法が一般的である。 これらの関係は科学的領域にわたって完全に適用できるが、既存のモデルはSciERCのような少数のドメイン固有のデータセットで訓練されており、新しいターゲットドメインではうまく機能しない。 本稿では,大規模言語モデルのコンテキスト内学習機能を活用してスキーマ制約付きデータアノテーションを実行し,アーキテクチャ,構築,エンジニアリング,運用(AECO)ドメインにおける研究論文のタイトルや要約上に展開されたトランスフォーマーベースの関係抽出モデルに対して,ドメイン内トレーニングインスタンスを収集する実験を行う。 ドメイン外のデータに基づいてトレーニングされたベースラインディープラーニングアーキテクチャの性能向上を評価することで、構造化されたプロンプトと最小限のエキスパートアノテーションを用いた数ショットの学習戦略を用いることで、提案手法が科学KG生成モデルのドメイン適応を支援する可能性があることを示す。

関連論文リスト

• Learning to Generalize Unseen Domains via Multi-Source Meta Learning for Text Classification [71.08024880298613]
  テキスト分類の多元的領域一般化について検討する。 本稿では、複数の参照ドメインを使用して、未知のドメインで高い精度を達成可能なモデルをトレーニングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T07:46:21Z)
• Understanding the Cross-Domain Capabilities of Video-Based Few-Shot Action Recognition Models [3.072340427031969]
  Few-shot Action Recognition (FSAR) は、ビデオ中の新しいアクションをわずかに例を使って識別できるモデルを学ぶことを目的としている。 メタトレーニング中に見られるベースデータセットと評価に使用される新しいデータセットは、異なるドメインから得ることができると仮定すると、クロスドメインの少数ショット学習によってデータ収集とアノテーションコストが軽減される。 我々は、新しいクロスドメインタスクに対して、既存の最先端の単一ドメイン、転送ベース、およびクロスドメインFSARメソッドを体系的に評価する。
  論文  参考訳（メタデータ） (2024-06-03T07:48:18Z)
• Boosting Large Language Models with Continual Learning for Aspect-based Sentiment Analysis [33.86086075084374]
  アスペクトベース感情分析(ABSA)は感情分析の重要なサブタスクである。 ABSAのための大規模言語モデルに基づく連続学習(textttLLM-CL)モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-09T02:00:07Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Coarse-to-fine Knowledge Graph Domain Adaptation based on Distantly-supervised Iterative Training [12.62127290494378]
  知識グラフの適応と再学習のための統合フレームワークを提案する。 モデルをトレーニングするために手動のデータアノテーションは必要ない。 ドメイン固有の名前付きエンティティやトリプルの発見を容易にするための,新しい反復的トレーニング戦略を導入する。
  論文  参考訳（メタデータ） (2022-11-05T08:16:38Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression [53.90578309960526]
  大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。 階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
  論文  参考訳（メタデータ） (2021-10-16T11:23:02Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• Multifaceted Context Representation using Dual Attention for Ontology Alignment [6.445605125467574]
  オントロジーアライメントは、データ統合、データ転送、データ準備など、さまざまな分野に適用できる重要な研究課題である。 We propose VeeAlign, a Deep Learning based model that using a dual-attention mechanism to compute the contextualized representation of a concept to learn alignments。 我々は、異なるドメインや多言語設定の様々なデータセットに対するアプローチを検証するとともに、SOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-10-16T18:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。