Fugu-MT 論文翻訳(概要): A survey on cutting-edge relation extraction techniques based on language models

論文の概要: A survey on cutting-edge relation extraction techniques based on language models

arxiv url: http://arxiv.org/abs/2411.18157v1
Date: Wed, 27 Nov 2024 09:04:47 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-28 15:28:32.768378
Title: A survey on cutting-edge relation extraction techniques based on language models
Title（参考訳）: 言語モデルに基づく最先端関係抽出手法の検討
Authors: Jose A. Diaz-Garcia, Julio Amador Diaz Lopez,
Abstract要約: 本研究では,関係抽出技術の進化と現状を明らかにする。以上の結果から, BERT法がREの最先端化に寄与していることが示唆された。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: This comprehensive survey delves into the latest advancements in Relation Extraction (RE), a pivotal task in natural language processing essential for applications across biomedical, financial, and legal sectors. This study highlights the evolution and current state of RE techniques by analyzing 137 papers presented at the Association for Computational Linguistics (ACL) conferences over the past four years, focusing on models that leverage language models. Our findings underscore the dominance of BERT-based methods in achieving state-of-the-art results for RE while also noting the promising capabilities of emerging large language models (LLMs) like T5, especially in few-shot relation extraction scenarios where they excel in identifying previously unseen relations.
Abstract（参考訳）: この包括的調査は、生物医学、金融学、法学分野にわたる応用に不可欠な自然言語処理における重要な課題である関係抽出(RE)の最新の進歩を掘り下げている。本研究では,過去4年間のACL(Association for Computational Linguistics)カンファレンスで発表された137の論文を分析し,言語モデルを活用したモデルに焦点を当て,RE技術の進化と現状を明らかにする。以上の結果から,T5のような新たな大規模言語モデル(LLM)の有望な能力,特に未確認関係の同定において,BERTベースの手法がREの最先端の成果を達成する上で優位であることを示す。

関連論文リスト

Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できるこの研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
論文参考訳（メタデータ） (2024-07-17T20:01:21Z)
Empowering Few-Shot Relation Extraction with The Integration of Traditional RE Methods and Large Language Models [48.846159555253834]
Few-Shot Relation extract (FSRE)は自然言語処理(NLP)の研究者にアピールする大規模言語モデル(LLM)の近年の出現により、多くの研究者が文脈学習(ICL)を通じてFSREを探求している。
論文参考訳（メタデータ） (2024-07-12T03:31:11Z)
MoE-CT: A Novel Approach For Large Language Models Training With Resistance To Catastrophic Forgetting [53.77590764277568]
ベースモデルの学習を多言語拡張プロセスから分離する新しいMoE-CTアーキテクチャを提案する。我々の設計では、元のLLMパラメータを凍結し、高リソース言語のパフォーマンスを保護しますが、様々な言語データセットに基づいてトレーニングされたMoEモジュールは、低リソース言語の習熟度を向上します。
論文参考訳（メタデータ） (2024-06-25T11:03:45Z)
Zero-shot Causal Graph Extrapolation from Text via LLMs [50.596179963913045]
我々は,自然言語から因果関係を推定する大規模言語モデル (LLM) の能力を評価する。 LLMは、(特別な)トレーニングサンプルを必要とせずにペア関係のベンチマークで競合性能を示す。我々は、反復的なペアワイズクエリを通して因果グラフを外挿するアプローチを拡張した。
論文参考訳（メタデータ） (2023-12-22T13:14:38Z)
How to Unleash the Power of Large Language Models for Few-shot Relation Extraction? [28.413620806193165]
本稿では,GPT-3.5による数ショット関係抽出のための主要な手法,文脈内学習とデータ生成について検討する。テキスト内学習は,従来の素早い学習手法と同等のパフォーマンスを達成でき,大規模言語モデルによるデータ生成は,従来のソリューションを推し進めて,最先端の複数ショットの新たな結果が得られることを観察する。
論文参考訳（メタデータ） (2023-05-02T15:55:41Z)
mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。事実整合性評価モデルを利用して、多言語要約を改善する。
論文参考訳（メタデータ） (2022-12-20T19:52:41Z)
Rethinking Relational Encoding in Language Model: Pre-Training for General Sequences [23.806325599416134]
言語モデル事前トレーニングは、非自然言語ドメインにおけるシーケンス毎の関係のモデリングに失敗する。 LMPTと深い構造保存メトリック学習を組み合わせ、よりリッチな埋め込みを生成するフレームワークを開発しています。我々のアプローチは下流タスクで顕著なパフォーマンス改善を提供します。
論文参考訳（メタデータ） (2021-03-18T15:51:04Z)
Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文参考訳（メタデータ） (2020-11-23T16:00:42Z)
Comparative Study of Language Models on Cross-Domain Data with Model Agnostic Explainability [0.0]
この研究は、最先端の言語モデルであるBERT、ELECTRAとその派生品であるRoBERTa、ALBERT、DistilBERTを比較した。実験結果は、2013年の格付けタスクとフィナンシャル・フレーズバンクの感情検出タスクの69%、そして88.2%の精度で、新たな最先端の「評価タスク」を確立した。
論文参考訳（メタデータ） (2020-09-09T04:31:44Z)
Labeling Explicit Discourse Relations using Pre-trained Language Models [0.0]
最先端のモデルは手作りの機能を使ってFスコアの45%をわずかに上回っている。事前訓練された言語モデルは、微調整された場合、言語的特徴を置き換えるのに十分強力であることがわかった。言語的な特徴を使わずに、モデルが知識集約型モデルより優れているのは、これが初めてである。
論文参考訳（メタデータ） (2020-06-21T17:18:01Z)
Exploring the Suitability of Semantic Spaces as Word Association Models for the Extraction of Semantic Relationships [1.8352113484137629]
本稿では,従来の意味空間とモデル(例えば,単語の関連付けを抽出するためのWord Embedding)を用いた新しいアイデアを提案する。目標は、これらの単語関連モデルを使用して、現在の関係抽出アプローチを強化することである。
論文参考訳（メタデータ） (2020-04-29T15:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。