論文の概要: Revisiting Relation Extraction in the era of Large Language Models
- arxiv url: http://arxiv.org/abs/2305.05003v1
- Date: Mon, 8 May 2023 19:19:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 14:43:23.428948
- Title: Revisiting Relation Extraction in the era of Large Language Models
- Title（参考訳）: 大規模言語モデルにおける関係抽出の再検討
- Authors: Somin Wadhwa and Silvio Amir and Byron C. Wallace
- Abstract要約: 関係抽出(RE)は、テキストからエンティティ間の意味的関係を推測する中核的なNLPタスクである。
近年の研究では、入力に条件付きで生成するターゲット文字列としてエンティティ間の関係を線形化することで、その問題を列列化タスクとして扱っている。
ここでは、従来の作業よりも大きい言語モデル(GPT-3とFlan-T5)を用いて、標準的なREタスクの性能を様々なレベルの監督下で評価し、このアプローチの限界を推し進める。
- 参考スコア（独自算出の注目度）: 25.03534417447086
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Relation extraction (RE) is the core NLP task of inferring semantic
relationships between entities from text. Standard supervised RE techniques
entail training modules to tag tokens comprising entity spans and then predict
the relationship between them. Recent work has instead treated the problem as a
\emph{sequence-to-sequence} task, linearizing relations between entities as
target strings to be generated conditioned on the input. Here we push the
limits of this approach, using larger language models (GPT-3 and Flan-T5 large)
than considered in prior work and evaluating their performance on standard RE
tasks under varying levels of supervision. We address issues inherent to
evaluating generative approaches to RE by doing human evaluations, in lieu of
relying on exact matching. Under this refined evaluation, we find that: (1)
Few-shot prompting with GPT-3 achieves near SOTA performance, i.e., roughly
equivalent to existing fully supervised models; (2) Flan-T5 is not as capable
in the few-shot setting, but supervising and fine-tuning it with
Chain-of-Thought (CoT) style explanations (generated via GPT-3) yields SOTA
results. We release this model as a new baseline for RE tasks.
- Abstract（参考訳）: 関係抽出(RE)は、テキストからエンティティ間の意味的関係を推測するコアNLPタスクである。
標準教師付きRE技術は、エンティティスパンを構成するトークンをタグ付けし、それらの関係を予測するためのトレーニングモジュールを提供する。
最近の研究は、この問題を「emph{sequence-to-sequence}」タスクとして扱い、入力に条件付けされたターゲット文字列としてエンティティ間の関係を線形化する。
ここでは、従来の作業よりも大きい言語モデル(GPT-3とFlan-T5)を用いて、標準的なREタスクの性能を様々なレベルの監督下で評価し、このアプローチの限界を推し進める。
我々は、正確なマッチングに頼る代わりに、人間による評価を行うことにより、REに対する生成的アプローチを評価することに固有の問題に対処する。
改良された評価では,(1) GPT-3 を用いたショットプロンプトは SOTA に近い性能,すなわち,既存の完全教師付きモデルとほぼ同等である。(2) Flan-T5 は,ショットセットではあまり機能しないが,チェーン・オブ・ソート(CoT) スタイルの説明(GPT-3 で生成)でそれを監視・微調整することで SOTA の結果が得られる。
このモデルをreタスクの新しいベースラインとしてリリースします。
関連論文リスト
- ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。
このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。
本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
論文 参考訳（メタデータ） (2024-07-03T16:33:31Z) - Relation Extraction with Fine-Tuned Large Language Models in Retrieval Augmented Generation Frameworks [0.0]
関係抽出(RE)は、構造化されていないデータを知識グラフ(KG)のような構造化形式に変換するために重要である
プレトレーニング言語モデル(PLM)を活用した最近の研究は、この分野で大きな成功を収めている。
本研究では、微調整LDMの性能と、Retrieval Augmented-based (RAG) REアプローチへの統合について検討する。
論文 参考訳（メタデータ） (2024-06-20T21:27:57Z) - Continual Referring Expression Comprehension via Dual Modular
Memorization [133.46886428655426]
Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。
既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。
本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。
学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
論文 参考訳（メタデータ） (2023-11-25T02:58:51Z) - Silver Syntax Pre-training for Cross-Domain Relation Extraction [20.603482820770356]
関係抽出(RE)は、特に現実的な領域外評価を考える場合、依然として困難な課題である。
高品質な(手動で注釈付けされた)データを取得するのは非常に高価であり、新しいドメインごとに現実的に繰り返すことはできない。
関連するタスクからのデータに対する中間的なトレーニングステップは、多くのNLPタスクで有用であることが示されているが、このセットアップには追加のアノテートデータが必要であるため、しばしば利用できない。
本稿では,REのための中間的事前学習について検討する。構文構造と意味的REとの親和性を利用して,2つのエンティティ間の最も短い依存性パスにあることで,REと密接に関連する構文関係を同定する。
論文 参考訳（メタデータ） (2023-05-18T14:49:19Z) - Shall We Pretrain Autoregressive Language Models with Retrieval? A
Comprehensive Study [115.96080028033904]
本稿では,拡張性のある事前学習型検索拡張LM(RETRO)について,標準GPTと検索拡張GPTと比較した。
本研究は, 将来の基盤モデルとしての検索による自己回帰型LMの事前学習の方向性を明らかにするものである。
論文 参考訳（メタデータ） (2023-04-13T18:04:19Z) - PCRED: Zero-shot Relation Triplet Extraction with Potential Candidate
Relation Selection and Entity Boundary Detection [11.274924966891842]
ゼロショット関係三重項抽出(ZeroRTE)は、非構造化テキストから関係三重項を抽出することを目的としている。
従来の最先端の手法は、事前訓練された言語モデルを利用して、追加のトレーニングサンプルとしてデータを生成することで、この困難なタスクを処理する。
我々は,この課題を新たな視点から解決し,候補関係選択とエンティティ境界検出を併用した PCRED for ZeroRTE という新しい手法を提案する。
論文 参考訳（メタデータ） (2022-11-26T04:27:31Z) - Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。
本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。
また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文 参考訳（メタデータ） (2022-05-10T19:32:20Z) - Automatically Generating Counterfactuals for Relation Exaction [18.740447044960796]
関係抽出(RE)は自然言語処理の基本課題である。
現在のディープニューラルモデルは高い精度を達成しているが、スプリアス相関の影響を受けやすい。
我々は、エンティティの文脈的反事実を導出するための新しいアプローチを開発する。
論文 参考訳（メタデータ） (2022-02-22T04:46:10Z) - Sequential Recommendation via Stochastic Self-Attention [68.52192964559829]
Transformerベースのアプローチでは、アイテムをベクトルとして埋め込んで、ドット積の自己アテンションを使用してアイテム間の関係を測定する。
本稿では,これらの問題を克服するための新しいtextbfStochastic textbfSelf-textbfAttention (STOSA) を提案する。
我々は、アイテムと項目の位置関係を列で特徴づける新しいワッサースタイン自己保持モジュールを考案した。
論文 参考訳（メタデータ） (2022-01-16T12:38:45Z) - Pack Together: Entity and Relation Extraction with Levitated Marker [61.232174424421025]
エンコーダにマーカを戦略的にパッケージ化することにより,スパン(ペア)間の依存関係を検討するために,Packed Levitated Markersという新しいスパン表現手法を提案する。
実験の結果,3つの平坦なNERタスクにおいて,有望なマーカーが充填されたモデルの方がシーケンスラベルモデルよりも0.4%-1.9%優れ,トークンコンキャットモデルを6つのNERベンチマークで上回っていることがわかった。
論文 参考訳（メタデータ） (2021-09-13T15:38:13Z) - Entity and Evidence Guided Relation Extraction for DocRED [33.69481141963074]
この課題に対して,共同トレーニングフレームワークE2GRE(Entity and Evidence Guided Relation extract)を提案する。
事前訓練された言語モデル(例えばBERT, RoBERTa)への入力としてエンティティ誘導シーケンスを導入する。
これらのエンティティ誘導シーケンスは、事前訓練された言語モデル(LM)がエンティティに関連するドキュメントの領域に集中するのに役立ちます。
我々は最近リリースされた関係抽出のための大規模データセットDocREDに対するE2GREアプローチを評価した。
論文 参考訳（メタデータ） (2020-08-27T17:41:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。