論文の概要: Unified Text Structuralization with Instruction-tuned Language Models
- arxiv url: http://arxiv.org/abs/2303.14956v2
- Date: Thu, 30 Mar 2023 13:41:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-31 16:18:06.196413
- Title: Unified Text Structuralization with Instruction-tuned Language Models
- Title(参考訳): 命令型言語モデルを用いた統一テキスト構造化
- Authors: Xuanfan Ni, Piji Li and Huayang Li
- Abstract要約: テキストから様々な構造を抽出する大規模言語モデル(LLM)を提案する。
実験により、様々な言語や知識のデータセット上で、言語モデルが他の最先端の手法と同等に動作できることが示されている。
- 参考スコア(独自算出の注目度): 28.869098023025753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text structuralization is one of the important fields of natural language
processing (NLP) consists of information extraction (IE) and structure
formalization. However, current studies of text structuralization suffer from a
shortage of manually annotated high-quality datasets from different domains and
languages, which require specialized professional knowledge. In addition, most
IE methods are designed for a specific type of structured data, e.g., entities,
relations, and events, making them hard to generalize to others. In this work,
we propose a simple and efficient approach to instruct large language model
(LLM) to extract a variety of structures from texts. More concretely, we add a
prefix and a suffix instruction to indicate the desired IE task and structure
type, respectively, before feeding the text into a LLM. Experiments on two LLMs
show that this approach can enable language models to perform comparable with
other state-of-the-art methods on datasets of a variety of languages and
knowledge, and can generalize to other IE sub-tasks via changing the content of
instruction. Another benefit of our approach is that it can help researchers to
build datasets in low-source and domain-specific scenarios, e.g., fields in
finance and law, with low cost.
- Abstract(参考訳): テキスト構造化は自然言語処理(NLP)の重要な分野の一つであり、情報抽出(IE)と構造形式化から構成される。
しかし、現在のテキスト構造化の研究は、専門的な専門知識を必要とする異なるドメインや言語から手動で注釈付けされた高品質なデータセットが不足している。
さらに、ほとんどのIEメソッドは、エンティティ、リレーション、イベントといった特定のタイプの構造化データのために設計されており、他人に一般化するのは困難である。
本研究では,テキストから多種多様な構造を抽出するために,大規模言語モデル(llm)を指示する簡易かつ効率的な手法を提案する。
より具体的には、テキストをllmに送る前に、それぞれ所望のieタスクと構造体タイプを示すプレフィックスと接尾辞命令を追加します。
2つのLCMの実験では、言語モデルが様々な言語や知識のデータセット上で、他の最先端のメソッドと同等に動作し、命令の内容を変更することで、他のIEサブタスクに一般化できることが示されている。
私たちのアプローチのもう1つの利点は、研究者がローソースやドメイン固有のシナリオ(例えば金融や法学の分野)で、低コストでデータセットを構築するのに役立つことです。
関連論文リスト
- A Simple but Effective Approach to Improve Structured Language Model
Output for Information Extraction [11.165093163378152]
大規模言語モデル(LLM)は、命令に従って非構造化自然言語を生成する際、印象的な能力を示した。
本稿では,その構造的テキスト生成能力を高めるために,効率的なG&O手法を提案する。
論文 参考訳(メタデータ) (2024-02-20T20:42:02Z) - Synthetic Data (Almost) from Scratch: Generalized Instruction Tuning for
Language Models [153.14575887549088]
GLAN(Generalized Instruction Tuning)は,Large Language Models(LLM)の汎用的かつスケーラブルなチューニング手法である。
GLANは、人間の知識と能力の事前分類を入力として利用し、あらゆる分野にわたる大規模な合成指導データを生成する。
サイラバスの全クラスセッションで詳述された、きめ細かい重要な概念により、私たちは、人間の知識とスキルの全範囲にわたって幅広い範囲をカバーする多様な命令を生成できる。
論文 参考訳(メタデータ) (2024-02-20T15:00:35Z) - Retrieval-Augmented Code Generation for Universal Information Extraction [66.68673051922497]
情報抽出は、自然言語テキストから構造的知識を抽出することを目的としている。
本稿では,Large Language Models(LLMs)に基づく汎用検索拡張コード生成フレームワークを提案する。
Code4UIEはPythonクラスを採用し、様々な構造的知識のタスク固有のスキーマを普遍的に定義する。
論文 参考訳(メタデータ) (2023-11-06T09:03:21Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Prompting Language Models for Linguistic Structure [73.11488464916668]
本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。
提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。
PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
論文 参考訳(メタデータ) (2022-11-15T01:13:39Z) - A Knowledge-Enhanced Adversarial Model for Cross-lingual Structured
Sentiment Analysis [31.05169054736711]
言語間構造的感情分析タスクは、ソース言語からターゲット言語へ知識を伝達することを目的としている。
本稿では,暗黙的分散と明示的構造的知識を両立させた知識強化逆数モデル(textttKEAM)を提案する。
我々は5つのデータセットの実験を行い、textttKEAMと教師なしおよび教師なしの両方の手法を比較した。
論文 参考訳(メタデータ) (2022-05-31T03:07:51Z) - Unified Structure Generation for Universal Information Extraction [58.89057387608414]
UIEは、異なるIEタスクを普遍的にモデル化し、ターゲット構造を適応的に生成し、異なる知識ソースから一般的なIE能力を協調的に学習することができる。
実験によると、UIEは4つのIEタスク、13のデータセット、およびすべての教師付き、低リソース、数ショット設定で最先端のパフォーマンスを達成した。
論文 参考訳(メタデータ) (2022-03-23T08:49:29Z) - LiLT: A Simple yet Effective Language-Independent Layout Transformer for
Structured Document Understanding [33.78249073009646]
構造化文書理解のための単純で効果的な言語非依存型レイアウト変換器(LiLT)を提案する。
LiLTは単一の言語の構造化ドキュメント上で事前訓練され、その後、他の言語で直接微調整される。
8言語の実験結果から、LiLTは様々なダウンストリームベンチマークにおいて、競争力や優れたパフォーマンスを達成可能であることが示されている。
論文 参考訳(メタデータ) (2022-02-28T10:33:01Z) - TravelBERT: Pre-training Language Model Incorporating Domain-specific
Heterogeneous Knowledge into A Unified Representation [27.12551176570223]
本研究では,非構造化テキスト,半構造化テキスト,よく構造化されたテキストを含むあらゆる形式のテキストを対象としたヘテロジニアス知識言語モデル(HKLM)を提案する。
提案手法では,単語知識の学習にマスク付き言語モデルの対象を用い,3つの分類対象とタイトルマッチング対象を用いてエンティティ知識とトピック知識を学習する。
その結果,本手法はデータの1/4のみを用いて,プレーンテキストの事前学習よりも優れていた。
論文 参考訳(メタデータ) (2021-09-02T16:05:24Z) - Language-Agnostic Representation Learning of Source Code from Structure
and Context [43.99281651828355]
ソースコードのコンテキストと構造を共同で学習する新しいモデルを提案する。
複数のプログラミング言語から非並列データを共同トレーニングすることで,個々の言語での結果が向上することを示す。
論文 参考訳(メタデータ) (2021-03-21T06:46:06Z) - ERICA: Improving Entity and Relation Understanding for Pre-trained
Language Models via Contrastive Learning [97.10875695679499]
そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。
実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
論文 参考訳(メタデータ) (2020-12-30T03:35:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。