論文の概要: Unified Text Structuralization with Instruction-tuned Language Models
- arxiv url: http://arxiv.org/abs/2303.14956v2
- Date: Thu, 30 Mar 2023 13:41:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-31 16:18:06.196413
- Title: Unified Text Structuralization with Instruction-tuned Language Models
- Title（参考訳）: 命令型言語モデルを用いた統一テキスト構造化
- Authors: Xuanfan Ni, Piji Li and Huayang Li
- Abstract要約: テキストから様々な構造を抽出する大規模言語モデル(LLM)を提案する。
実験により、様々な言語や知識のデータセット上で、言語モデルが他の最先端の手法と同等に動作できることが示されている。
- 参考スコア（独自算出の注目度）: 28.869098023025753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text structuralization is one of the important fields of natural language
processing (NLP) consists of information extraction (IE) and structure
formalization. However, current studies of text structuralization suffer from a
shortage of manually annotated high-quality datasets from different domains and
languages, which require specialized professional knowledge. In addition, most
IE methods are designed for a specific type of structured data, e.g., entities,
relations, and events, making them hard to generalize to others. In this work,
we propose a simple and efficient approach to instruct large language model
(LLM) to extract a variety of structures from texts. More concretely, we add a
prefix and a suffix instruction to indicate the desired IE task and structure
type, respectively, before feeding the text into a LLM. Experiments on two LLMs
show that this approach can enable language models to perform comparable with
other state-of-the-art methods on datasets of a variety of languages and
knowledge, and can generalize to other IE sub-tasks via changing the content of
instruction. Another benefit of our approach is that it can help researchers to
build datasets in low-source and domain-specific scenarios, e.g., fields in
finance and law, with low cost.
- Abstract（参考訳）: テキスト構造化は自然言語処理(NLP)の重要な分野の一つであり、情報抽出(IE)と構造形式化から構成される。
しかし、現在のテキスト構造化の研究は、専門的な専門知識を必要とする異なるドメインや言語から手動で注釈付けされた高品質なデータセットが不足している。
さらに、ほとんどのIEメソッドは、エンティティ、リレーション、イベントといった特定のタイプの構造化データのために設計されており、他人に一般化するのは困難である。
本研究では,テキストから多種多様な構造を抽出するために,大規模言語モデル(llm)を指示する簡易かつ効率的な手法を提案する。
より具体的には、テキストをllmに送る前に、それぞれ所望のieタスクと構造体タイプを示すプレフィックスと接尾辞命令を追加します。
2つのLCMの実験では、言語モデルが様々な言語や知識のデータセット上で、他の最先端のメソッドと同等に動作し、命令の内容を変更することで、他のIEサブタスクに一般化できることが示されている。
私たちのアプローチのもう1つの利点は、研究者がローソースやドメイン固有のシナリオ(例えば金融や法学の分野)で、低コストでデータセットを構築するのに役立つことです。
関連論文リスト
- Raw Text is All you Need: Knowledge-intensive Multi-turn Instruction Tuning for Large Language Model [25.459787361454353]
本稿では,対話論理のCoD-Chainを利用して,多言語モデル(LLM)を指導指導のための知識集約型多元対話を生成する新しいフレームワークR2Sを提案する。
オープンソースデータセットとドメイン固有のWebcrawledドキュメントの両方の生文書をベンチマークK-BENCHに統合することにより、Wikipedia(英語)、Science(中国語)、Artifacts(中国語)などのさまざまな領域をカバーする。
論文 参考訳（メタデータ） (2024-07-03T12:04:10Z) - SRFUND: A Multi-Granularity Hierarchical Structure Reconstruction Benchmark in Form Understanding [55.48936731641802]
階層的に構造化されたマルチタスク形式理解ベンチマークであるSRFUNDを提案する。
SRFUNDはオリジナルのFUNSDとXFUNDデータセットの上に洗練されたアノテーションを提供する。
データセットには、英語、中国語、日本語、ドイツ語、フランス語、スペイン語、イタリア語、ポルトガル語を含む8つの言語が含まれている。
論文 参考訳（メタデータ） (2024-06-13T02:35:55Z) - A Simple but Effective Approach to Improve Structured Language Model
Output for Information Extraction [11.165093163378152]
大規模言語モデル(LLM)は、命令に従って非構造化自然言語を生成する際、印象的な能力を示した。
本稿では,その構造的テキスト生成能力を高めるために,効率的なG&O手法を提案する。
論文 参考訳（メタデータ） (2024-02-20T20:42:02Z) - Synthetic Data (Almost) from Scratch: Generalized Instruction Tuning for
Language Models [153.14575887549088]
GLAN(Generalized Instruction Tuning)は,Large Language Models(LLM)の汎用的かつスケーラブルなチューニング手法である。
GLANは、人間の知識と能力の事前分類を入力として利用し、あらゆる分野にわたる大規模な合成指導データを生成する。
サイラバスの全クラスセッションで詳述された、きめ細かい重要な概念により、私たちは、人間の知識とスキルの全範囲にわたって幅広い範囲をカバーする多様な命令を生成できる。
論文 参考訳（メタデータ） (2024-02-20T15:00:35Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳（メタデータ） (2023-10-31T04:37:57Z) - OntoType: Ontology-Guided and Pre-Trained Language Model Assisted Fine-Grained Entity Typing [25.516304052884397]
きめ細かいエンティティタイピング(FET)は、コンテキストに敏感できめ細かいセマンティックタイプでエンティティをテキストに割り当てる。
OntoTypeは、粗いものから細いものまで、型オントロジ構造に従い、複数のPLMをアンサンブルすることで、型候補のセットを生成する。
Ontonotes、FIGER、NYTデータセットに関する我々の実験は、我々の手法が最先端のゼロショットの微細なエンティティタイピング方法よりも優れていることを示した。
論文 参考訳（メタデータ） (2023-05-21T00:32:37Z) - Unified Structure Generation for Universal Information Extraction [58.89057387608414]
UIEは、異なるIEタスクを普遍的にモデル化し、ターゲット構造を適応的に生成し、異なる知識ソースから一般的なIE能力を協調的に学習することができる。
実験によると、UIEは4つのIEタスク、13のデータセット、およびすべての教師付き、低リソース、数ショット設定で最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2022-03-23T08:49:29Z) - LiLT: A Simple yet Effective Language-Independent Layout Transformer for
Structured Document Understanding [33.78249073009646]
構造化文書理解のための単純で効果的な言語非依存型レイアウト変換器(LiLT)を提案する。
LiLTは単一の言語の構造化ドキュメント上で事前訓練され、その後、他の言語で直接微調整される。
8言語の実験結果から、LiLTは様々なダウンストリームベンチマークにおいて、競争力や優れたパフォーマンスを達成可能であることが示されている。
論文 参考訳（メタデータ） (2022-02-28T10:33:01Z) - Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。
提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
論文 参考訳（メタデータ） (2021-09-02T16:05:24Z) - ERICA: Improving Entity and Relation Understanding for Pre-trained
Language Models via Contrastive Learning [97.10875695679499]
そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。
実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
論文 参考訳（メタデータ） (2020-12-30T03:35:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。