論文の概要: LasUIE: Unifying Information Extraction with Latent Adaptive Structure-aware Generative Language Model

• arxiv url: http://arxiv.org/abs/2304.06248v1
• Date: Thu, 13 Apr 2023 04:01:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 15:51:06.941250
• Title: LasUIE: Unifying Information Extraction with Latent Adaptive Structure-aware Generative Language Model
• Title（参考訳）: LasUIE:潜在適応構造を考慮した生成言語モデルによる情報抽出
• Authors: Hao Fei, Shengqiong Wu, Jingye Li, Bobo Li, Fei Li, Libo Qin, Meishan Zhang, Min Zhang, Tat-Seng Chua
• Abstract要約: 全ての典型的な情報抽出タスク(UIE)を1つの生成言語モデル(GLM)で普遍的にモデル化し、大きな可能性を明らかにした。 UIE のための構文知識のパワーを完全に解放する構造対応 GLM を提案する。 7つのタスクにわたるIEベンチマークが12以上あり、私たちのシステムはベースラインのUIEシステムよりも大幅に改善されていることを示しています。
• 参考スコア（独自算出の注目度）: 96.889634747943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Universally modeling all typical information extraction tasks (UIE) with one generative language model (GLM) has revealed great potential by the latest study, where various IE predictions are unified into a linearized hierarchical expression under a GLM. Syntactic structure information, a type of effective feature which has been extensively utilized in IE community, should also be beneficial to UIE. In this work, we propose a novel structure-aware GLM, fully unleashing the power of syntactic knowledge for UIE. A heterogeneous structure inductor is explored to unsupervisedly induce rich heterogeneous structural representations by post-training an existing GLM. In particular, a structural broadcaster is devised to compact various latent trees into explicit high-order forests, helping to guide a better generation during decoding. We finally introduce a task-oriented structure fine-tuning mechanism, further adjusting the learned structures to most coincide with the end-task's need. Over 12 IE benchmarks across 7 tasks our system shows significant improvements over the baseline UIE system. Further in-depth analyses show that our GLM learns rich task-adaptive structural bias that greatly resolves the UIE crux, the long-range dependence issue and boundary identifying. Source codes are open at https://github.com/ChocoWu/LasUIE.
• Abstract（参考訳）: すべての典型的情報抽出タスク (uie) を1つの生成言語モデル (glm) でモデリングした結果,様々なie予測がglm下で線形化された階層表現に統一されるという,最新の研究で大きな可能性を見出している。 ieコミュニティで広く利用されている効果的な機能である構文構造情報もuieにとって有益であるべきである。 そこで本研究では,UIEの構文知識のパワーを完全に解き放つ構造認識型GLMを提案する。 ヘテロジニアス構造インダクタは、既存のGLMのポストトレーニングにより、教師なしでリッチなヘテロジニアス構造表現を誘導する。 特に、構造放送機は、様々な潜木を明示的な高次森林にコンパクト化し、復号時により良い世代を導くのに役立つように考案されている。 最終的にタスク指向構造微調整機構を導入し、学習された構造をエンドタスクのニーズに最も合致するように調整する。 7つのタスクにまたがる12以上のieベンチマーク 私たちのシステムは、ベースラインのuieシステムよりも大幅に改善しています。 さらに詳細な分析の結果,GLMはUIEの欠陥,長距離依存問題,境界同定を著しく解決するリッチなタスク適応型構造バイアスを学習していることがわかった。 ソースコードはhttps://github.com/ChocoWu/LasUIEで公開されている。

関連論文リスト

• StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization [94.31508613367296]
  Retrieval-augmented Generation(RAG)は、大規模言語モデル(LLM)を効果的に強化する鍵となる手段である。 本稿では,手前のタスクに対して最適な構造型を識別し,元の文書をこの構造化形式に再構成し,その結果に基づいて回答を推測するStructRAGを提案する。 実験の結果、StructRAGは最先端のパフォーマンスを実現し、特に挑戦的なシナリオに優れていた。
  論文  参考訳（メタデータ） (2024-10-11T13:52:44Z)
• G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning [8.02547453169677]
  本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。 特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。 その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
  論文  参考訳（メタデータ） (2024-05-09T08:28:12Z)
• Large Language Model-driven Meta-structure Discovery in Heterogeneous Information Network [29.149367323751413]
  進化過程に推論を統合するメタ構造探索フレームワークReStructを提案する。 ReStructは推薦タスクとノード分類タスクの両方で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-02-18T09:21:12Z)
• Large Language Models for Generative Information Extraction: A Survey [89.71273968283616]
  大規模言語モデル(LLM)は、テキスト理解と生成において顕著な能力を示した。 各種IEサブタスクと技術の観点から,これらの作品を分類して概観する。 我々は,最も先進的な手法を実証的に分析し,LLMによるIEタスクの出現傾向を明らかにする。
  論文  参考訳（メタデータ） (2023-12-29T14:25:22Z)
• PIVOINE: Instruction Tuning for Open-world Information Extraction [53.98073623222221]
  構造化されていないテキストから包括的エンティティプロファイルを抽出するオープンワールド情報抽出(オープンワールドIE)の問題を考える。 我々は,オープンワールドIEを動作させ,自然言語命令を特徴とする目的のエンティティプロファイルを抽出できる大規模言語モデル(LLM)を開発した。 特にINSTRUCTOPENWIKIは,包括的コーパス,豊富なアノテーション,多種多様な命令を満載したオープンワールドIE向け指導チューニングデータセットである。
  論文  参考訳（メタデータ） (2023-05-24T08:52:08Z)
• SE-GSL: A General and Effective Graph Structure Learning Framework through Structural Entropy Optimization [67.28453445927825]
  グラフニューラルネットワーク(GNN)は、構造的データ学習のデファクトソリューションである。 既存のグラフ構造学習(GSL)フレームワークには、堅牢性と解釈性がない。 本稿では、構造エントロピーと符号化木に抽象化されたグラフ階層を通して、一般的なGSLフレームワークSE-GSLを提案する。
  論文  参考訳（メタデータ） (2023-03-17T05:20:24Z)
• Unified Structure Generation for Universal Information Extraction [58.89057387608414]
  UIEは、異なるIEタスクを普遍的にモデル化し、ターゲット構造を適応的に生成し、異なる知識ソースから一般的なIE能力を協調的に学習することができる。 実験によると、UIEは4つのIEタスク、13のデータセット、およびすべての教師付き、低リソース、数ショット設定で最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2022-03-23T08:49:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。