論文の概要: RexUniNLU: Recursive Method with Explicit Schema Instructor for Universal NLU

• arxiv url: http://arxiv.org/abs/2409.05275v1
• Date: Mon, 9 Sep 2024 01:59:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 16:00:52.432594
• Title: RexUniNLU: Recursive Method with Explicit Schema Instructor for Universal NLU
• Title（参考訳）: RexUniNLU:Universal NLUのための明示的スキーマインストラクタを用いた再帰的手法
• Authors: Chengyuan Liu, Shihang Wang, Fubang Zhao, Kun Kuang, Yangyang Kang, Weiming Lu, Changlong Sun, Fei Wu,
• Abstract要約: この観点からCLSタスクを統一できるエンコーダベースのモデルはありません。 我々は,Universal NLUのための明示的インストラクタを用いた再帰的手法を提案する。 RexUniNLUは,IE と CLS の明示的なスキーマ制約を利用する汎用的な NLU ソリューションである。
• 参考スコア（独自算出の注目度）: 45.85420719025781
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information Extraction (IE) and Text Classification (CLS) serve as the fundamental pillars of NLU, with both disciplines relying on analyzing input sequences to categorize outputs into pre-established schemas. However, there is no existing encoder-based model that can unify IE and CLS tasks from this perspective. To fully explore the foundation shared within NLU tasks, we have proposed a Recursive Method with Explicit Schema Instructor for Universal NLU. Specifically, we firstly redefine the true universal information extraction (UIE) with a formal formulation that covers almost all extraction schemas, including quadruples and quintuples which remain unsolved for previous UIE models. Then, we expands the formulation to all CLS and multi-modal NLU tasks. Based on that, we introduce RexUniNLU, an universal NLU solution that employs explicit schema constraints for IE and CLS, which encompasses all IE and CLS tasks and prevent incorrect connections between schema and input sequence. To avoid interference between different schemas, we reset the position ids and attention mask matrices. Extensive experiments are conducted on IE, CLS in both English and Chinese, and multi-modality, revealing the effectiveness and superiority. Our codes are publicly released.
• Abstract（参考訳）: 情報抽出 (IE) とテキスト分類 (CLS) はNLUの基本柱として機能し、出力を事前に確立されたスキーマに分類するために入力シーケンスの分析に依存する。 しかし、この観点からIEとCLSタスクを統一できるエンコーダベースのモデルはありません。 我々は,NLUタスク内で共有される基盤について,Universal NLUのための明示的スキーマインストラクタを用いた再帰的手法を提案する。 具体的には、まず、以前のUIEモデルでは未解決のままである四重項や四重項を含む、ほぼ全ての抽出スキーマをカバーする公式な定式化により、真の普遍情報抽出(UIE)を再定義する。 そして、この定式化を全ての CLS およびマルチモーダル NLU タスクに拡張する。 そこで我々は,IE および CLS のすべてのタスクを包含し,スキーマと入力シーケンス間の誤った接続を防止する,IE と CLS の明示的なスキーマ制約を利用する汎用 NLU ソリューション RexUniNLU を紹介する。 異なるスキーマ間の干渉を避けるため、位置IDとアテンションマスク行列をリセットする。 大規模な実験はIE, CLS, 英語, 中国語, マルチモーダリティで行われ, 有効性と優越性を明らかにした。 私たちのコードは公開されています。

関連論文リスト

• BioMistral-NLU: Towards More Generalizable Medical Language Understanding through Instruction Tuning [19.027921909970832]
  汎用医療用NLUモデルであるBioMistral-NLUをMNLU-Instruct上で微調整して開発する。 我々のBioMistral-NLUはオリジナルのBioMistralよりも優れています。 多様なNLUタスクに対するデータセットに依存しないプロンプト戦略と命令チューニングのステップにより、多様な医療NLUタスク間のLLMの一般化性が向上する。
  論文  参考訳（メタデータ） (2024-10-24T17:53:53Z)
• RUIE: Retrieval-based Unified Information Extraction using Large Language Model [6.788855739199981]
  統一された情報抽出は、単一のモデルまたはフレームワークを使用して全ての情報抽出タスクを完了することを目的としている。 本稿では,テキスト内学習を活用して迅速な一般化を実現するフレームワークRUIE(Retrieval-based Unified Information extract)を提案する。 8つのホールドアウトデータセットの実験結果から、未確認タスクを一般化するRUIEの有効性が示された。
  論文  参考訳（メタデータ） (2024-09-18T03:20:04Z)
• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• PIVOINE: Instruction Tuning for Open-world Information Extraction [53.98073623222221]
  構造化されていないテキストから包括的エンティティプロファイルを抽出するオープンワールド情報抽出(オープンワールドIE)の問題を考える。 我々は,オープンワールドIEを動作させ,自然言語命令を特徴とする目的のエンティティプロファイルを抽出できる大規模言語モデル(LLM)を開発した。 特にINSTRUCTOPENWIKIは,包括的コーパス,豊富なアノテーション,多種多様な命令を満載したオープンワールドIE向け指導チューニングデータセットである。
  論文  参考訳（メタデータ） (2023-05-24T08:52:08Z)
• RexUIE: A Recursive Method with Explicit Schema Instructor for Universal Information Extraction [47.89362854989252]
  ユニバーサル情報抽出(Universal Information extract)は、さまざまなターゲット、異種構造、要求固有のスキーマによって引き起こされる課題によって、関心のある分野である。 これまでは、名前付きエンティティ認識(NER)や関係抽出(RE)など、いくつかのタスクを統合することで、限られた成功しか達成できなかった。 本稿では,ほぼすべての抽出スキーマを含む公式な定式化により,認証UIEを再定義する。
  論文  参考訳（メタデータ） (2023-04-28T11:28:56Z)
• Token-level Sequence Labeling for Spoken Language Understanding using Compositional End-to-End Models [94.30953696090758]
  音声合成言語理解システムを構築した。 ASRのために訓練された中間デコーダを頼りにすることで、私たちのエンドツーエンドシステムは、入力モダリティを音声からトークンレベルの表現に変換する。 我々のモデルは、名前付きエンティティ認識のラベル付けタスクにおいて、カスケードモデルと直接エンド・ツー・エンドモデルの両方より優れている。
  論文  参考訳（メタデータ） (2022-10-27T19:33:18Z)
• NLU++: A Multi-Label, Slot-Rich, Generalisable Dataset for Natural Language Understanding in Task-Oriented Dialogue [53.54788957697192]
  NLU++はタスク指向対話(ToD)システムにおける自然言語理解(NLU)のための新しいデータセットである。 NLU++は2つのドメイン(BANKINGとHOTELS)に分割されており、現在一般的に使用されているNLUデータセットよりもいくつかの重要な改善が行われている。
  論文  参考訳（メタデータ） (2022-04-27T16:00:23Z)
• Dual Learning for Semi-Supervised Natural Language Understanding [29.692288627633374]
  自然言語理解(NLU)は、文を構造化意味形式に変換する。 NLU, semantic-to-sentence generation (SSG) の2つのタスクを導入する。 本稿では,対応する2つのモデルを用いた半教師付きNLUのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T07:17:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。