論文の概要: ChatUIE: Exploring Chat-based Unified Information Extraction using Large Language Models

• arxiv url: http://arxiv.org/abs/2403.05132v1
• Date: Fri, 8 Mar 2024 07:59:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 20:40:11.313912
• Title: ChatUIE: Exploring Chat-based Unified Information Extraction using Large Language Models
• Title（参考訳）: ChatUIE: 大規模言語モデルを用いたチャットベースの統一情報抽出
• Authors: Jun Xu, Mengshu Sun, Zhiqiang Zhang and Jun Zhou
• Abstract要約: ChatUIEは、ChatGLM上に構築された革新的な統合情報抽出フレームワークである。 強化学習は、混乱と限られたサンプルを含む様々なタスクを改善し、調整するために使用される。 実験の結果,チャット能力の低下により,ChatUIEは情報抽出性能を大幅に向上できることがわかった。
• 参考スコア（独自算出の注目度）: 15.72709558213362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in large language models have shown impressive performance in general chat. However, their domain-specific capabilities, particularly in information extraction, have certain limitations. Extracting structured information from natural language that deviates from known schemas or instructions has proven challenging for previous prompt-based methods. This motivated us to explore domain-specific modeling in chat-based language models as a solution for extracting structured information from natural language. In this paper, we present ChatUIE, an innovative unified information extraction framework built upon ChatGLM. Simultaneously, reinforcement learning is employed to improve and align various tasks that involve confusing and limited samples. Furthermore, we integrate generation constraints to address the issue of generating elements that are not present in the input. Our experimental results demonstrate that ChatUIE can significantly improve the performance of information extraction with a slight decrease in chatting ability.
• Abstract（参考訳）: 最近の大規模言語モデルの進歩は、一般的なチャットで印象的なパフォーマンスを示している。 しかし、ドメイン固有の機能、特に情報抽出には一定の制限がある。 既知のスキーマや命令から逸脱する自然言語から構造化情報を抽出することは、従来のプロンプトベースの手法では難しいことが証明されている。 これは自然言語から構造化情報を抽出するソリューションとして、チャットベースの言語モデルにおけるドメイン固有のモデリングを探求する動機となった。 本稿では,ChatGLM上に構築された革新的な統合情報抽出フレームワークChatUIEを提案する。 同時に、混乱した限られたサンプルを含む様々なタスクを改善し調整するために強化学習が用いられる。 さらに,入力に存在しない要素生成の問題に対処するために,生成制約を統合する。 実験の結果,チャット能力の低下により,ChatUIEは情報抽出性能を大幅に向上できることがわかった。

関連論文リスト

• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
  最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。 音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。 本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
  論文  参考訳（メタデータ） (2024-09-30T07:01:21Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• Less is More: A Closer Look at Semantic-based Few-Shot Learning [11.724194320966959]
  Few-shot Learningは、利用可能な画像の数が非常に限られている新しいカテゴリを学習し、区別することを目的としている。 本稿では,テキスト情報と言語モデルを活用することを目的とした,数ショットの学習タスクのための,シンプルだが効果的なフレームワークを提案する。 広範に使われている4つのショットデータセットで実施した実験は、我々の単純なフレームワークが印象的な結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-10T08:56:02Z)
• YAYI-UIE: A Chat-Enhanced Instruction Tuning Framework for Universal Information Extraction [20.32778991187863]
  ユニバーサル情報抽出(YAYI-UIE)のためのエンドツーエンドのチャット強化指導フレームワークを提案する。 具体的には,対話データと情報抽出データを用いて,情報抽出性能を協調的に向上する。
  論文  参考訳（メタデータ） (2023-12-24T21:33:03Z)
• Diffusion Language Models Can Perform Many Tasks with Scaling and Instruction-Finetuning [56.03057119008865]
  拡散言語モデルを拡張することで、強力な言語学習者が効果的に学習できることが示される。 大規模データから知識を最初に取得することで,大規模に有能な拡散言語モデルを構築する。 実験により、拡散言語モデルのスケーリングは、下流言語タスクにおけるパフォーマンスを一貫して改善することが示された。
  論文  参考訳（メタデータ） (2023-08-23T16:01:12Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• A Cloud-based Machine Learning Pipeline for the Efficient Extraction of Insights from Customer Reviews [0.0]
  本稿では,パイプラインに統合された機械学習手法を用いて,顧客レビューから洞察を抽出するクラウドベースのシステムを提案する。 トピックモデリングには、自然言語処理用に設計されたトランスフォーマーベースニューラルネットワークを用いる。 本システムでは,このタスクの既存のトピックモデリングやキーワード抽出ソリューションよりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-06-13T14:07:52Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• Internet-augmented language models through few-shot prompting for open-domain question answering [6.573232954655063]
  私たちは、大規模な言語モデルによって提供されるユニークないくつかのショット機能を活用して、いくつかの課題を克服しています。 Google Searchを使って、ウェブから返された情報に対して言語モデルを条件付けるために、数発のプロンプトを使用します。 ウェブ上で条件付けされた言語モデルは、オープンドメイン質問応答において、類似またはそれ以上のモデルサイズを持つクローズドブックモデルの性能を上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-10T02:24:14Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。