論文の概要: GLiNER multi-task: Generalist Lightweight Model for Various Information Extraction Tasks

• arxiv url: http://arxiv.org/abs/2406.12925v1
• Date: Fri, 14 Jun 2024 13:54:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 00:47:45.607774
• Title: GLiNER multi-task: Generalist Lightweight Model for Various Information Extraction Tasks
• Title（参考訳）: GLiNERマルチタスク:様々な情報抽出タスクのための汎用軽量モデル
• Authors: Ihor Stepanov, Mykhailo Shtopko,
• Abstract要約: 我々は,小さなエンコーダモデルであると同時に,様々な情報抽出タスクに使用できる新しい種類のGLiNERモデルを導入する。 我々のモデルは,ゼロショットNERベンチマークにおけるSoTA性能を達成し,質問応答,要約,関係抽出タスクにおける主要な性能を実現した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Information extraction tasks require both accurate, efficient, and generalisable models. Classical supervised deep learning approaches can achieve the required performance, but they need large datasets and are limited in their ability to adapt to different tasks. On the other hand, large language models (LLMs) demonstrate good generalization, meaning that they can adapt to many different tasks based on user requests. However, LLMs are computationally expensive and tend to fail to generate structured outputs. In this article, we will introduce a new kind of GLiNER model that can be used for various information extraction tasks while being a small encoder model. Our model achieved SoTA performance on zero-shot NER benchmarks and leading performance on question-answering, summarization and relation extraction tasks. Additionally, in this article, we will cover experimental results on self-learning approaches for named entity recognition using GLiNER models.
• Abstract（参考訳）: 情報抽出タスクは正確、効率的、一般化可能なモデルの両方を必要とする。 古典的な教師付きディープラーニングアプローチは、必要なパフォーマンスを達成することができるが、大きなデータセットが必要であり、異なるタスクに適応する能力に制限がある。 一方,大規模言語モデル(LLM)は優れた一般化を示し,ユーザ要求に基づいて様々なタスクに適応できる。 しかし、LLMは計算コストが高く、構造化出力の生成に失敗する傾向がある。 本稿では,小さなエンコーダモデルであると同時に,様々な情報抽出タスクに使用できる新しいタイプのGLiNERモデルを紹介する。 我々のモデルは,ゼロショットNERベンチマークにおけるSoTA性能を達成し,質問応答,要約,関係抽出タスクにおける主要な性能を実現した。 また、本稿では、GLiNERモデルを用いた名前付きエンティティ認識のための自己学習手法の実験結果について述べる。

関連論文リスト

• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• VANER: Leveraging Large Language Model for Versatile and Adaptive Biomedical Named Entity Recognition [3.4923338594757674]
  大型言語モデル(LLM)は、様々な種類のエンティティを抽出できるモデルを訓練するために使用することができる。 本稿では,オープンソースのLLM LLaMA2をバックボーンモデルとして利用し,異なるタイプのエンティティとデータセットを区別するための具体的な命令を設計する。 我々のモデルVANERは、パラメータの小さな分割で訓練され、従来のLLMモデルよりも大幅に優れており、LLMをベースとしたモデルとして初めて、従来の最先端のBioNERシステムの大部分を上回りました。
  論文  参考訳（メタデータ） (2024-04-27T09:00:39Z)
• ModelGPT: Unleashing LLM's Capabilities for Tailored Model Generation [35.160964210941955]
  本稿では,ユーザが提供するデータやタスク記述に適したAIモデルを決定・生成するフレームワークであるModelGPTを提案する。 ユーザの要求に応じて、ModelGPTは、以前のパラダイムよりも少なくとも270倍高速に、調整済みのモデルを提供することができる。
  論文  参考訳（メタデータ） (2024-02-18T11:24:34Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• Specialist or Generalist? Instruction Tuning for Specific NLP Tasks [58.422495509760154]
  包括的汎用的チューニングを取り入れることで,スペシャリストモデルの構築に寄与するかどうかを検討する。 実験では,異なる範囲で4つの目標タスクを評価した。 この効果は、タスク固有のトレーニングデータの量が限られている場合に特に顕著である。
  論文  参考訳（メタデータ） (2023-10-23T19:46:48Z)
• An Efficient General-Purpose Modular Vision Model via Multi-Task Heterogeneous Training [79.78201886156513]
  本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。 提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
  論文  参考訳（メタデータ） (2023-06-29T17:59:57Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Explaining the Effectiveness of Multi-Task Learning for Efficient Knowledge Extraction from Spine MRI Reports [2.5953185061765884]
  一つのマルチタスクモデルがタスク固有のモデルの性能にマッチすることを示す。 内科医による頚椎, 腰椎への注視所見について検討した。
  論文  参考訳（メタデータ） (2022-05-06T01:51:19Z)
• Multitask Prompted Training Enables Zero-Shot Task Generalization [70.12770442071657]
  本研究では,一般的な自然言語タスクを人間に読まれる入力形式にマッピングするシステムを開発した。 様々なタスクをカバーしたマルチタスクミックス上に,事前学習したエンコーダ・デコーダモデルを微調整する。 このモデルは、いくつかの標準データセット上で強力なゼロショット性能を達成し、しばしば16倍のサイズのモデルより優れている。
  論文  参考訳（メタデータ） (2021-10-15T17:08:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。