論文の概要: Embedded Named Entity Recognition using Probing Classifiers

• arxiv url: http://arxiv.org/abs/2403.11747v1
• Date: Mon, 18 Mar 2024 12:58:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 20:29:45.189839
• Title: Embedded Named Entity Recognition using Probing Classifiers
• Title（参考訳）: 確率分類器を用いた組込み名前付きエンティティ認識
• Authors: Nicholas Popovič, Michael Färber,
• Abstract要約: 生成したテキストから意味情報を抽出することは、自動事実チェックや検索拡張生成に有用なツールである。 本稿では,事前学習した言語モデルに韻律分類器を用いた埋め込み情報抽出機能を提案する。 GPT-2を用いた実験は、EMBERがストリーミングテキスト生成中に高いトークン生成率を維持することを示す。
• 参考スコア（独自算出の注目度）: 10.573861741540853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extracting semantic information from generated text is a useful tool for applications such as automated fact checking or retrieval augmented generation. Currently, this requires either separate models during inference, which increases computational cost, or destructive fine-tuning of the language model. Instead, we propose directly embedding information extraction capabilities into pre-trained language models using probing classifiers, enabling efficient simultaneous text generation and information extraction. For this, we introduce an approach called EMBER and show that it enables named entity recognition in decoder-only language models without fine-tuning them and while incurring minimal additional computational cost at inference time. Specifically, our experiments using GPT-2 show that EMBER maintains high token generation rates during streaming text generation, with only a negligible decrease in speed of around 1% compared to a 43.64% slowdown measured for a baseline using a separate NER model. Code and data are available at https://github.com/nicpopovic/EMBER.
• Abstract（参考訳）: 生成したテキストから意味情報を抽出することは、自動事実チェックや検索拡張生成のようなアプリケーションに有用なツールである。 現在、これは推論中に別のモデルが必要であり、計算コストを増大させるか、言語モデルの破壊的な微調整を行う。 代わりに、探索分類器を用いて事前学習した言語モデルに情報抽出機能を組み込むことにより、効率的なテキスト生成と情報抽出を可能にする。 そこで本研究では,EMBERと呼ばれる手法を導入し,デコーダのみの言語モデルにおいて,微調整をせず,推論時に最小限の計算コストを発生させることなく,名前付きエンティティ認識を可能にすることを示す。 具体的には,GPT-2 を用いた実験により,EMBER はストリーミングテキスト生成中に高いトークン生成率を維持しており,NER モデルによるベースラインの43.64% の速度低下に対して,約1% の速度低下しか無視できないことがわかった。 コードとデータはhttps://github.com/nicpopovic/EMBER.comで公開されている。

関連論文リスト

• Gated Low-rank Adaptation for personalized Code-Switching Automatic Speech Recognition on the low-spec devices [28.06179341376626]
  性能劣化を最小限に抑えたパラメータ効率の良い微調整のためのゲートローランク適応(GLoRA)を導入する。 韓国語と英語のコードスイッチングデータセットを用いて実験を行い、コードスイッチングのための微調整音声認識モデルが、スクラッチから訓練された従来のコードスイッチング音声認識モデルの性能を上回ることを示した。
  論文  参考訳（メタデータ） (2024-04-24T01:31:39Z)
• Improving Sampling Methods for Fine-tuning SentenceBERT in Text Streams [49.3179290313959]
  本研究では,選択的な微調整言語モデルの設計した7つのテキストサンプリング手法の有効性について検討した。 これらの手法がSBERTモデルの微調整に与える影響を, 4つの異なる損失関数を用いて正確に評価する。 その結果,テキストストリームの分類にはソフトマックスの損失とバッチ・オール・トリプレットの損失が特に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-18T23:41:52Z)
• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Offline Detection of Misspelled Handwritten Words by Convolving Recognition Model Features with Text Labels [0.0]
  テキストに対して手書き画像を比較する作業を紹介する。 我々のモデルの分類ヘッドは、最先端の生成逆数ネットワークを用いて生成された合成データに基づいて訓練されている。 このような大規模なパフォーマンス向上は、ヒューマン・イン・ザ・ループの自動化を利用したアプリケーションの生産性を大幅に向上させる可能性がある。
  論文  参考訳（メタデータ） (2023-09-18T21:13:42Z)
• Lexically Aware Semi-Supervised Learning for OCR Post-Correction [90.54336622024299]
  世界中の多くの言語における既存の言語データの多くは、非デジタル化された書籍や文書に閉じ込められている。 従来の研究は、あまり良くない言語を認識するためのニューラル・ポスト・コレクション法の有用性を実証してきた。 そこで本研究では,生画像を利用した半教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:39:02Z)
• Incremental Layer-wise Self-Supervised Learning for Efficient Speech Domain Adaptation On Device [24.21909388395124]
  本稿では,モバイル端末上での音声領域適応を効果的に行うための,段階的層単位での自己教師型学習アルゴリズムを提案する。 提案アルゴリズムは、目標ドメイン上のワードエラー率(WER)を、教師付きベースラインよりも24.2%高い価格で取得し、エンドツーエンドの自己教師付き学習アルゴリズムよりも89.7%低いトレーニングメモリを提供する。
  論文  参考訳（メタデータ） (2021-10-01T01:22:38Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Paraphrastic Representations at Scale [134.41025103489224]
  私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。 我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
  論文  参考訳（メタデータ） (2021-04-30T16:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。