論文の概要: Embedded Named Entity Recognition using Probing Classifiers

• arxiv url: http://arxiv.org/abs/2403.11747v2
• Date: Mon, 14 Oct 2024 09:56:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:03:14.081832
• Title: Embedded Named Entity Recognition using Probing Classifiers
• Title（参考訳）: 確率分類器を用いた組込み名前付きエンティティ認識
• Authors: Nicholas Popovič, Michael Färber,
• Abstract要約: EMBERはデコーダのみの言語モデルで名前付きエンティティ認識を微調整することなくストリーミングできる。 EMBERは高いトークン生成率を維持しており, 約1%の速度低下しか認められていない。 トレーニング、テスト、効率的なトークン分類モデルをデプロイするためのツールキットを含む、コードとデータをオンラインで公開しています。
• 参考スコア（独自算出の注目度）: 10.573861741540853
• License:
• Abstract: Streaming text generation has become a common way of increasing the responsiveness of language model powered applications, such as chat assistants. At the same time, extracting semantic information from generated text is a useful tool for applications such as automated fact checking or retrieval augmented generation. Currently, this requires either separate models during inference, which increases computational cost, or destructive fine-tuning of the language model. Instead, we propose an approach called EMBER which enables streaming named entity recognition in decoder-only language models without fine-tuning them and while incurring minimal additional computational cost at inference time. Specifically, our experiments show that EMBER maintains high token generation rates, with only a negligible decrease in speed of around 1% compared to a 43.64% slowdown measured for a baseline. We make our code and data available online, including a toolkit for training, testing, and deploying efficient token classification models optimized for streaming text generation.
• Abstract（参考訳）: ストリーミングテキスト生成は、チャットアシスタントなどの言語モデル駆動アプリケーションの応答性を高める一般的な方法となっている。 同時に、生成したテキストから意味情報を抽出することは、自動事実チェックや検索拡張生成のようなアプリケーションに有用なツールである。 現在、これは推論中に別のモデルが必要であり、計算コストを増大させるか、言語モデルの破壊的な微調整を行う。 その代わりに、EMBERと呼ばれるアプローチを提案し、デコーダのみの言語モデルにおいて、微調整をせず、推論時に最小限の計算コストを発生させることなく、名前付きエンティティ認識を実現する。 具体的には, EMBERは高いトークン発生率を維持しており, ベースラインで測定された43.64%の速度低下に比べ, 約1%の速度低下しか認められていない。 私たちは、トレーニング、テスト、効率的なトークン分類モデルをストリーミングテキスト生成に最適化するためのツールキットを含む、コードとデータをオンラインで利用可能にしています。

関連論文リスト

• Gated Low-rank Adaptation for personalized Code-Switching Automatic Speech Recognition on the low-spec devices [28.06179341376626]
  性能劣化を最小限に抑えたパラメータ効率の良い微調整のためのゲートローランク適応(GLoRA)を導入する。 韓国語と英語のコードスイッチングデータセットを用いて実験を行い、コードスイッチングのための微調整音声認識モデルが、スクラッチから訓練された従来のコードスイッチング音声認識モデルの性能を上回ることを示した。
  論文  参考訳（メタデータ） (2024-04-24T01:31:39Z)
• Improving Sampling Methods for Fine-tuning SentenceBERT in Text Streams [49.3179290313959]
  本研究では,選択的な微調整言語モデルの設計した7つのテキストサンプリング手法の有効性について検討した。 これらの手法がSBERTモデルの微調整に与える影響を, 4つの異なる損失関数を用いて正確に評価する。 その結果,テキストストリームの分類にはソフトマックスの損失とバッチ・オール・トリプレットの損失が特に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-18T23:41:52Z)
• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Offline Detection of Misspelled Handwritten Words by Convolving Recognition Model Features with Text Labels [0.0]
  テキストに対して手書き画像を比較する作業を紹介する。 我々のモデルの分類ヘッドは、最先端の生成逆数ネットワークを用いて生成された合成データに基づいて訓練されている。 このような大規模なパフォーマンス向上は、ヒューマン・イン・ザ・ループの自動化を利用したアプリケーションの生産性を大幅に向上させる可能性がある。
  論文  参考訳（メタデータ） (2023-09-18T21:13:42Z)
• Lexically Aware Semi-Supervised Learning for OCR Post-Correction [90.54336622024299]
  世界中の多くの言語における既存の言語データの多くは、非デジタル化された書籍や文書に閉じ込められている。 従来の研究は、あまり良くない言語を認識するためのニューラル・ポスト・コレクション法の有用性を実証してきた。 そこで本研究では,生画像を利用した半教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:39:02Z)
• Incremental Layer-wise Self-Supervised Learning for Efficient Speech Domain Adaptation On Device [24.21909388395124]
  本稿では,モバイル端末上での音声領域適応を効果的に行うための,段階的層単位での自己教師型学習アルゴリズムを提案する。 提案アルゴリズムは、目標ドメイン上のワードエラー率(WER)を、教師付きベースラインよりも24.2%高い価格で取得し、エンドツーエンドの自己教師付き学習アルゴリズムよりも89.7%低いトレーニングメモリを提供する。
  論文  参考訳（メタデータ） (2021-10-01T01:22:38Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Paraphrastic Representations at Scale [134.41025103489224]
  私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。 我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
  論文  参考訳（メタデータ） (2021-04-30T16:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。