論文の概要: Decoding Text Spans for Efficient and Accurate Named-Entity Recognition
- arxiv url: http://arxiv.org/abs/2604.20447v1
- Date: Wed, 22 Apr 2026 11:09:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-23 15:36:11.102255
- Title: Decoding Text Spans for Efficient and Accurate Named-Entity Recognition
- Title(参考訳): 名前付きエンティティ認識の効率的かつ高精度なテキストスパンの復号化
- Authors: Andrea Maracani, Savas Ozkan, Junyi Zhu, Sinan Mutlu, Mete Ozay,
- Abstract要約: SpanDecは、このボトルネックをターゲットとする効率的なスパンベースのNERフレームワークである。
我々の主な洞察は、表現の相互作用を最終変圧器の段階で効果的に計算できるということである。
複数のベンチマークで、SpanDecは競合するスパンベースのベースラインと一致し、スループットを改善し、計算コストを削減している。
- 参考スコア(独自算出の注目度): 19.920965306385074
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Named Entity Recognition (NER) is a key component in industrial information extraction pipelines, where systems must satisfy strict latency and throughput constraints in addition to strong accuracy. State-of-the-art NER accuracy is often achieved by span-based frameworks, which construct span representations from token encodings and classify candidate spans. However, many span-based methods enumerate large numbers of candidates and process each candidate with marker-augmented inputs, substantially increasing inference cost and limiting scalability in large-scale deployments. In this work, we propose SpanDec, an efficient span-based NER framework that targets this bottleneck. Our main insight is that span representation interactions can be computed effectively at the final transformer stage, avoiding redundant computation in earlier layers via a lightweight decoder dedicated to span representations. We further introduce a span filtering mechanism during enumeration to prune unlikely candidates before expensive processing. Across multiple benchmarks, SpanDec matches competitive span-based baselines while improving throughput and reducing computational cost, yielding a better accuracy-efficiency trade-off suitable for high-volume serving and on-device applications.
- Abstract(参考訳): 名前付きエンティティ認識(NER)は、産業情報抽出パイプラインにおいて重要なコンポーネントであり、システムは高い精度に加えて、厳密なレイテンシとスループットの制約を満たす必要がある。
最先端のNER精度は、トークンエンコーディングからスパン表現を構築し、候補スパンを分類するスパンベースのフレームワークによって達成されることが多い。
しかし、多くのスパンベースの手法は、多数の候補を列挙し、マーカーを付加した入力で各候補を処理し、推論コストを大幅に増加させ、大規模デプロイメントにおけるスケーラビリティを制限している。
本研究では,このボトルネックをターゲットとした効率的なスパンベースNERフレームワークであるSpanDecを提案する。
我々の主な洞察は、表現の相互作用を最終変換器の段階で効果的に計算し、表現をスパン専用の軽量デコーダを通じて、以前のレイヤの冗長な計算を避けることである。
さらに、列挙中のスパンフィルタリング機構を導入し、コストのかかる処理の前に予測不可能な候補を抽出する。
複数のベンチマークで、SpanDecは競合するスパンベースのベースラインと一致し、スループットを改善し、計算コストを削減し、高ボリュームサービスやオンデバイスアプリケーションに適した精度と効率のトレードオフをもたらす。
関連論文リスト
- Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。
既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。
そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
論文 参考訳(メタデータ) (2025-12-26T07:53:41Z) - Prompt-based Dynamic Token Pruning for Efficient Segmentation of Medical Images [1.4146420810689422]
本研究では, セグメンテーションパイプラインにおける無関係トークンの処理を選択的に削減する, Prompt-driven Adaptive Token pruning法を提案する。
実験の結果,35-55%のトークンを$sim$で還元し,ベースラインに対する計算コストを低減した。
論文 参考訳(メタデータ) (2025-06-19T14:45:46Z) - TETRIS: Optimal Draft Token Selection for Batch Speculative Decoding [76.23719557942917]
TETRISは、(バッチ内のすべてのリクエストに対して)最も有望なドラフトトークンを積極的に選択する。
我々は,TETRISがベースライン投機的復号法およびドラフトトークンを動的に選択する既存手法より優れていることを理論的かつ実証的に示す。
論文 参考訳(メタデータ) (2025-02-21T04:19:24Z) - Small Language Model Makes an Effective Long Text Extractor [10.886875977716608]
名前付きエンティティ認識(NER)は自然言語処理(NLP)の基本問題である
本稿では,SeNERと呼ばれる軽量なスパンベースNER手法を提案する。
長いテキストを効果的に埋め込むために、[]トークンにLogN-Scalingと結合した双方向の矢印アテンション機構が組み込まれています。
3つの長いNERデータセットで最先端の抽出精度を実現し、GPUメモリフレンドリな方法で長いテキストからエンティティを抽出することができる。
論文 参考訳(メタデータ) (2025-02-11T06:06:25Z) - Lookahead: An Inference Acceleration Framework for Large Language Model with Lossless Generation Accuracy [46.81745860690336]
大規模言語モデル(LLM)は、質問応答、翻訳、テキスト要約、対話システムなど、様々なタスクで大きく進歩している。
本稿では,推論プロセスの高速化のための汎用フレームワークを提案する。
我々は、推論加速フレームワークの適用によって達成された顕著な改善を実証するために、広範囲な実験を行う。
論文 参考訳(メタデータ) (2023-12-20T02:55:15Z) - Should All Proposals be Treated Equally in Object Detection? [110.27485090952385]
オブジェクト検出器の複雑さと精度のトレードオフは、リソース制約されたビジョンタスクにとって重要な問題である。
検出効率の改善には、提案の不平等な処理に向けて、パラダイムシフトが必要であると仮定されている。
これにより、利用可能な計算予算がより有効になり、同じFLOPSの精度が向上する。
論文 参考訳(メタデータ) (2022-07-07T18:26:32Z) - Real-Time Scene Text Detection with Differentiable Binarization and
Adaptive Scale Fusion [62.269219152425556]
セグメンテーションに基づくシーンテキスト検出手法はシーンテキスト検出分野において大きな注目を集めている。
本稿では,二項化処理をセグメンテーションネットワークに統合する分散二項化(DB)モジュールを提案する。
アダプティブ・スケール・フュージョン (ASF) モジュールは, 異なるスケールの特徴を適応的に融合させることにより, スケールのロバスト性を向上させる。
論文 参考訳(メタデータ) (2022-02-21T15:30:14Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳(メタデータ) (2020-05-06T07:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。