論文の概要: Named Entity Recognition using Sliding Window Approach
- arxiv url: http://arxiv.org/abs/2609.29682v1
- Date: Sun, 30 Aug 2026 18:22:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:56.1073
- Title: Named Entity Recognition using Sliding Window Approach
- Title(参考訳): スライディングウインドウアプローチを用いた名前付きエンティティ認識
- Abstract要約: 重なり合うスライディングウィンドウによる文書レベルの予測に対して,凍結したNERモデルであるMahaNER-BERTを拡張した推論専用パイプラインを導入する。
MahaNERテストセットから構築した6つの文書レベルのコーパス上でパイプラインを評価する。
このモデルは最大0.8902のマクロF1スコアを保持しており、文書の長さや建設戦略に関わらず1点以下である。
- 参考スコア(独自算出の注目度): 2.4388679133498776
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Named Entity Recognition (NER) is a core NLP task, but transformer-based sentence-level models struggle with long documents because of fixed input-length limits: truncation drops content, and non-overlapping chunking fragments entities at segment boundaries. We introduce an inference-only pipeline that extends a frozen NER model, MahaNER-BERT, fine-tuned on the MahaNER corpus, to document-level prediction via overlapping sliding windows that are merged into a single annotation, without any retraining or architectural change. We evaluate the pipeline on six document-level corpora built from the MahaNER test set using two strategies: Normal Repeat, which duplicates sentence sequences to extend length while preserving contextual continuity, and Random Repeat, which concatenates distinct sequences to produce longer, heterogeneous inputs, each instantiated at three length levels, across several sliding-window configurations. The model retains a macro F1-score of up to 0.8902, with variation staying below one percentage point regardless of document length or construction strategy. Compared with the conventional non-windowed approach, the sliding-window pipeline avoids the boundary-fragmentation errors introduced by non-overlapping segmentation, yielding consistently higher and more stable document-level F1-scores.
- Abstract(参考訳): 名前付きエンティティ認識(NER)は、中核的なNLPタスクであるが、トランスフォーマーベースの文レベルモデルは、入力長の制限が固定されているため、長いドキュメントと競合する。
我々は,MhaNERコーパスで微調整された凍結NERモデルであるMahaNER-BERTを拡張した推論のみのパイプラインを導入し,リトレーニングやアーキテクチャの変更なしに1つのアノテーションにマージされたスライドウィンドウを重畳して文書レベルの予測を行う。
我々は,MhaNERテストセットから構築した6つの文書レベルのコーパスに対して,文脈連続性を維持しながら文列を複製して長さを延長する正規Repeatと,複数のスライディングウインドウ構成で3つの長めのヘテロジニアス入力を生成するRandom Repeatの2つの戦略を用いてパイプラインを評価した。
このモデルは最大0.8902のマクロF1スコアを保持しており、文書の長さや建設戦略に関わらず1パーセント以下である。
従来の非ウィンドウ方式と比較して、スライドウインドウパイプラインは、重複しないセグメンテーションによって生じる境界フラグメント誤差を回避し、より安定な文書レベルF1スコアを得る。
関連論文リスト
- A Multi-Framework Comparison of Outline Stages in Long-Form Generation with LLMs [9.826721433645526]
長文生成は、大きな言語モデルの基本的制約を明らかにする。
SuperWriterは、長さ制限付きシングルチャプタモードで最初にランク付けする。
フォローアップ実験はサンプルのサイズを拡大し、クロスモデル評価器を追加する。
論文 参考訳(メタデータ) (2026-08-13T15:44:03Z) - Improving Long-Context Retrieval with Multi-Prefix Embedding [64.08968715893504]
Multi-Prefix Embeddingは、ドキュメントをEOSトークンで区切られたチャンクに分割し、完全なシーケンスを単一の因果フォワードパスにエンコードし、各プレフィックス境界に1つの埋め込みを抽出する。
MPEはクロスチャンクコンテキストを保持し、チャンクレベルのMaxSimマッチングを可能にし、ドキュメントレベルの関連ラベルのみをトレーニングする。
論文 参考訳(メタデータ) (2026-06-22T17:31:02Z) - LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。
本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。
その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
論文 参考訳(メタデータ) (2026-06-03T06:07:33Z) - Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。
LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
論文 参考訳(メタデータ) (2026-05-26T10:10:26Z) - Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。
本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。
実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
論文 参考訳(メタデータ) (2026-05-16T07:50:13Z) - Beyond Scattered Acceptance: Fast and Coherent Inference for DLMs via Longest Stable Prefixes [10.877713536966601]
Longestahead Prefix(LSP)スケジューラは、モノリシックプレフィックスの吸収に基づく、トレーニング不要でモデルに依存しない推論パラダイムである。
LSPは1つのフォワードパスを介してトークンの安定性を評価し、安定な予測の連続した左整列ブロックを動的に識別する。
原子のコミットメントの前に、言語や構造的受容の境界を画定する。
論文 参考訳(メタデータ) (2026-03-05T18:25:26Z) - Toward General Semantic Chunking: A Discriminative Framework for Ultra-Long Documents [10.682600460180174]
長期文書トピックセグメンテーションは,情報検索や文書理解において重要な役割を担っている。
従来の識別モデルは固定ウィンドウによって制約されており、文書レベルの意味論をモデル化することはできない。
生成可能な大言語モデルは段落境界を出力することができるが、推論は高価であり、長い入力はサポートし難い。
論文 参考訳(メタデータ) (2025-12-23T16:16:51Z) - S2F-NER: Exploring Sequence-to-Forest Generation for Complex Entity
Recognition [47.714230389689064]
本研究では、フォレストデコーダを介して文中のエンティティを直接抽出できる新しいシーケンス・ツー・フォレスト生成パラダイムS2F-NERを提案する。
具体的には,各樹木の最大深度が3である森林において,各樹木の各経路を自己回帰的に生成する。
このパラダイムに基づいて、我々のモデルは露出バイアス問題をエレガントに緩和し、Seq2Seqの単純さを維持することができる。
論文 参考訳(メタデータ) (2023-10-29T09:09:10Z) - Convex Combination Consistency between Neighbors for Weakly-supervised Action Localization [26.63463867095924]
我々は、近隣住民間の凸結合一貫性(C$3$BN)という新しいWTALアプローチを提案する。
C$3$BNは、隣接するスニペット間の多様性を高めるマイクロデータ拡張戦略と、マクロ-マイクロ整合性正規化の2つの重要な要素で構成されている。
ビデオレベルとポイントレベルの監督を行うWTALの各種ベースライン上でのC$3$BNの有効性を実験的に実証した。
論文 参考訳(メタデータ) (2022-05-01T05:30:53Z) - Cluster-Former: Clustering-based Sparse Transformer for Long-Range
Dependency Encoding [90.77031668988661]
Cluster-Formerはクラスタリングベースの新しいスパーストランスであり、チャンクされたシーケンスにまたがって注意を向ける。
提案されたフレームワークは、Sliding-Window LayerとCluster-Former Layerの2つのユニークなタイプのTransformer Layerにピボットされている。
実験によると、Cluster-Formerはいくつかの主要なQAベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-09-13T22:09:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。