論文の概要: Just Pass Twice: Efficient Token Classification with LLMs for Zero-Shot NER

• arxiv url: http://arxiv.org/abs/2604.05158v1
• Date: Mon, 06 Apr 2026 20:39:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.481452
• Title: Just Pass Twice: Efficient Token Classification with LLMs for Zero-Shot NER
• Title（参考訳）: Just Pass Twice: Zero-Shot NER のための LLM を用いた効率的なトークン分類
• Authors: Ahmed Ewais, Ahmed Hashish, Amr Ali,
• Abstract要約: 大規模言語モデルは、ゼロショットのエンティティ認識に有用な広範な世界知識を符号化する。 JPT(Just Pass Twice)は、因果LLMが完全な双方向コンテキストで識別トークン分類を行うことができる簡易かつ効果的な手法である。 提案手法はゼロショットNERベンチマークの最先端結果を達成し,CrossNERベンチマークとMITベンチマークの平均で,従来のベストメソッドを+7.9 F1で上回り,同等のジェネレーティブメソッドよりも20倍以上高速である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models encode extensive world knowledge valuable for zero-shot named entity recognition. However, their causal attention mechanism, where tokens attend only to preceding context, prevents effective token classification when disambiguation requires future context. Existing approaches use LLMs generatively, prompting them to list entities or produce structured outputs, but suffer from slow autoregressive decoding, hallucinated entities, and formatting errors. We propose Just Pass Twice (JPT), a simple yet effective method that enables causal LLMs to perform discriminative token classification with full bidirectional context. Our key insight is that concatenating the input to itself lets each token in the second pass attend to the complete sentence, requiring no architectural modifications. We combine these representations with definition-guided entity embeddings for flexible zero-shot generalization. Our approach achieves state-of-the-art results on zero-shot NER benchmarks, surpassing the previous best method by +7.9 F1 on average across CrossNER and MIT benchmarks, being over 20x faster than comparable generative methods.
• Abstract（参考訳）: 大規模言語モデルは、ゼロショットのエンティティ認識に有用な広範な世界知識を符号化する。 しかし、トークンが先行する文脈にのみ出席する因果的注意機構は、曖昧さが将来の文脈を必要とする場合、効果的なトークン分類を阻害する。 既存のアプローチでは、LCMを生成的に使用し、エンティティをリストアップしたり、構造化された出力を生成するように促すが、遅い自己回帰的復号、幻覚的エンティティ、フォーマットエラーに悩まされる。 JPT(Just Pass Twice)は、因果LLMが完全な双方向コンテキストで識別トークン分類を行うことができる簡易かつ効果的な手法である。 私たちのキーとなる洞察は、入力をそれ自体に連結することで、第2のトークンは、アーキテクチャの変更を必要とせず、完全な文に出席することができます。 これらの表現を定義誘導型エンティティ埋め込みと組み合わせて、フレキシブルゼロショット一般化を行う。 提案手法はゼロショットNERベンチマークの最先端結果を達成し,CrossNERベンチマークとMITベンチマークの合計で,従来のベストメソッドを+7.9 F1で上回り,比較可能な生成手法よりも20倍以上高速である。

関連論文リスト

• On Discriminative vs. Generative classifiers: Rethinking MLLMs for Action Understanding [53.55135022958052]
  閉集合行動理解のためのGAD(Generation-Assisted Discriminative Discriminative)を提案する。 GADは微調整時にのみ動作し、MLLMの事前訓練と完全な互換性を保つ。 時間的行動理解ベンチマークの実験により、GADは生成法よりも精度と効率を向上することが示された。
  論文  参考訳（メタデータ） (2026-03-03T03:02:01Z)
• SALSA: Single-pass Autoregressive LLM Structured Classification [1.9371675344367494]
  本稿では,構造化プロンプト,クラスツーツーケンマッピング,パラメータ効率の高い微調整を組み合わせたコヒーレントパイプラインであるSALSAを紹介する。 推論中、モデルの出力は関連するクラストークンのロジットにのみ投影され、単一のフォワードパスにおける効率的かつ正確な分類を可能にする。
  論文  参考訳（メタデータ） (2025-10-26T14:28:42Z)
• Causal2Vec: Improving Decoder-only LLMs as Versatile Embedding Models [22.02568434890804]
  Causal2Vecはデコーダのみの大規模言語モデルの性能を高めるために設計された汎用埋め込みモデルである。 まず、入力テキストを単一のコンテキストトークンにプリエンコードするために、軽量のBERTスタイルのモデルを使用します。 最後に,最後のテキスト埋め込みとしてコンテキストトークンとEOSトークンの隠れ状態を導入した。
  論文  参考訳（メタデータ） (2025-07-31T10:01:11Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Order-agnostic Identifier for Large Language Model-based Generative Recommendation [94.37662915542603]
  アイテムは、ユーザ履歴をエンコードし、次のアイテムを生成するために、LLM(Large Language Models)の識別子に割り当てられる。 既存のアプローチでは、トークンシーケンス識別子を使用して、アイテムを個別のトークンシーケンスとして表現するか、IDまたはセマンティック埋め込みを使用して単一トークン識別子を使用する。 本稿では,セマンティック・トークンライザを利用するSETRecを提案する。
  論文  参考訳（メタデータ） (2025-02-15T15:25:38Z)
• Enhancing Item Tokenization for Generative Recommendation through Self-Improvement [67.94240423434944]
  生成レコメンデーションシステムは大規模言語モデル(LLM)によって駆動される 現在のアイテムトークン化手法には、テキスト記述、数値文字列、離散トークンのシーケンスの使用が含まれる。 自己改善アイテムトークン化手法を提案し,LLMがトレーニングプロセス中に独自のアイテムトークン化を洗練できるようにする。
  論文  参考訳（メタデータ） (2024-12-22T21:56:15Z)
• ReverseNER: A Self-Generated Example-Driven Framework for Zero-Shot Named Entity Recognition with Large Language Models [9.886819209498514]
  ReverseNERは、ゼロショット名のエンティティ認識タスクにおいて、大きな言語モデルの制限を克服することを目的とした手法である。 NERの逆プロセスを通じて生成される数十のエンティティラベル付き文からなるサンプルライブラリを生成する。 LLMを用いたNER性能向上のためのエンティティレベルの自己整合性スコアリング機構を提案する。
  論文  参考訳（メタデータ） (2024-11-01T12:08:08Z)
• RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
  MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。 本稿では,MLLMの検索とランク付けのための拡張手法を提案する。 提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
  論文  参考訳（メタデータ） (2024-03-20T17:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。