論文の概要: URA-NER: A Unified Retrieval-Augmented Framework with Retrieval Alignment and Uncertainty Reduction for Low-Resource NER
- arxiv url: http://arxiv.org/abs/2609.24372v1
- Date: Mon, 21 Sep 2026 10:04:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.251543
- Title: URA-NER: A Unified Retrieval-Augmented Framework with Retrieval Alignment and Uncertainty Reduction for Low-Resource NER
- Title(参考訳): URA-NER: 低リソースNERにおける検索アライメントと不確実性低減を備えた統一検索拡張フレームワーク
- Abstract要約: 大規模言語モデル(LLM)に基づくコンテキスト内学習は、パフォーマンスボトルネックを軽減する上で有望な可能性を示している。
既存の手法はいまだに検索ミスや生成の不確実性の問題に直面している。
本稿では,3つの鍵成分を含む新しい統合検索拡張フレームワークURA-NERを提案する。
- 参考スコア(独自算出の注目度): 16.791824164877145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-context learning (ICL) based on large language models (LLMs) has shown promising potential in alleviating performance bottlenecks caused by the limited availability of annotated data in Named Entity Recognition (NER). However, existing methods still face issues of retrieval misalignment and generation uncertainty, making their performance heavily dependent on the LLM's capabilities. As the parameter scale of LLMs decreases, their performance in few-shot settings deteriorates significantly. In this paper, we propose a novel unified retrieval-augmented framework, URA-NER, including three key components: Progressive Granularity Retrieval (PGR), Model-aware Representation Enhancement (MaRE), and Reason-aware Knowledge Verification. PGR is a two-stage retrieval mechanism that achieves stage alignment. It first retrieves demonstrations for span detection based on the query's global semantics, and then for type classification based on the specific entity context, providing fine-grained local information. Moreover, MaRE employs entity pre-recognition to guide the construction of representations, ensuring the query and demonstrations are aligned within the LLM's semantic space and attention pattern. In addition, to mitigate generation uncertainty, we propose RaKV, a closed-loop "generation-retrieval-verification" process. It explicates the LLM's reasoning paths, leverages them for the retrieval of external knowledge, and reorganizes the knowledge into verification evidence aligned with the original reasoning paths. We conduct extensive experiments on multiple low-resource NER datasets. Results demonstrate that URA-NER significantly enhances the performance of LLMs under low-resource settings, with particularly pronounced gains for smaller LLMs, achieving new state-of-the-art results on several benchmarks.
- Abstract(参考訳): 大規模言語モデル(LLM)に基づくインコンテキスト学習(ICL)は、名前付きエンティティ認識(NER)におけるアノテーション付きデータの可用性の制限によるパフォーマンスボトルネックを軽減する上で有望な可能性を示している。
しかし、既存の手法は依然として検索ミスや生成の不確実性の問題に直面しており、その性能はLLMの能力に大きく依存している。
LLMのパラメータスケールが小さくなるにつれて、数ショット設定での性能は著しく低下する。
本稿では,PGR(Progressive Granularity Retrieval),MRE(Model-Aware Representation Enhancement),Reason-Aware Knowledge Verification(Reason-Aware Knowledge Verification)の3つの主要なコンポーネントを含む,新しい統合検索拡張フレームワークであるURA-NERを提案する。
PGRはステージアライメントを実現する2段階の検索機構である。
まず、クエリのグローバルなセマンティクスに基づいてスパン検出のデモを取得し、次に特定のエンティティコンテキストに基づいて型分類を行い、きめ細かいローカル情報を提供する。
さらに、MREはエンティティ事前認識を使用して表現の構築をガイドし、クエリとデモがLLMのセマンティックスペースとアテンションパターン内に整列されることを保証する。
さらに、生成の不確実性を緩和するために、閉ループ「世代検索検証」プロセスであるRakVを提案する。
LLMの推論経路を解明し、それらを外部知識の検索に利用し、元の推論経路に沿った検証証拠に再編成する。
我々は、複数の低リソースのNERデータセットについて広範な実験を行う。
その結果,URA-NERは低リソース環境下でのLLMの性能を著しく向上させ,特に小型のLLMでは顕著に向上し,いくつかのベンチマークで新たな最先端結果が得られた。
関連論文リスト
- Scaling Performance and Low-Resource Annotation with Many-Shot In-Context Learning for Named Entity Recognition [52.07624601400713]
大規模言語モデル(LLM)を用いたインコンテキスト学習(ICL)は、名前付きエンティティ認識(NER)のための微調整の強力な代替手段として登場した。
我々は,NER 用多ショット ICL の包括的調査を行い,低リソース NER タスクのアノテートおよび精細化におけるその有効性について検討する。
実験では, 1) 数百のインコンテキスト例へのスケーリングにより, LLM が完全教師付きBERT モデルの性能にマッチしたり,さらに超えたりすることができること,(2) 約 100 人のラベル付きサンプルをデモとして使用することにより,マルチショットインコンテキストアノテーションが高品質なラベル付きラベルを生成可能であること,などが実証された。
論文 参考訳(メタデータ) (2026-06-20T05:39:59Z) - Latent Abstraction for Retrieval-Augmented Generation [4.6096940605642915]
既存のシステムは各ホップで自然言語クエリを生成することに依存している。
我々は,単一のLLMが符号化,検索,生成を同時に行う統一的なフレームワークである textbfLAnR (Latent Abstraction for RAG) を提案する。
論文 参考訳(メタデータ) (2026-04-20T06:26:13Z) - GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。
抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。
提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
論文 参考訳(メタデータ) (2025-09-20T02:38:00Z) - RADIANT: Retrieval AugmenteD entIty-context AligNmenT -- Introducing RAG-ability and Entity-Context Divergence [18.268335797537983]
Retrieval-Augmented Generation (RAG) は、外部知識を生成プロセスに統合することにより、事実の精度を高める技術である。
本稿では,得られた証拠と生成されたコンテンツとの相互作用を最適化するために,RAGとアライメントを組み合わせたフレームワークであるRadiantを紹介する。
論文 参考訳(メタデータ) (2025-06-28T21:40:35Z) - Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
Instruct-LFはゴール指向の潜在因子発見システムである。
命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
論文 参考訳(メタデータ) (2025-02-21T02:03:08Z) - Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。
検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。
生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
論文 参考訳(メタデータ) (2024-11-11T14:25:37Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2023-10-17T18:18:32Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。