論文の概要: REGENT: Relevance-Guided Attention for Entity-Aware Multi-Vector Neural Re-Ranking
- arxiv url: http://arxiv.org/abs/2510.11592v1
- Date: Mon, 13 Oct 2025 16:31:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 18:06:30.458151
- Title: REGENT: Relevance-Guided Attention for Entity-Aware Multi-Vector Neural Re-Ranking
- Title(参考訳): REGENT:Entity-Aware Multi-Vector Neural Re-Rankingにおける関連誘導型注意
- Authors: Shubham Chatterjee,
- Abstract要約: 現在のニューラルリランカは、複雑な情報要求と、長くコンテンツに富んだドキュメントに悩まされることが多い。
本稿では,人体を「意味骨格」として用い,人間のような理解を模倣した神経再分類モデルREGENTを紹介する。
- 参考スコア(独自算出の注目度): 5.279475826661643
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Current neural re-rankers often struggle with complex information needs and long, content-rich documents. The fundamental issue is not computational--it is intelligent content selection: identifying what matters in lengthy, multi-faceted texts. While humans naturally anchor their understanding around key entities and concepts, neural models process text within rigid token windows, treating all interactions as equally important and missing critical semantic signals. We introduce REGENT, a neural re-ranking model that mimics human-like understanding by using entities as a "semantic skeleton" to guide attention. REGENT integrates relevance guidance directly into the attention mechanism, combining fine-grained lexical matching with high-level semantic reasoning. This relevance-guided attention enables the model to focus on conceptually important content while maintaining sensitivity to precise term matches. REGENT achieves new state-of-the-art performance in three challenging datasets, providing up to 108% improvement over BM25 and consistently outperforming strong baselines including ColBERT and RankVicuna. To our knowledge, this is the first work to successfully integrate entity semantics directly into neural attention, establishing a new paradigm for entity-aware information retrieval.
- Abstract(参考訳): 現在のニューラルリランカは、複雑な情報要求と、長くコンテンツに富んだドキュメントに悩まされることが多い。
基本的な問題は、計算ではなく、インテリジェントなコンテンツ選択である。
人間は、キーエンティティや概念に関する理解を自然に保ちますが、ニューラルネットワークは厳密なトークンウィンドウ内でテキストを処理し、すべてのインタラクションを同様に重要で重要なセマンティックな信号として扱います。
本稿では,人体を「意味骨格」として用い,人間のような理解を模倣した神経再分類モデルREGENTを紹介する。
REGENTは、関連ガイダンスを直接アテンションメカニズムに統合し、詳細な語彙マッチングと高レベルのセマンティック推論を組み合わせる。
この関連性誘導型アテンションにより、モデルが正確な項一致に対する感度を維持しながら、概念上重要な内容に焦点を合わせることができる。
REGENTは3つの挑戦的なデータセットで新たな最先端のパフォーマンスを実現し、BM25よりも最大108%向上し、ColBERTやRanVicunaなど強力なベースラインを一貫して上回っている。
我々の知る限り、これはエンティティセマンティクスを直接神経の注意に組み込むことに成功し、エンティティ認識情報検索の新しいパラダイムを確立する最初の試みである。
関連論文リスト
- Mechanistic understanding and validation of large AI models with SemanticLens [13.712668314238082]
航空機のような人間工学的なシステムとは異なり、AIモデルの内部動作はほとんど不透明である。
本稿では、コンポーネントによって符号化された隠れた知識をマッピングするニューラルネットワークの普遍的説明法であるSemanticLensを紹介する。
論文 参考訳(メタデータ) (2025-01-09T17:47:34Z) - Core Context Aware Transformers for Long Context Language Modeling [50.774702091154204]
高速な長文モデリングのためのCCAアテンションを提案する。
本手法は,学習過程における冗長性を低下させながら,コアコンテキストに自動的に焦点を合わせ,強化する。
提案手法は,既存の大規模言語モデルにおける自己注意モジュールを最小限の微調整コストで置き換えることができる。
論文 参考訳(メタデータ) (2024-12-17T01:54:08Z) - SDR-GNN: Spectral Domain Reconstruction Graph Neural Network for Incomplete Multimodal Learning in Conversational Emotion Recognition [14.645598552036908]
会話におけるマルチモーダル感情認識(MERC)は、テキスト、聴覚、視覚的モーダル特徴を用いて発話感情を分類することを目的としている。
既存のMERC手法の多くは、それぞれの発話が完全なモーダル性を持っていると仮定し、現実世界のシナリオにおける不完全モーダル性の一般的な問題を見越している。
会話感情認識における不完全なマルチモーダル学習のためのスペクトル領域再構成グラフニューラルネットワーク(SDR-GNN)を提案する。
論文 参考訳(メタデータ) (2024-11-29T16:31:50Z) - Disentangling Learnable and Memorizable Data via Contrastive Learning
for Semantic Communications [81.10703519117465]
セマンティック・レディにするために、ソースデータをアンタングルする新しい機械推論フレームワークが提案されている。
特に、データ上でインスタンスとクラスタの識別を行う新しいコントラスト学習フレームワークが提案されている。
信頼度の高い深いセマンティッククラスタは、学習可能でセマンティックリッチなデータだと考えられている。
シミュレーションの結果は, セマンティック・インパクトとミニマリズムの観点から, コントラスト学習アプローチの優位性を示した。
論文 参考訳(メタデータ) (2022-12-18T12:00:12Z) - SR-GNN: Spatial Relation-aware Graph Neural Network for Fine-Grained
Image Categorization [24.286426387100423]
本稿では,最も関連性の高い画像領域からコンテキスト認識機能を集約することで,微妙な変化を捉える手法を提案する。
我々のアプローチは、近年の自己注意とグラフニューラルネットワーク(GNN)の発展にインスパイアされている。
これは、認識精度のかなりの差で最先端のアプローチよりも優れている。
論文 参考訳(メタデータ) (2022-09-05T19:43:15Z) - Neuro-Symbolic Artificial Intelligence (AI) for Intent based Semantic
Communication [85.06664206117088]
6Gネットワークはデータ転送のセマンティクスと有効性(エンドユーザ)を考慮する必要がある。
観測データの背後にある因果構造を学習するための柱としてNeSy AIが提案されている。
GFlowNetは、無線システムにおいて初めて活用され、データを生成する確率構造を学ぶ。
論文 参考訳(メタデータ) (2022-05-22T07:11:57Z) - RelViT: Concept-guided Vision Transformer for Visual Relational
Reasoning [139.0548263507796]
私たちは視覚推論のベースモデルとして視覚変換器(ViT)を使用します。
我々は、ViTの推論能力を改善するために、オブジェクトエンティティとして定義された概念とその関係をよりよく活用する。
HICO と GQA のベンチマークでは,提案モデルである概念誘導型視覚変換器 (略して RelViT ) が従来の手法よりも大幅に優れていたことを示す。
論文 参考訳(メタデータ) (2022-04-24T02:46:43Z) - Neural Data-to-Text Generation via Jointly Learning the Segmentation and
Correspondence [48.765579605145454]
対象のテキストを断片単位に明示的に分割し,それらのデータ対応と整合させることを提案する。
結果として生じるアーキテクチャは、ニューラルアテンションモデルと同じ表現力を維持している。
E2EとWebNLGのベンチマークでは、提案モデルがニューラルアテンションよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2020-05-03T14:28:28Z) - Probing Linguistic Features of Sentence-Level Representations in Neural
Relation Extraction [80.38130122127882]
ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。
私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。
アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
論文 参考訳(メタデータ) (2020-04-17T09:17:40Z) - Short Text Classification via Knowledge powered Attention with
Similarity Matrix based CNN [6.6723692875904375]
本稿では,類似度行列に基づく畳み込みニューラルネットワーク(KASM)モデルを用いた知識駆動型アテンションを提案する。
我々は知識グラフ(KG)を用いて短文の意味表現を強化する。
知識の重要性を測定するために,重要な情報を選択するための注意機構を導入する。
論文 参考訳(メタデータ) (2020-02-09T12:08:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。