論文の概要: Entities as Retrieval Signals: A Systematic Study of Coverage, Supervision, and Evaluation in Entity-Oriented Ranking

• arxiv url: http://arxiv.org/abs/2604.05204v1
• Date: Mon, 06 Apr 2026 22:02:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.50804
• Title: Entities as Retrieval Signals: A Systematic Study of Coverage, Supervision, and Evaluation in Entity-Oriented Ranking
• Title（参考訳）: 検索信号としてのエンティティ:エンティティ指向ランキングにおけるカバー,スーパービジョン,評価の体系的研究
• Authors: Shubham Chatterjee,
• Abstract要約: 6つの神経リランカと437個の非教師なし構成をBM25に対して評価した。 443のシステム全体では、MAPが0.05以上改善されることはない。
• 参考スコア（独自算出の注目度）: 5.279475826661643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Entity-oriented retrieval assumes that relevant documents exhibit query-relevant entities, yet evaluations report conflicting results. We show this inconsistency stems not from model failure, but from evaluation. On TREC Robust04, we evaluate six neural rerankers and 437 unsupervised configurations against BM25. Across 443 systems, none improves MAP by more than 0.05 under open-world evaluation over the full candidate set, despite strong gains under entity-restricted settings. The best configuration matches the official Robust04 best system and outperforms most neural rerankers, indicating that the architecture is not the limiting factor. Instead, the bottleneck is the entity channel: even under idealized selection, entity signals cover only 19.7\% of relevant documents, and no method achieves both high coverage and discrimination. We explain this via a distinction between Conceptual Entity Relevance (CER) -- semantic relatedness -- and Observable Entity Relevance (OER) -- corpus-grounded discriminativeness under a given linker. All supervision strategies operate at the CER level and ignore the linking environment, leading to signals that are semantically valid but not discriminative. Improving supervision therefore does not recover open-world performance: stronger signals reduce coverage without improving effectiveness. Conditional and open-world evaluation answer different questions: exploiting entity evidence versus improving retrieval under realistic linking, but are often conflated. Progress requires datasets with entity-level discriminativeness and evaluation that reports both coverage and effectiveness. Until then, conditional gains do not imply open-world effectiveness, and open-world failures do not invalidate entity-based models.
• Abstract（参考訳）: エンティティ指向の検索は、関連するドキュメントがクエリ関連エンティティを示すと仮定するが、評価は矛盾する結果を報告する。 この矛盾は、モデル失敗ではなく、評価によるものであることを示す。 TREC Robust04では、6つの神経リランカーと437個の非教師なし構成をBM25に対して評価した。 443システム全体では、完全な候補セットに対するオープンワールド評価の下でMAPが0.05以上改善されることはない。 最高の構成は公式のRobust04のベストシステムと一致し、ほとんどのニューラルリランカーより優れており、アーキテクチャが制限要因ではないことを示している。 理想的な選択の下でも、エンティティ信号は関連文書の19.7 %しかカバーせず、高いカバレッジと差別の両方を達成する方法は存在しない。 概念的エンティティ関連性(CER) -- 意味的関連性 -- と観測可能エンティティ関連性(OER) -- コーパス基底の識別性(corpus-grounded discriminativeness) -- を所定のリンカの下で区別することで、これを説明します。 全ての監視戦略はCERレベルで動作し、リンク環境を無視し、意味論的に有効だが差別的でないシグナルにつながる。 したがって、監督を改善することは、オープンワールドのパフォーマンスを回復させるものではない。 条件付きおよびオープンワールド評価は、実体証拠を利用するか、現実的なリンク下での検索を改善するかという、異なる疑問に答えるが、しばしば混同される。 プログレスには、エンティティレベルの識別性と、カバレッジと有効性の両方を報告する評価を備えたデータセットが必要である。 それまで、条件付きゲインはオープンワールドの有効性を示唆せず、オープンワールドの失敗はエンティティベースのモデルを無効にしない。

関連論文リスト

• Better than Average: Spatially-Aware Aggregation of Segmentation Uncertainty Improves Downstream Performance [5.331671515360591]
  不確実性定量化(UQ)は、バイオメディカル画像分析や自律運転といった安全上重要な領域における自動画像分割の信頼性を確保するために重要である。 セグメンテーションでは、UQは、アウト・オブ・ディストリビューション(OoD)や障害検出といった下流タスクのために、画像レベルスコアに集約されなければならないピクセル単位の不確実性スコアを生成する。 集約戦略の日常的な使用にもかかわらず、その特性と下流タスクのパフォーマンスへの影響は、まだ包括的に研究されていない。
  論文  参考訳（メタデータ） (2026-03-31T16:15:26Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
  我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。 これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。 本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-29T08:48:00Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• Theoretical Insights in Model Inversion Robustness and Conditional Entropy Maximization for Collaborative Inference Systems [89.35169042718739]
  協調推論により、クラウドサーバに機密データを公開することなく、エンドユーザは強力なディープラーニングモデルを活用することができる。 近年の研究では、これらの中間機能は、情報が漏洩し、生データをモデル反転攻撃(MIA)によって再構築できるため、プライバシーを十分に保持できないことが判明している。 この研究はまず、与えられた中間特徴の入力の条件エントロピーが、任意のMIAの下での再構成平均二乗誤差(MSE)の保証された下界を与えることを理論的に証明する。 そして、ガウス混合推定に基づいて、この条件付きエントロピーを有界化するための微分可能かつ可解な尺度を導出し、逆ロバスト性を高める条件付きエントロピーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-01T07:15:21Z)
• OCDB: Revisiting Causal Discovery with a Comprehensive Benchmark and Evaluation Framework [21.87740178652843]
  因果発見は透明性と信頼性を改善するための有望なアプローチを提供する。 本稿では,因果構造と因果効果の違いを評価するための指標を用いたフレキシブルな評価フレームワークを提案する。 実データに基づくOpen Causal Discovery Benchmark (OCDB)を導入し、公正な比較を促進し、アルゴリズムの最適化を促進する。
  論文  参考訳（メタデータ） (2024-06-07T03:09:22Z)
• Enhancing Fairness in Unsupervised Graph Anomaly Detection through Disentanglement [33.565252991113766]
  グラフ異常検出(GAD)は、金融詐欺検出から偽ニュース検出まで、さまざまなアプリケーションにおいてますます重要になっている。 現在のGAD法は主に公平性の問題を見落としており、特定の人口集団に対して差別的な決定が下される可能性がある。 DeFENDという属性グラフ上に,DisEntangle-based FairnEss-aware aNomaly Detectionフレームワークを考案した。 実世界のデータセットに対する実証的な評価から、DEFENDはGADにおいて効果的に機能し、最先端のベースラインと比較して公正性を著しく向上することが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-03T04:48:45Z)
• Higher Performance Visual Tracking with Dual-Modal Localization [106.91097443275035]
  Visual Object Tracking (VOT)は、堅牢性と正確性の両方に同期性を必要とする。 ONRによるロバストなローカリゼーション抑制器とOFCによるターゲットセンターへの正確なローカリゼーションにより、ターゲットローカリゼーションのためのデュアルモーダルフレームワークを提案します。
  論文  参考訳（メタデータ） (2021-03-18T08:47:56Z)
• Towards Entity Alignment in the Open World: An Unsupervised Approach [29.337157862514204]
  これは知識のカバレッジと品質を高めるために知識グラフ(kgs)を統合する上で重要なステップである。 最先端のソリューションは、モデルトレーニングにラベル付きデータに頼る傾向があります。 オープンな世界でエンティティアライメントを行う監視されていないフレームワークを提供します。
  論文  参考訳（メタデータ） (2021-01-26T03:10:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。