論文の概要: MIRA: An LLM-Assisted Benchmark for Multi-Category Integrated Retrieval
- arxiv url: http://arxiv.org/abs/2605.11254v1
- Date: Mon, 11 May 2026 21:26:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.437422
- Title: MIRA: An LLM-Assisted Benchmark for Multi-Category Integrated Retrieval
- Title（参考訳）: MIRA:マルチカテゴリ統合検索のためのLLM支援ベンチマーク
- Abstract要約: MIRAは、大規模社会科学検索プラットフォームに基づく新しいベンチマークである。
異種カテゴリーにまたがるカテゴリーを意識してランク付けするように設計されている。
4つの異なるカテゴリの学術的項目をカバーし、多面的評価を可能にする。
- 参考スコア（独自算出の注目度）: 7.510578759254574
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Users increasingly expect modern search systems to offer a unified interface that seamlessly retrieves information from diverse data sources and formats. However, current information retrieval (IR) evaluation benchmarks have not kept pace with this development, primarily due to the lack of test collections that represent the diversity of contemporary search domains. We address this critical gap with MIRA, a novel benchmark based on a large-scale social science search platform. MIRA is designed for category-aware ranking across heterogeneous categories - Publications, Research Data, Variables, and Instruments & Tools - within a single, unified evaluation framework. The proposed collection is distinctive in several ways: (1) it is built upon real user queries, providing a more realistic basis for evaluation; (2) it covers scholarly items from four distinct categories, enabling multi-faceted evaluation; and (3) it leverages a Large Language Model to generate topic descriptions and narratives, as well as for relevance assessment with respect to these topics, substantially reducing the labor and cost of test collection generation. We release this resource to benefit the community by providing a foundational testbed for the research on multi-faceted, category-aware, integrated, or cross-category information retrieval.
- Abstract（参考訳）: ユーザは、多様なデータソースやフォーマットから情報をシームレスに取得する統一されたインターフェースを、現代的な検索システムに提供することを、ますます期待している。
しかし、現在の情報検索(IR)評価ベンチマークは、現代の検索領域の多様性を表すテストコレクションが欠如していることから、この開発に追随していない。
大規模ソーシャルサイエンス検索プラットフォームに基づく新しいベンチマークであるMIRAと、この重要なギャップに対処する。
MIRAは、単一の統一された評価フレームワーク内で、異種カテゴリ(パブリケーション、リサーチデータ、変数、およびインスツルメンツ&ツール)にまたがるカテゴリを意識したランク付けのために設計されている。
提案したコレクションは,(1)実際のユーザクエリに基づいて構築され,より現実的な評価基盤を提供し,(2)4つの異なるカテゴリの学術的項目を網羅し,多面的評価を可能にし,(3)大規模言語モデルを用いてトピック記述や物語を生成するとともに,これらのトピックに対する関連性評価を行い,テストコレクション生成の労力とコストを大幅に削減する。
我々はこのリソースを,多面的,カテゴリ対応,統合的,横断的な情報検索研究のための基礎的なテストベッドを提供することで,コミュニティに利益をもたらすためにリリースする。
関連論文リスト
- Achieving Text-based Person Retrieval with Any Granularity [80.69427598925718]
本稿では、任意の粒度を持つテキストベースの人物検索という新しいパラダイムを紹介する。
5段階の粒度スペクトルを定式化し,高品質な多粒度アノテートデータセットであるUFine6926-MGを構築した。
次に、クロスモーダルな多重粒度アライニングおよびマッチングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-23T08:42:25Z) - CoverageBench: Evaluating Information Coverage across Tasks and Domains [57.33043453870487]
情報カバレッジは、特に検索システムが生成モデルと統合されている場合、検索において中心的な側面である。
Web検索における多様性ランキングの概念を中心に開発されたテストコレクションには、Webドメインにおけるカバレッジの概念をサポートする複数の側面が含まれている。
論文 参考訳（メタデータ） (2026-03-20T15:20:44Z) - GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。
深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。
主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
論文 参考訳（メタデータ） (2026-02-09T11:44:15Z) - MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering [51.19392014547221]
検索型マルチモーダル文書QAは,視覚的にリッチな文書から複雑なマルチモーダル構造を持つ関連情報を識別し,統合することを目的としている。
現在のアプローチは、サージェントなコンテンツを見渡すクエリに依存しないドキュメント表現に依存しています。
本稿では,クエリ適応生成を導入したMultimodal Adaptive Retrieval-Augmented (MARA)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-01T12:27:40Z) - SurGE: A Benchmark and Evaluation Framework for Scientific Survey Generation [37.921524136479825]
SurGE(Survey Generation Evaluation)は、コンピュータ科学における科学的サーベイ生成の新しいベンチマークである。
SurGEは,(1)トピック記述,専門家による調査,(2)100万以上の論文からなる大規模学術コーパスを含む,一連のテストインスタンスから構成される。
さらに,4次元にわたって生成した調査の質を計測する自動評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-21T15:45:10Z) - MultiConIR: Towards multi-condition Information Retrieval [38.864056667809095]
MultiConIRは、複雑なマルチ条件クエリシナリオ下での検索および再ランクモデルの評価のために設計されたベンチマークである。
ほとんどのレトリバーとリランカは、クエリの複雑さが増大するにつれて、パフォーマンスが大幅に低下する。
この研究は、リランカの性能劣化の原因を解明し、クエリ内の条件位置が類似性評価にどのように影響するかを検討する。
論文 参考訳（メタデータ） (2025-03-11T05:02:03Z) - CliniQ: A Multi-faceted Benchmark for Electronic Health Record Retrieval with Semantic Match Assessment [11.815222175336695]
我々は、このギャップに対処するために、新しい公開 EHR 検索ベンチマークである CliniQ を導入する。
我々は、MIMIC-IIIのICDコードと処方薬ラベルとともに、1000の放電サマリーノートに基づくベンチマークを構築した。
我々は,従来の正確なマッチングから一般的な高密度検索まで,さまざまな検索手法を総合的に評価する。
論文 参考訳（メタデータ） (2025-02-10T08:33:47Z) - Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。
生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。
我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
論文 参考訳（メタデータ） (2024-10-02T20:48:28Z) - BERGEN: A Benchmarking Library for Retrieval-Augmented Generation [26.158785168036662]
Retrieval-Augmented Generationは、外部知識による大規模言語モデルの拡張を可能にする。
一貫性のないベンチマークは、アプローチを比較し、パイプライン内の各コンポーネントの影響を理解する上で大きな課題となる。
本研究では,RAGを体系的に評価するための基礎となるベストプラクティスと,RAG実験を標準化した再現可能な研究用ライブラリであるBERGENについて検討する。
論文 参考訳（メタデータ） (2024-07-01T09:09:27Z) - STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。
本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。
多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
論文 参考訳（メタデータ） (2024-04-19T22:54:54Z) - GPT4Rec: A Generative Framework for Personalized Recommendation and User
Interests Interpretation [8.293646972329581]
GPT4Recは、検索エンジンにインスパイアされた、新しく柔軟な生成フレームワークである。
まず、ユーザの履歴にある項目のタイトルに関する仮説的な"検索クエリ"を生成し、これらのクエリを検索することで推奨項目を検索する。
我々のフレームワークは、2つの公開データセット上のRecall@Kにおいて、最先端のメソッドを75.7%と22.2%でパフォーマンスします。
論文 参考訳（メタデータ） (2023-04-08T00:30:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。