論文の概要: SPECTRA: Synthetic IR Test Collections with Relevance Oracles and Controlled Distractor Diagnostics

• arxiv url: http://arxiv.org/abs/2605.31575v1
• Date: Fri, 29 May 2026 17:44:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.775858
• Title: SPECTRA: Synthetic IR Test Collections with Relevance Oracles and Controlled Distractor Diagnostics
• Title（参考訳）: SPECTRA:Relevance Oracles and Controlled Distractor Diagnosticsを用いた合成IRテストコレクション
• Abstract要約: 本稿では,合成テキストコーパスと検索テストコレクションを生成するための再現可能なフレームワークであるSPECTRAを紹介する。 シングルプロセスのPythonプロトタイプは、最大6万のドキュメントと9.61万のトークンをコーパス生成し、制御可能な長尾語彙の成長を保存する。 その結果,軽量合成コーパスは,コストのかかるコレクション構築を開始する前に,検索システムスケーリングと障害モードを公開することができることがわかった。
• 参考スコア（独自算出の注目度）: 0.8557392136621891
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scalable information retrieval testing needs corpora that are large enough to stress index construction, ranking latency, query routing, and evaluation tooling, yet human-judged test collections remain expensive and may be unavailable when documents are private or still under design. This paper introduces SPECTRA, a reproducible framework for generating synthetic text corpora and retrieval test collections through a separation of latent topical structure, surface text realization, metadata controls, query intent generation, and deterministic relevance oracles. The framework is intended as a diagnostic complement to Cranfield-style and TREC-style evaluation, not as a replacement for human assessment. A single-process Python prototype generated corpora up to 60,000 documents and 9.61 million tokens while preserving controllable long-tail vocabulary growth and producing graded relevance labels for 96 queries. In the local simulation study, generation remained close to linear at roughly 12K to 14K documents per second, estimated Zipf slopes stayed near 0.86 in absolute value, and increasing cross-topic distractor text reduced BM25 nDCG@10 from 1.00 at 2% distractors to 0.43 at 36% distractors. These results show that lightweight synthetic corpora can expose retrieval-system scaling and failure modes before costly collection construction begins.
• Abstract（参考訳）: スケーラブルな情報検索テストには、インデックスの構築、ランキング待ち時間、クエリルーティング、評価ツールに重点を置くのに十分な大きさのコーパスが必要である。 本稿では, 合成テキストコーパスと検索テストコレクションを生成するための再現可能なフレームワークであるSPECTRAを紹介し, 潜時的な話題構造, 表面テキスト実現, メタデータ制御, クエリインテント生成, 決定論的関連性オーラクルの分離による。 このフレームワークは、人間の評価の代替としてではなく、クランフィールドスタイルとTRECスタイルの評価の診断補完として意図されている。 シングルプロセスのPythonプロトタイプは、最大6万のドキュメントと9.61万のトークンをコーパス生成し、制御可能な長尾語彙の成長を保持し、96クエリのグレードされた関連ラベルを生成した。 局所シミュレーションでは、生成は1秒あたり約12Kから14Kの文書に近づき、Zipfの傾きは絶対値0.86に近かった。 これらの結果から,軽量合成コーパスは,コストのかかるコレクション構築開始前に,検索システムスケーリングと障害モードを公開することができることがわかった。

関連論文リスト

• Sketch2Inspire: Structure-Sensitive Evaluation for Product Retrieval [2.7074235008521246]
  我々は、Amazon Berkeley Objectsのキュレートされたサブセットから構築されたSketch2Inspireを紹介します。 リソースは、構造に敏感なカテゴリ内検索から幅広いカテゴリレベルの検索を分離し、キャリブレーションのためのヒトグレード参照プロトコルを含む。
  論文  参考訳（メタデータ） (2026-08-29T16:52:25Z)
• Spark-to-Paper: End-to-End Research Paper Generation as a Composable Skill [8.917367808177904]
  本稿では,既存のコーディングアシスタント内の13種類の構成可能なスキルとして実装された,エンドツーエンドの研究論文生成システムSpark-to-Paperを紹介する。 実験計画と報告を分離し、結果が観察される前に必要な証拠が特定され、測定結果に応じて原稿クレームが修正される。 8つの制御された研究トピックの中で、Spark-to-Paperは99.5%の引用妥当性と96.4%の数値編集性を達成した。
  論文  参考訳（メタデータ） (2026-08-12T11:11:07Z)
• Guardian Crawler: Retrieval-First Knowledge Discovery with Bounded LLM Augmentation for Noisy Web Intelligence [0.688204255655161]
  本稿では, 合成ウェブ型コーパスに対する知識発見とエビデンスに基づく要約に関する制御実験のための再現可能な検索ファーストテストベッドであるGuardianを提案する。 このアーキテクチャは、BM25検索とリスク認識、埋め込み強化、ハイブリッドリランクを組み合わせ、制約付き文書検索拡張生成と明示的な引用を併用する。
  論文  参考訳（メタデータ） (2026-08-10T01:28:11Z)
• Automated sign detection across the Electronic Babylonian Library: A large-scale dataset and end-to-end cuneiform OCR pipeline [0.8481798330936975]
  これまでで最大の注釈付きcuneiform signデータセットを使用し、Deformable Detection Transformer(DETR)ベースのオブジェクト検出モデルを評価する。 提案システムでは, 自動タブレット側抽出, ライングルーピング, n-gram によるテキスト類似性評価と, 視覚的手話検出とテキスト構造を統合した。 推測では、Electronic Babylonian Library (eBL) コーパスの87,668個のタブレットフラグメントに適用され、約290万のサイン検出が可能である。
  論文  参考訳（メタデータ） (2026-06-21T17:31:05Z)
• STCALIR: Semi-Synthetic Test Collection for Algerian Legal Information Retrieval [0.0]
  本稿では,生の法的文書から直接テストコレクションを生成するためのフレームワークであるSTCALIRを提案する。 パイプラインはクランフィールドのパラダイムに従い、トピック、コーパス、関連判断のコアコンポーネントを維持している。 我々は、Mr. TyDiベンチマークを用いて、STCALIRを検証し、その結果の半合成関連性判定が、人間による注釈付き評価に匹敵する精度を得ることを示した。
  論文  参考訳（メタデータ） (2026-04-01T10:50:28Z)
• Graph-Aware Late Chunking for Retrieval-Augmented Generation in Biomedical Literature [0.0]
  GraLC-RAGは、グラフ認識構造インテリジェンスと遅延チャンキングを統合するフレームワークである。 2,359 IMRaD-filtered Centralの項目に対して,2,033の横断質問を用いた6つの戦略を評価する。
  論文  参考訳（メタデータ） (2026-03-23T23:22:58Z)
• Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
  Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。 我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。 本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
  論文  参考訳（メタデータ） (2026-03-09T18:20:20Z)
• CorpusQA: A 10 Million Token Benchmark for Corpus-Level Analysis and Reasoning [48.56088080889236]
  我々は、新しいデータ合成フレームワークによって生成された1000万のトークンをスケーリングする新しいベンチマークであるCorpusQAを紹介した。 合成データの微調整はLLMの一般的な長文推論能力を効果的に向上させることを示す。 メモリ拡張型エージェントアーキテクチャは,より堅牢な代替手段であることを示す。
  論文  参考訳（メタデータ） (2026-01-21T12:52:30Z)
• Fixturize: Bridging the Fixture Gap in Test Generation [31.82935387488973]
  Fixturizeは、フィクスチャに依存した機能を積極的に識別する診断フレームワークである。 反復的なフィードバック駆動プロセスを通じてテストフィクスチャを合成する。
  論文  参考訳（メタデータ） (2026-01-10T16:47:32Z)
• DeepSynth-Eval: Objectively Evaluating Information Consolidation in Deep Survey Writing [53.85037373860246]
  本稿では,情報統合能力を客観的に評価するためのベンチマークであるDeep Synth-Evalを紹介する。 一般チェックリスト(実例)と制約チェックリスト(構造体)を用いたきめ細かい評価プロトコルを提案する。 その結果,エージェント型プラン・アンド・ライトは単ターン生成よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2026-01-07T03:07:52Z)
• HySemRAG: A Hybrid Semantic Retrieval-Augmented Generation Framework for Automated Literature Synthesis and Methodological Gap Analysis [55.2480439325792]
  HySemRAGは、Extract, Transform, Load (ETL)パイプラインとRetrieval-Augmented Generation (RAG)を組み合わせたフレームワークである。 システムは、マルチ層アプローチを通じて既存のRAGアーキテクチャの制限に対処する。
  論文  参考訳（メタデータ） (2025-08-01T20:30:42Z)
• CROC: Evaluating and Training T2I Metrics with Pseudo- and Human-Labeled Contrastive Robustness Checks [46.89839054706183]
  CROC(Contrastive Robustness Checks)を提案する。 我々は100万以上の対照的なプロンプトイメージ対の擬似ラベル付きデータセットを生成する。 また、このデータセットを使ってCROCScoreをトレーニングしています。
  論文  参考訳（メタデータ） (2025-05-16T14:39:44Z)
• A document processing pipeline for the construction of a dataset for topic modeling based on the judgments of the Italian Supreme Court [5.612141846711729]
  トピックモデリングに最適化された匿名化データセットを生成する文書処理パイプラインを開発した。 パイプラインは文書レイアウト解析(YOLOv8x)、光学文字認識、テキスト匿名化を統合している。 OCRのみの手法と比較して,多様性スコア0.6198,コヒーレンススコア0.6638でトピックモデリングを改善した。
  論文  参考訳（メタデータ） (2025-05-13T11:06:24Z)
• INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained Feedback [80.57617091714448]
  テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。 LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:22Z)
• How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
  各種コーパス尺度における生成的検索手法の実証的研究を行った。 我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。 生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
  論文  参考訳（メタデータ） (2023-05-19T17:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。