論文の概要: Caraman at SemEval-2026 Task 8: Three-Stage Multi-Turn Retrieval with Query Rewriting, Hybrid Search, and Cross-Encoder Reranking
- arxiv url: http://arxiv.org/abs/2605.12028v1
- Date: Tue, 12 May 2026 12:13:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.848918
- Title: Caraman at SemEval-2026 Task 8: Three-Stage Multi-Turn Retrieval with Query Rewriting, Hybrid Search, and Cross-Encoder Reranking
- Title（参考訳）: Caraman at SemEval-2026 Task 8: クエリリライト、ハイブリッド検索、クロスエンコーダリグレードを備えた3段階マルチターン検索
- Authors: David-Maximilian Caraman, Gheorghe Cosmin Silaghi,
- Abstract要約: 本稿では,SemEval-2026 Task 8 (MTRAGEval) を4つの英語ドメインにまたがるタスクA (Retrieval) に参加するシステムについて述べる。
提案手法では,(1) コンテキスト依存の追従質問をスタンドアロンのクエリに変換するLoRA-fine-tuned Qwen 2.5 7Bモデルによるクエリ書き換え,(2) ハイブリッドBM25とReciprocal Rank Fusionによる高密度検索,(3) クロスエンコーダをBGE-reranker-v2-m3で再配置する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We describe our system for SemEval-2026 Task 8 (MTRAGEval), participating in Task A (Retrieval) across four English-language domains. Our approach employs a three-stage pipeline: (1) query rewriting via a LoRA-fine-tuned Qwen 2.5 7B model that transforms context-dependent follow-up questions into standalone queries, (2) hybrid BM25 and dense retrieval combined through Reciprocal Rank Fusion, and (3) cross-encoder reranking with BGE-reranker-v2-m3. On the official test set, the system achieves nDCG@5 of 0.531, ranking 8th out of 38 participating systems and 10.7% above the organizer baseline. Development comparisons reveal that domain-specific temperature tuning for query generation, where technical domains benefit from deterministic decoding and general domains from controlled randomness, provides consistent gains, while more complex strategies such as domain-aware prompting and multi-query expansion degrade performance.
- Abstract（参考訳）: 本稿では,SemEval-2026 Task 8 (MTRAGEval) を4つの英語ドメインにまたがるタスクA (Retrieval) に参加するシステムについて述べる。
提案手法では,(1) コンテキスト依存の追従質問をスタンドアロンのクエリに変換するLoRA-fine-tuned Qwen 2.5 7Bモデルによるクエリ書き換え,(2) ハイブリッドBM25とReciprocal Rank Fusionによる高密度検索,(3) クロスエンコーダをBGE-reranker-v2-m3で再配置する。
公式テストセットでは、このシステムは0.531のnDCG@5を達成し、38の参加システムのうち8位、主催者ベースラインの10.7%をランク付けしている。
クエリ生成のためのドメイン固有の温度調整は、技術的ドメインが決定論的デコーディングと制御されたランダム性から恩恵を受け、一貫したゲインを提供する一方で、ドメイン認識プロンプトやマルチクエリ拡張デグレードパフォーマンスといったより複雑な戦略が示される。
関連論文リスト
- Adaptive ToR: Complexity-Aware Tree-Based Retrieval for Pareto-Optimal Multi-Intent NLU [0.15293427903448018]
多言語自然言語理解には、高い精度と計算効率を同時に達成する検索システムが必要である。
本稿では,クエリ特性に基づいた検索トポロジを動的に構成する複雑性を考慮した検索アーキテクチャであるAdaptive Tree-of-Retrieval (Adaptive ToR)を提案する。
論文 参考訳（メタデータ） (2026-04-27T09:24:10Z) - From BM25 to Corrective RAG: Benchmarking Retrieval Strategies for Text-and-Table Documents [0.0]
スパース, 密度, ハイブリッド融合, クロスエンコーダリグレード, クエリ拡張, インデックス拡張, 適応検索にまたがる10の検索戦略をベンチマークした。
我々はRecall@k,MRR,nDCGによる検索品質とNumber Matchによるエンドツーエンド生成品質を評価する。
論文 参考訳（メタデータ） (2026-04-02T07:53:40Z) - Test-Time Strategies for More Efficient and Accurate Agentic RAG [58.44913384057518]
Retrieval-Augmented Generation (RAG) システムは複雑なマルチホップ問題に直面している。
このような手法は、以前に処理された情報の反復的な検索を含む非効率性を導入することができる。
本稿では,これらの問題を軽減するために,サーチ-R1パイプラインに対するテスト時間修正について検討する。
論文 参考訳（メタデータ） (2026-03-12T19:18:59Z) - AILS-NTUA at SemEval-2026 Task 8: Evaluating Multi-Turn RAG Conversations [14.20669481486209]
我々はSemEval-2026タスク8(MTRAGEval)のためのAILS-NTUAシステムを提案する。
マルチターン検索拡張生成の3つのサブタスク、すなわち、経路検索(A)、基準接地応答生成(B)、エンドツーエンドRAG(C)のすべてに対処する。
統一アーキテクチャは、(i)クエリ-ダイバーシティ-オーバー・レトリバー-ダイバーシティ戦略と(ii)マルチステージ生成パイプラインという2つの原則に基づいて構築されています。
論文 参考訳（メタデータ） (2026-03-11T08:28:31Z) - StratRAG: A Multi-Hop Retrieval Evaluation Dataset for Retrieval-Augmented Generation Systems [0.0]
StratRAGはRetrieval-Augmented Generation (RAG)システムのベンチマークのための評価データセットである。
3つの質問タイプ(ブリッジ、比較、イエスノー)にまたがる2,200のサンプルで構成されており、それぞれ15の候補ドキュメントがペアリングされている。
BM25、高密度検索、ハイブリッド融合の3つの検索戦略をベンチマークする。
論文 参考訳（メタデータ） (2026-03-06T20:08:06Z) - FM SO.P: A Progressive Task Mixture Framework with Automatic Evaluation for Cross-Domain SOP Understanding [19.90863270947963]
既存の言語モデルは標準オペレーティング手順(SOP)と競合する
FM SO.Pを提案する。
まず、累積データを伴う3つのタスクタイプにまたがって、段階的に機能を構築するプログレッシブなタスクミックスを紹介する。
次に,3つのエージェントからなる自動マルチエージェント評価システムを提案する。
論文 参考訳（メタデータ） (2026-02-10T02:09:48Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - ReSum: Unlocking Long-Horizon Search Intelligence via Context Summarization [86.57743637722596]
LLM(Large Language Model)ベースのWebエージェントは、知識集約的なタスクに強いパフォーマンスを示す。
複数のエンティティ、絡み合った関係、不確実性の高い検索サイクルを含む複雑なクエリ。
本稿では,周期的文脈要約による不確定探索を可能にする新しいパラダイムであるReSumを紹介する。
論文 参考訳（メタデータ） (2025-09-16T17:57:22Z) - Dense Passage Retrieval for Open-Domain Question Answering [49.028342823838486]
本研究では,高密度表現のみを用いて検索を実践可能であることを示す。
我々の高密度レトリバーは、上位20経路の精度で9%-19%の絶対値で強力なルセンゼ-BM25システムより優れています。
論文 参考訳（メタデータ） (2020-04-10T04:53:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。