論文の概要: 5ting at SemEval-2026 Task 8: Strong End-to-End Multi-Turn RAG via LLM-Based Reranking and Faithfulness Control
- arxiv url: http://arxiv.org/abs/2606.28737v1
- Date: Sat, 27 Jun 2026 05:13:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.672019
- Title: 5ting at SemEval-2026 Task 8: Strong End-to-End Multi-Turn RAG via LLM-Based Reranking and Faithfulness Control
- Title(参考訳): 5ting at SemEval-2026 Task 8:strong End-to-End Multi-Turn RAG via LLM-based Re rank and Faithfulness Control
- Abstract要約: 我々はSemEval2026タスク8(MTRAGEval)のための5tingを導入する。
マルチターン検索Augmented Generation (RAG) システムの評価を行った。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce 5ting, our system for the SemEval2026 Task 8 (MTRAGEval), which evaluates multi-turn Retrieval Augmented Generation (RAG) systems. Multi turn RAG involves context drift, under specification, and hallucination risk. Our system combines BGE-M3 dense retrieval with FAISS indexing, dual-query merged retrieval, and LLM based reranking, followed by role separated generation constrained to retrieved evidence. The retriever achieved nDCG@5 = 0.4719 in Task A, while the end to end system ranked in Task C with a harmonic score of 0.5597 and RL_F = 0.7692.
- Abstract(参考訳): 我々は,マルチターン検索拡張生成(RAG)システムの評価を行うSemEval2026 Task 8(MTRAGEval)のシステムである5tingを紹介する。
マルチターンRAGには、コンテキストドリフト、仕様下での仕様、幻覚リスクが含まれる。
本システムでは,BGE-M3高密度検索とFAISSインデクシング,二重クエリ・マージ検索,LLMに基づく再ランク付け,次いで証拠検索に制約された役割分離生成を併用する。
このレトリバーはタスクAにおいてnDCG@5 = 0.4719を達成し、終端システムはタスクCに0.5597とRL_F = 0.7692のスコアでランク付けされた。
関連論文リスト
- A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。
A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
論文 参考訳(メタデータ) (2026-08-05T14:01:10Z) - Sifei at SemEval-2026 Task 8: Hybrid Retrieval and Query Rewriting for Multi-Turn RAG [2.9721401411878254]
ユーザ意図の進化,会話ノイズ,厳密なコンテキスト制限により,マルチターン検索拡張生成(RAG)は困難である。
本研究では,SemEval-2026タスク8のトレーニング不要なハイブリッド検索パイプラインを提案する。
論文 参考訳(メタデータ) (2026-06-05T07:28:01Z) - What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。
既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。
環境重み付け学習フレームワークであるSERLを紹介する。
論文 参考訳(メタデータ) (2026-05-19T07:00:55Z) - MARQUIS: A Three-Stage Pipeline for Video Retrieval-Augmented Generation [64.33427079838602]
ビデオからの検索強化生成は、大規模なコーパスから関連するオーディオ視覚的証拠を検索し、一貫性のある属性付きテキストに合成するシステムを必要とする。
MARQUIS:クエリ拡張、融合、再ランク付けを通じて、これらの制限に対処する3段階のパイプライン。
記事生成において、ITER-QA-BASEはCAGベースライン平均スコアを3.09から3.83に改善し、MARQUIS-RLMは3.30の人間スコアと非QAシステムの中で最も強い引用リコールを達成する。
論文 参考訳(メタデータ) (2026-05-17T20:19:04Z) - Caraman at SemEval-2026 Task 8: Three-Stage Multi-Turn Retrieval with Query Rewriting, Hybrid Search, and Cross-Encoder Reranking [0.0]
本稿では,SemEval-2026 Task 8 (MTRAGEval) を4つの英語ドメインにまたがるタスクA (Retrieval) に参加するシステムについて述べる。
提案手法では,(1) コンテキスト依存の追従質問をスタンドアロンのクエリに変換するLoRA-fine-tuned Qwen 2.5 7Bモデルによるクエリ書き換え,(2) ハイブリッドBM25とReciprocal Rank Fusionによる高密度検索,(3) クロスエンコーダをBGE-reranker-v2-m3で再配置する。
論文 参考訳(メタデータ) (2026-05-12T12:13:45Z) - H-RAG at SemEval-2026 Task 8: Hierarchical Parent-Child Retrieval for Multi-Turn RAG Conversations [6.221953137049602]
H-RAG は SemEval-2026 Task 8 (MTRAGEval) における Task A (Retrieval) と Task C (Retrieved Passages の生成) の両方に対処する。
本手法では,階層型親子RAGパイプラインを実装し,子レベル検索と親レベルのコンテキスト再構築を分離する。
H-RAGはタスクAのnDCG@5スコアが0.4271、タスクCの調波平均スコアが0.3241となる。
論文 参考訳(メタデータ) (2026-05-01T13:07:19Z) - AILS-NTUA at SemEval-2026 Task 8: Evaluating Multi-Turn RAG Conversations [14.20669481486209]
我々はSemEval-2026タスク8(MTRAGEval)のためのAILS-NTUAシステムを提案する。
マルチターン検索拡張生成の3つのサブタスク、すなわち、経路検索(A)、基準接地応答生成(B)、エンドツーエンドRAG(C)のすべてに対処する。
統一アーキテクチャは、(i)クエリ-ダイバーシティ-オーバー・レトリバー-ダイバーシティ戦略と(ii)マルチステージ生成パイプラインという2つの原則に基づいて構築されています。
論文 参考訳(メタデータ) (2026-03-11T08:28:31Z) - Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。
我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。
本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
論文 参考訳(メタデータ) (2026-03-09T18:20:20Z) - DS@GT at TREC TOT 2025: Bridging Vague Recollection with Fusion Retrieval and Learned Reranking [0.5352699766206809]
TREC Tip-of-Tongue(ToT)タスクに対処する2段階検索システムを開発した。
第1段階では、LLMに基づく検索、スパース(BM25)、高密度(BGE-M3)検索を併用したハイブリッド検索を採用する。
また、ウィキペディアコーパスを24のトピック領域に分割する、トピック対応マルチインデックスの高密度検索についても紹介する。
論文 参考訳(メタデータ) (2026-01-21T23:09:17Z) - Q-RAG: Long Context Multi-step Retrieval via Value-based Embedder Training [50.37345200692884]
強化学習(RL)を用いた多段階探索のための細粒度埋め込みモデルQ-RAGを提案する。
Q-RAGは、オープンドメイン質問応答のための既存のマルチステップ検索方法に代わる、競合的でリソース効率のよい代替手段を提供する。
論文 参考訳(メタデータ) (2025-11-10T17:31:02Z) - MTRAG: A Multi-Turn Conversational Benchmark for Evaluating Retrieval-Augmented Generation Systems [21.554151870748104]
MTRAG: エンドツーエンドのヒューマン生成マルチターンRAGベンチマークを提案する。
完全なRAGパイプラインを評価するために、さまざまな次元にまたがる現実世界のいくつかの特性を反映している。
我々の評価では、最先端のLLM RAGシステムでさえMTRAGに苦戦している。
論文 参考訳(メタデータ) (2025-01-07T01:52:56Z) - Overcoming Catastrophic Forgetting with Gaussian Mixture Replay [79.0660895390689]
ガウス混合モデル(GMM)に基づく連続学習(CL)のためのリハーサルベースアプローチを提案する。
過去のタスクからサンプルを生成し,現在のトレーニングデータと統合することで,破滅的忘れ(cf)を緩和する。
複数の画像データセットでGMRを評価し,クラス別サブタスクに分割する。
論文 参考訳(メタデータ) (2021-04-19T11:41:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。