論文の概要: DuSE-Bench: Benchmarking Joint Reasoning over Evolving Dialogue and Documents
- arxiv url: http://arxiv.org/abs/2611.00755v1
- Date: Sat, 31 Oct 2026 09:04:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.429533
- Title: DuSE-Bench: Benchmarking Joint Reasoning over Evolving Dialogue and Documents
- Title(参考訳): DuSE-Bench: 進化する対話とドキュメントに関するベンチマーク共同推論
- Abstract要約: 5つのシナリオにわたる1,000のタスクからなるベンチマークであるDuSE-Bench(Dual-Source Evolution Benchmark)を紹介する。
Support Graphはタスク構築をガイドし、更新された事実からのリンクを保存し、元のターンとパスに再利用する。
実験では、対話と文書の進化に対する共同推論において永続的な課題が示され、その内容の正確さは56.7%に達した。
- 参考スコア(独自算出の注目度): 34.86849217475776
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Persistent Web information assistants must combine evolving document facts with user requirements established and revised across sessions. Yet systematic evaluation of how changes in both sources affect response requirements and evidence attribution remains limited. To address this gap, we introduce Dual-Source Evolution Benchmark (DuSE-Bench), a benchmark comprising 1,000 tasks across five scenarios, including 700 whose required premises originate in both dialogue and documents. An evolving Support Graph guides task construction and preserves links from updated facts and reused conclusions to original turns and passages. Task annotations distinguish grounding source from state dependence and enable separate evaluation of response content, response type, and source attribution. Experiments across 11 baseline configurations reveal persistent challenges in joint reasoning over evolving dialogue and documents, with content accuracy on jointly grounded tasks reaching at most 56.7%. Moreover, improvements in content accuracy can coincide with poorer response choice, while content-correct responses frequently lack complete attribution to original evidence. Matched evidence substitutions further show that the effect of replacing one source's evidence depends on support from the other. These findings motivate coordinating dialogue memory and document retrieval to apply current user requirements and document facts together while preserving their original support. The data are available at https://github.com/JianfengGao7/DuSE-Bench.
- Abstract(参考訳): 永続的なWeb情報アシスタントは、進化するドキュメント事実と、セッション間で確立および改訂されたユーザ要件を組み合わせなければなりません。
しかし、両方のソースの変更が応答要求やエビデンス属性にどのように影響するかの体系的な評価は依然として限られている。
このギャップに対処するために、DuSE-Bench(Duse-Source Evolution Benchmark)という、5つのシナリオにまたがる1000のタスクからなるベンチマークを紹介します。
Support Graphはタスク構築をガイドし、更新された事実からのリンクを保存し、元のターンとパスに再利用する。
タスクアノテーションは、基底ソースと状態依存を区別し、レスポンスコンテンツ、レスポンスタイプ、ソース属性の別個の評価を可能にする。
11のベースライン構成に対する実験では、対話と文書の進化に対する共同推論において永続的な課題が示され、共同作業におけるコンテンツ精度は56.7%に達した。
さらに、コンテンツ精度の改善は応答選択の低さと一致し得るが、コンテンツ誤応答は元の証拠に対する完全な帰属を欠くことが多い。
一致した証拠置換は、ある情報源の証拠を置き換える効果が他方からの支持に依存していることを示している。
これらの知見は,対話記憶と文書検索のコーディネートを動機とし,既存のユーザ要件と文書事実を同時に適用し,元のサポートを維持した。
データはhttps://github.com/JianfengGao7/DuSE-Bench.comで公開されている。
関連論文リスト
- HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。
HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。
報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
論文 参考訳(メタデータ) (2026-07-27T23:50:46Z) - A Hybrid Retrieval and Reranking Framework for Evidence-Grounded Retrieval-Augmented Generation [0.0]
本研究は,バイオメディカルおよび医療関連文書質問応答における引用認識RAGのハイブリッド検索と再分類の枠組みを提案する。
この枠組みは,25の生物医学的NLPおよび医療用トランスフォーマークエリを用いて,パイロットスケールの概念実証研究として評価された。
その結果, 十分な証拠が得られれば, ハイブリッド検索, 再格付け, 保守的プロンプト, クレームレベルの評価が, RAG応答を裏付ける可能性が示唆された。
論文 参考訳(メタデータ) (2026-05-03T01:33:31Z) - Decomposing and Revising What Language Models Generate [29.67882325906939]
我々は、属性QAのためのFIDESと呼ばれる新しい事実分解ベースのフレームワークを提案する。
Fidesは文脈的に強化された2段階の忠実分解法を使用して、長い形式の回答をサブファクトに分解する。
検索された証拠スニペットが関連するサブファクトと矛盾した場合、そのようなサブファクトはそれに従って修正される。
Fides は GPT-3.5-turbo, Gemini, Llama 70B シリーズで SOTA の手法を平均14%以上上回っている。
論文 参考訳(メタデータ) (2025-08-31T09:26:25Z) - Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳(メタデータ) (2023-05-25T15:01:19Z) - DIFFQG: Generating Questions to Summarize Factual Changes [41.142542919449355]
本稿では,ペア化された文書間の事実変化を質問応答ペアとして表現する。
DIFFQGは、759のQAペアと1153のペアパスの実際の変更のない例で構成されている。
論文 参考訳(メタデータ) (2023-03-01T05:45:48Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。