論文の概要: Decomposing and Revising What Language Models Generate
- arxiv url: http://arxiv.org/abs/2509.00765v1
- Date: Sun, 31 Aug 2025 09:26:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 15:17:03.382589
- Title: Decomposing and Revising What Language Models Generate
- Title(参考訳): 生成する言語モデルの分解と修正
- Authors: Zhichao Yan, Jiaoyan Chen, Jiapu Wang, Xiaoli Li, Ru Li, Jeff Z. Pan,
- Abstract要約: 我々は、属性QAのためのFIDESと呼ばれる新しい事実分解ベースのフレームワークを提案する。
Fidesは文脈的に強化された2段階の忠実分解法を使用して、長い形式の回答をサブファクトに分解する。
検索された証拠スニペットが関連するサブファクトと矛盾した場合、そのようなサブファクトはそれに従って修正される。
Fides は GPT-3.5-turbo, Gemini, Llama 70B シリーズで SOTA の手法を平均14%以上上回っている。
- 参考スコア(独自算出の注目度): 29.67882325906939
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Attribution is crucial in question answering (QA) with Large Language Models (LLMs).SOTA question decomposition-based approaches use long form answers to generate questions for retrieving related documents. However, the generated questions are often irrelevant and incomplete, resulting in a loss of facts in retrieval.These approaches also fail to aggregate evidence snippets from different documents and paragraphs. To tackle these problems, we propose a new fact decomposition-based framework called FIDES (\textit{faithful context enhanced fact decomposition and evidence aggregation}) for attributed QA. FIDES uses a contextually enhanced two-stage faithful decomposition method to decompose long form answers into sub-facts, which are then used by a retriever to retrieve related evidence snippets. If the retrieved evidence snippets conflict with the related sub-facts, such sub-facts will be revised accordingly. Finally, the evidence snippets are aggregated according to the original sentences.Extensive evaluation has been conducted with six datasets, with an additionally proposed new metric called $Attr_{auto-P}$ for evaluating the evidence precision. FIDES outperforms the SOTA methods by over 14\% in average with GPT-3.5-turbo, Gemini and Llama 70B series.
- Abstract(参考訳): 帰属は、大きな言語モデル(LLM)による質問応答(QA)において重要である。
SOTA質問分解に基づくアプローチでは、長いフォームの回答を使用して、関連する文書を取得するための質問を生成する。
しかし, 生成した質問は無関係で不完全であり, 検索における事実の喪失を招き, 異なる文書や段落の証拠断片の収集にも失敗している。
これらの問題に対処するために、属性付きQAに対してFIDES(\textit{faithful context enhanced fact decomposition and evidence aggregate})と呼ばれる新しい事実分解ベースのフレームワークを提案する。
FIDESは文脈的に強化された2段階の忠実分解法を用いて、長いフォームの回答をサブファクトに分解し、検索者が関連するエビデンススニペットを取得するために使用する。
検索された証拠スニペットが関連するサブファクトと矛盾した場合、そのようなサブファクトはそれに従って修正される。
最後に、エビデンススニペットは元の文に従って集約され、6つのデータセットで包括的な評価が行われ、さらに、エビデンス精度を評価するために$Attr_{auto-P}$という新しい指標が提案されている。
FIDES は GPT-3.5-turbo, Gemini, Llama 70B シリーズで SOTA 法を平均 14 % 以上上回っている。
関連論文リスト
- Question Decomposition for Retrieval-Augmented Generation [2.6409776648054764]
本稿では疑問分解をサブクエストに組み込んだRAGパイプラインを提案する。
補間的な文書を効果的に組み立てる一方で、再ランク付けによってノイズが減少することを示す。
再ランク自体は標準的なものであるが、LLMによる質問分解と既製のクロスエンコーダのペアリングは、マルチホップ質問の検索ギャップを橋渡しすることを示す。
論文 参考訳(メタデータ) (2025-07-01T01:01:54Z) - Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models [53.17363502535395]
信頼できる言語モデルは、正しい答えと検証可能な答えの両方を提供するべきです。
現在のシステムは、外部レトリバーを推論時にクエリすることで、引用を挿入する。
本稿では,合成QAペアを継続的に事前訓練するActive Indexingを提案する。
論文 参考訳(メタデータ) (2025-06-21T04:48:05Z) - Evidence Contextualization and Counterfactual Attribution for Conversational QA over Heterogeneous Data with RAG Systems [4.143039012104666]
Retrieval Augmented Generation(RAG)は、会話質問回答(ConvQA)を介して企業のデータと対話するためのバックボーンとして機能する。
本研究では,RAGONITE(RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAAG,RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAAG,RAGONITE ,RAGONITE,RAGONITE,RAGONITE,RAAG,RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAGO NITE)について述べる。
論文 参考訳(メタデータ) (2024-12-13T21:28:17Z) - Atomic Fact Decomposition Helps Attributed Question Answering [30.75332718824254]
Attributed Question Answering (AQA)は、質問に対する信頼できる回答と信頼できる属性レポートを提供することを目的としている。
本稿では,アトミックな事実分解に基づくRetrieval and Editingフレームワークを提案する。
生成した長文の回答を、命令調整されたLSMによって分子節と原子事実に分解する。
論文 参考訳(メタデータ) (2024-10-22T05:25:54Z) - ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions [52.33835101586687]
本研究では,検索した文書が意味的に類似しているように見えるスコープ外質問について検討するが,答えるために必要な情報がない。
本稿では,閉経後の文書から多様なスコープ外質問を自動的に生成するための,幻覚に基づくELOQを提案する。
論文 参考訳(メタデータ) (2024-10-18T16:11:29Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z) - Open Question Answering over Tables and Text [55.8412170633547]
オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。
ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。
我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
論文 参考訳(メタデータ) (2020-10-20T16:48:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。