論文の概要: Atomic Fact Decomposition Helps Attributed Question Answering

• arxiv url: http://arxiv.org/abs/2410.16708v1
• Date: Tue, 22 Oct 2024 05:25:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:29:04.550840
• Title: Atomic Fact Decomposition Helps Attributed Question Answering
• Title（参考訳）: アトミック・ファクトの分解が質問の回答に役立ちます
• Authors: Zhichao Yan, Jiapu Wang, Jiaoyan Chen, Xiaoli Li, Ru Li, Jeff Z. Pan,
• Abstract要約: Attributed Question Answering (AQA)は、質問に対する信頼できる回答と信頼できる属性レポートを提供することを目的としている。 本稿では,アトミックな事実分解に基づくRetrieval and Editingフレームワークを提案する。 生成した長文の回答を、命令調整されたLSMによって分子節と原子事実に分解する。
• 参考スコア（独自算出の注目度）: 30.75332718824254
• License:
• Abstract: Attributed Question Answering (AQA) aims to provide both a trustworthy answer and a reliable attribution report for a given question. Retrieval is a widely adopted approach, including two general paradigms: Retrieval-Then-Read (RTR) and post-hoc retrieval. Recently, Large Language Models (LLMs) have shown remarkable proficiency, prompting growing interest in AQA among researchers. However, RTR-based AQA often suffers from irrelevant knowledge and rapidly changing information, even when LLMs are adopted, while post-hoc retrieval-based AQA struggles with comprehending long-form answers with complex logic, and precisely identifying the content needing revision and preserving the original intent. To tackle these problems, this paper proposes an Atomic fact decomposition-based Retrieval and Editing (ARE) framework, which decomposes the generated long-form answers into molecular clauses and atomic facts by the instruction-tuned LLMs. Notably, the instruction-tuned LLMs are fine-tuned using a well-constructed dataset, generated from large scale Knowledge Graphs (KGs). This process involves extracting one-hop neighbors from a given set of entities and transforming the result into coherent long-form text. Subsequently, ARE leverages a search engine to retrieve evidences related to atomic facts, inputting these evidences into an LLM-based verifier to determine whether the facts require expansion for re-retrieval or editing. Furthermore, the edited facts are backtracked into the original answer, with evidence aggregated based on the relationship between molecular clauses and atomic facts. Extensive evaluations demonstrate the superior performance of our proposed method over the state-of-the-arts on several datasets, with an additionally proposed new metric $Attr_{p}$ for evaluating the precision of evidence attribution.
• Abstract（参考訳）: Attributed Question Answering (AQA) は、信頼できる回答と、ある質問に対する信頼できる属性レポートを提供することを目的としている。 Retrievalは広く採用されているアプローチであり、Retrieval-Then-Read(RTR)とポストホック検索という2つの一般的なパラダイムを含んでいる。 近年、Large Language Models (LLMs) は顕著な熟練度を示し、研究者の間でのAQAへの関心が高まっている。 しかしながら、RTRベースのAQAは、LLMが採用されても、無関係な知識と急速に変化する情報に悩まされることが多いが、ポストホック検索ベースのAQAは、複雑な論理で長文の回答を解釈し、修正が必要なコンテンツを正確に識別し、元の意図を保存するのに苦労している。 これらの問題に対処するため,本論文では,生成した長文回答を分子節と原子事実に分解するAtomic fact decomposition-based Retrieval and Editing (ARE)フレームワークを提案する。 特に,大規模知識グラフ(KGs)から生成したよく構築されたデータセットを用いて,命令調整 LLM を微調整する。 このプロセスでは、与えられたエンティティの集合からワンホップ隣人を抽出し、結果をコヒーレントな長文に変換する。 その後、AREは検索エンジンを利用して原子の事実に関連する証拠を検索し、これらの証拠をLSMベースの検証器に入力し、事実が再検索や編集のために拡張を必要とするかどうかを判断する。 さらに、編集された事実は元の答えにバックトラックされ、分子節と原子事実の関係に基づいて証拠が集約される。 大規模評価では,提案手法がいくつかのデータセット上での最先端技術よりも優れていることを示すとともに,証拠属性の精度を評価するための新たな指標である$Attr_{p}$も提案されている。

関連論文リスト

• A Claim Decomposition Benchmark for Long-form Answer Verification [42.27949634354242]
  我々は,LLM応答に対する原子的およびチェック価値のあるクレームを識別できるビルディングシステムを必要とする,新たなクレーム分解ベンチマークを導入する。 CACDDは、合計4956個の原子クレームを含む、500個の人間による注釈付き質問応答ペアを包含している。 その結果,クレームの分解は非常に困難であり,さらなる探索が必要であることが示された。
  論文  参考訳（メタデータ） (2024-10-16T13:34:51Z)
• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• CoTKR: Chain-of-Thought Enhanced Knowledge Rewriting for Complex Knowledge Graph Question Answering [33.89497991289916]
  そこで本研究では,新たな書込み手法であるCoTKRを提案し,推論トレースとそれに対応する知識をインターリーブ方式で生成する。 我々は,様々な知識グラフ質問回答 (KGQA) ベンチマークを用いて,様々な言語モデル (LLM) を用いて実験を行う。
  論文  参考訳（メタデータ） (2024-09-29T16:08:45Z)
• Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
  RAGは大規模言語モデル(LLM)を強化するために広く採用されている。 分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。 本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:47:47Z)
• Optimization of Retrieval-Augmented Generation Context with Outlier Detection [0.0]
  そこで本研究では,質問応答システムに必要な文脈の小型化と品質向上に焦点をあてる。 私たちのゴールは、最も意味のあるドキュメントを選択し、捨てられたドキュメントをアウトリーチとして扱うことです。 その結果,質問や回答の複雑さを増大させることで,最大の改善が達成された。
  論文  参考訳（メタデータ） (2024-07-01T15:53:29Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
  大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。 この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
  論文  参考訳（メタデータ） (2024-03-31T08:58:54Z)
• Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning [73.51314109184197]
  大規模言語モデル(LLM)には時間的知識の概念を理解することが不可欠である。 本稿では,複数質問応答と複数ホップの時間的推論に焦点をあてた複雑な時間的質問応答データセットであるComplex-TRを提案する。
  論文  参考訳（メタデータ） (2023-11-16T11:49:29Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• DecAF: Joint Decoding of Answers and Logical Forms for Question Answering over Knowledge Bases [81.19499764899359]
  本稿では,論理形式と直解の両方を共同で生成する新しいフレームワークDecAFを提案する。 DecAFはWebQSP、FreebaseQA、GrailQAベンチマークで新しい最先端の精度を実現している。
  論文  参考訳（メタデータ） (2022-09-30T19:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。