論文の概要: Understanding Retrieval Augmentation for Long-Form Question Answering

• arxiv url: http://arxiv.org/abs/2310.12150v1
• Date: Wed, 18 Oct 2023 17:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-19 15:28:03.235327
• Title: Understanding Retrieval Augmentation for Long-Form Question Answering
• Title（参考訳）: 長期質問応答に対する検索強化の理解
• Authors: Hung-Ting Chen, Fangyuan Xu, Shane A. Arora, Eunsol Choi
• Abstract要約: 本稿では,長文質問応答における検索強化言語モデル(LM)について検討する。 モデルから生成した回答を同一の証拠文書を用いて比較することにより,検索強化が異なるLMに与える影響を解析する。
• 参考スコア（独自算出の注目度）: 44.19142029392175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a study of retrieval-augmented language models (LMs) on long-form question answering. We analyze how retrieval augmentation impacts different LMs, by comparing answers generated from models while using the same evidence documents, and how differing quality of retrieval document set impacts the answers generated from the same LM. We study various attributes of generated answers (e.g., fluency, length, variance) with an emphasis on the attribution of generated long-form answers to in-context evidence documents. We collect human annotations of answer attribution and evaluate methods for automatically judging attribution. Our study provides new insights on how retrieval augmentation impacts long, knowledge-rich text generation of LMs. We further identify attribution patterns for long text generation and analyze the main culprits of attribution errors. Together, our analysis reveals how retrieval augmentation impacts long knowledge-rich text generation and provide directions for future work.
• Abstract（参考訳）: 本稿では,長文質問応答における検索強化言語モデル(LM)について述べる。 提案手法は,同一のエビデンス文書を用いてモデルから生成された回答を比較し,検索文書の質の違いが同一のLMから生成された回答に与える影響を解析する。 文中の証拠文書に生成した長文回答の帰属性に着目し, 生成した回答の諸属性(例えば, 流布, 長さ, ばらつき)について検討した。 回答属性の人的アノテーションを収集し,属性を自動的に判断する手法を評価する。 本研究は,検索の強化がlmsの長文知識豊かなテキスト生成に与える影響に関する新たな知見を提供する。 さらに,長文生成における帰属パターンを同定し,帰属誤りの主な原因を解析する。 分析により,検索の強化が長い知識に富んだテキスト生成に与える影響を明らかにし,今後の作業の方向性を示す。

関連論文リスト

• Enhancing Answer Attribution for Faithful Text Generation with Large Language Models [5.065947993017158]
  本稿では,より独立的で文脈的なクレームを生成できる新しい手法を提案する。 新しい手法が評価され,回答帰属成分の性能が向上することが示されている。
  論文  参考訳（メタデータ） (2024-10-22T15:37:46Z)
• Enhancing Post-Hoc Attributions in Long Document Comprehension via Coarse Grained Answer Decomposition [10.585679421637948]
  ポストホック属性システムは、回答テキストをソース文書にマッピングするように設計されているが、このマッピングの粒度は未解決である。 そこで本研究では,テンプレートを用いたテキスト内学習を用いて,帰属に対する回答の事実分解に関する新しい手法を提案し,検討する。
  論文  参考訳（メタデータ） (2024-09-25T16:32:35Z)
• Analysis of Plan-based Retrieval for Grounded Text Generation [78.89478272104739]
  幻覚は、言語モデルがそのパラメトリック知識の外で生成タスクが与えられるときに起こる。 この制限に対処するための一般的な戦略は、言語モデルに検索メカニズムを注入することである。 我々は,幻覚の頻度をさらに減少させるために,探索のガイドとして計画をどのように利用できるかを分析する。
  論文  参考訳（メタデータ） (2024-08-20T02:19:35Z)
• Attribute or Abstain: Large Language Models as Long Document Assistants [58.32043134560244]
  LLMは人間が長い文書を扱うのを助けることができるが、幻覚で知られている。 既存の属性に対するアプローチはRAG設定でのみ評価されている。 これは、検索が不要な長いドキュメント設定とは大きく異なるが、助けになる可能性がある。 そこで本研究では,6種類の多種多様文書タスクのベンチマークであるLABと,異なる大きさの5つのLLMに対する属性に対する異なるアプローチの実験を行う。
  論文  参考訳（メタデータ） (2024-07-10T16:16:02Z)
• Context-augmented Retrieval: A Novel Framework for Fast Information Retrieval based Response Generation using Large Language Model [0.0]
  文脈情報のコーパスが大きくなるにつれて、検索型拡張生成(RAG)ベースの質問回答システム(QA)の回答/推論品質は低下する。 本研究は,古典的テキスト分類とLarge Language Model(LLM)を組み合わせることで,この問題を解決する。 新しいアプローチ Context Augmented Search (CAR) は、情報検索と回答生成時間の大幅な削減とともに、優れた品質の回答生成を示す。
  論文  参考訳（メタデータ） (2024-06-24T07:52:05Z)
• Groundedness in Retrieval-augmented Long-form Generation: An Empirical Study [61.74571814707054]
  検索した文書やモデルの事前学習データに生成されたすべての文が接地されているかどうかを評価する。 3つのデータセットと4つのモデルファミリーにまたがって、生成した文のかなりの部分が一貫してアングラウンド化されていることが明らかとなった。 以上の結果から,より大きなモデルではアウトプットをより効果的に基礎づける傾向にあるものの,正解のかなりの部分が幻覚によって損なわれていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-10T14:50:10Z)
• Context Matters: Pushing the Boundaries of Open-Ended Answer Generation with Graph-Structured Knowledge Context [4.1229332722825]
  本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。 我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。 われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
  論文  参考訳（メタデータ） (2024-01-23T11:25:34Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。