論文の概要: Groundedness in Retrieval-augmented Long-form Generation: An Empirical Study

• arxiv url: http://arxiv.org/abs/2404.07060v1
• Date: Wed, 10 Apr 2024 14:50:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 14:11:27.413901
• Title: Groundedness in Retrieval-augmented Long-form Generation: An Empirical Study
• Title（参考訳）: 検索型ロングフォームジェネレーションにおけるグラウンドドネス : 実証的研究
• Authors: Alessandro Stolfo,
• Abstract要約: 検索した文書やモデルの事前学習データに生成されたすべての文が接地されているかどうかを評価する。 3つのデータセットと4つのモデルファミリーにまたがって、生成した文のかなりの部分が一貫してアングラウンド化されていることが明らかとなった。 以上の結果から,より大きなモデルではアウトプットをより効果的に基礎づける傾向にあるものの,正解のかなりの部分が幻覚によって損なわれていることが示唆された。
• 参考スコア（独自算出の注目度）: 61.74571814707054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present an empirical study of groundedness in long-form question answering (LFQA) by retrieval-augmented large language models (LLMs). In particular, we evaluate whether every generated sentence is grounded in the retrieved documents or the model's pre-training data. Across 3 datasets and 4 model families, our findings reveal that a significant fraction of generated sentences are consistently ungrounded, even when those sentences contain correct ground-truth answers. Additionally, we examine the impacts of factors such as model size, decoding strategy, and instruction tuning on groundedness. Our results show that while larger models tend to ground their outputs more effectively, a significant portion of correct answers remains compromised by hallucinations. This study provides novel insights into the groundedness challenges in LFQA and underscores the necessity for more robust mechanisms in LLMs to mitigate the generation of ungrounded content.
• Abstract（参考訳）: 本稿では,Long-form question answering (LFQA) における基底性に関する実験的検討を行った。 特に、検索した文書に生成された文が全て接地されているか、またはモデルの事前学習データであるかどうかを評価する。 3つのデータセットと4つのモデルファミリーにまたがって、これらの文が正しい接地的回答を含む場合でも、生成した文のかなりの部分が一貫して非接地されていることが明らかとなった。 さらに,モデルサイズ,復号化戦略,命令チューニングなどの要因が接地性に与える影響についても検討した。 以上の結果から,より大きなモデルではアウトプットをより効果的に基礎づける傾向にあるものの,正解のかなりの部分が幻覚によって損なわれていることが示唆された。 本研究は, LFQAにおける基底性課題に関する新たな知見を提供し, 未接地コンテンツの生成を緩和するために, LLMのより堅牢なメカニズムの必要性を浮き彫りにしている。

関連論文リスト

• A Debate-Driven Experiment on LLM Hallucinations and Accuracy [7.821303946741665]
  本研究では,大規模言語モデル(LLM)における幻覚現象について検討する。 GPT-4o-Miniモデルの複数のインスタンスは、TrathfulQAデータセットからの質問によって引き起こされた議論のような相互作用に関与している。 1つのモデルは、もっともらしいが偽の答えを生成するように故意に指示され、他のモデルは真に応答するように要求される。
  論文  参考訳（メタデータ） (2024-10-25T11:41:27Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• A linguistic analysis of undesirable outcomes in the era of generative AI [4.841442157674423]
  本稿では,LLama2のチャットバージョンを基盤として,生成されたコンテンツの言語的側面に着目した総合シミュレーションフレームワークを提案する。 以上の結果から,このモデルでは世代ごとの語彙的リッチコンテンツの生成が減少し,多様性が低下することが示唆された。 オートファジーは、最初のモデルをより創造的で疑わしい、混乱したものに変換し、不正確な答えをもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-10-16T08:02:48Z)
• Analysis of Plan-based Retrieval for Grounded Text Generation [78.89478272104739]
  幻覚は、言語モデルがそのパラメトリック知識の外で生成タスクが与えられるときに起こる。 この制限に対処するための一般的な戦略は、言語モデルに検索メカニズムを注入することである。 我々は,幻覚の頻度をさらに減少させるために,探索のガイドとして計画をどのように利用できるかを分析する。
  論文  参考訳（メタデータ） (2024-08-20T02:19:35Z)
• Enhancing Noise Robustness of Retrieval-Augmented Language Models with Adaptive Adversarial Training [39.21885486667879]
  大型言語モデル(LLM)は、幻覚、時代遅れの知識、追跡不能な推論プロセスなどの課題に遭遇する重大な能力を示す。 Retrieval-augmented Generation(RAG)は、これらの課題を軽減するために、外部データベースからの知識を統合する、有望なソリューションとして登場した。 本稿では,RAAT(Retrieval-augmented Adaptive Adrial Training)として知られる新しいRAGアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-31T16:24:53Z)
• Evaluating Consistency and Reasoning Capabilities of Large Language Models [0.0]
  大規模言語モデル(LLM)は現在、学術、研究、ビジネス、金融など様々な分野で広く使われている。 広く採用されているにもかかわらず、これらのモデルはしばしば誤った誤解を招く情報を生み出し、幻覚の傾向を示す。 本稿では,パブリックおよびプロプライエタリLLMの整合性と推論能力を評価・比較することを目的とする。
  論文  参考訳（メタデータ） (2024-04-25T10:03:14Z)
• A Glitch in the Matrix? Locating and Detecting Language Model Grounding with Fakepedia [57.31074448586854]
  大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。 しかし、この文脈的基盤のメカニズムはいまだに不明である。 本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T17:35:42Z)
• How Well Do Large Language Models Truly Ground? [39.39062385290276]
  一般的な方法は、知識強化モデルとして知られる入力として与えられる外部コンテキストに基づいて応答を生成することである。 以前の研究は「接地」を単に正しい答えを持つだけと定義しており、応答全体の信頼性を保証していない。 本稿では,(1)提供された文脈から必要な知識を十分に活用し,(2)その知識の限界内に留まっている場合,モデルが真に基礎を成すという,より厳密なグラウンド定義を提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:11:27Z)
• Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
  大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。 我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
  論文  参考訳（メタデータ） (2023-09-04T08:28:44Z)
• "According to ...": Prompting Language Models Improves Quoting from Pre-Training Data [52.03853726206584]
  LLM(Large Language Models)は、実データに基づいて事前訓練されているにもかかわらず、幻覚と偽情報を生成する。 本稿では,従来観察されていたテキストに対してLLMを接地応答に誘導する手法を提案する。 基礎となるテキストコーパスにモデル生成回答が直接現れる範囲を計測する新しい評価指標(QUIP-Score)を提案する。
  論文  参考訳（メタデータ） (2023-05-22T17:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。