論文の概要: On the Capacity of Citation Generation by Large Language Models

• arxiv url: http://arxiv.org/abs/2410.11217v1
• Date: Tue, 15 Oct 2024 03:04:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:03:44.377941
• Title: On the Capacity of Citation Generation by Large Language Models
• Title（参考訳）: 大規模言語モデルによる循環生成能力について
• Authors: Haosheng Qian, Yixing Fan, Ruqing Zhang, Jiafeng Guo,
• Abstract要約: Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)における「ハロシン化」問題を緩和するための有望な方法として現れる。
• 参考スコア（独自算出の注目度）: 38.47160164251295
• License:
• Abstract: Retrieval-augmented generation (RAG) appears as a promising method to alleviate the "hallucination" problem in large language models (LLMs), since it can incorporate external traceable resources for response generation. The essence of RAG in combating the hallucination issue lies in accurately attributing claims in responses to the corresponding retrieved documents. However, most of existing works focus on improving the quality of generated responses from the LLM, while largely overlooked its ability to attribute sources accurately. In this study, we conduct a systematic analysis about the capabilities of LLMs in generating citations within response generation, and further introduce a novel method to enhance their citation generation abilities. Specifically, we evaluate both the correctness and citation quality for seven widely-used LLMs on two benchmark datasets. Meanwhile, we introduce new citation evaluation metrics to eliminate the over-penalization of unnecessary and excessive citations in existing metrics. Furthermore, we propose a Generate-then-Refine method that completes relevant citations and removes irrelevant ones without altering the response text. The results on WebGLM-QA, ASQA and ELI5 datasets show that our method substantially improves the quality of citations in responses generated by LLMs.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)における「ハロシン化」問題を緩和するための有望な方法として現れ、応答生成のために外部トレース可能なリソースを組み込むことができる。 幻覚問題に対処するRAGの本質は、検索された文書に対するクレームを正確に帰属させることにある。 しかし、既存の研究の多くは、LLMから生成されたレスポンスの品質向上に重点を置いている一方で、ソースを正確に評価する能力は概ね見過ごされている。 本研究では, LLMの応答生成における励起生成能力の体系的解析を行い, さらに, 励起生成能力を高める新しい手法を提案する。 具体的には,2つのベンチマークデータセットを用いて,広く使用されている7つのLCMの精度と引用品質を評価した。 一方,既存のメトリクスにおける不要な,過剰な引用の過払いを排除するために,新たな引用評価指標を導入する。 さらに、応答テキストを変更することなく、関連する引用を完了し、無関係な引用を除去するGenerate-then-Refine法を提案する。 WebGLM-QA, ASQA, ELI5データセットを用いた結果, LLMが生成した応答における引用の質が大幅に向上することが示された。

関連論文リスト

• Citekit: A Modular Toolkit for Large Language Model Citation Generation [20.509394248001723]
  大規模言語モデル(LLM)は質問応答(QA)タスクで引用を生成する。 現在、異なる引用生成方法を標準化し、適切に比較するための統一されたフレームワークは存在しない。 既存の引用生成手法の実装と評価を容易にするために設計されたオープンソースのモジュール型ツールキットであるnameを紹介する。
  論文  参考訳（メタデータ） (2024-08-06T02:13:15Z)
• Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
  RAGは大規模言語モデル(LLM)を強化するために広く採用されている。 分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。 本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:47:47Z)
• Model Internals-based Answer Attribution for Trustworthy Retrieval-Augmented Generation [8.975024781390077]
  MIRAGE --Model Internals-based RAG Explanations -- このモデル内部を用いたプラグアンドプレイアプローチは、質問応答アプリケーションにおける忠実な回答属性である。 提案手法を多言語QAデータセット上で評価し,人間の回答属性と高い一致性を見いだした。
  論文  参考訳（メタデータ） (2024-06-19T16:10:26Z)
• Effective Large Language Model Adaptation for Improved Grounding and Citation Generation [48.07830615309543]
  本稿では,検索した文の応答を基底にして,引用を提供することにより,大規模言語モデル(LLM)の改善に焦点を当てる。 我々は、全体論的観点から基盤を改善する新しいフレームワーク AGREE を提案する。 我々のフレームワークは, LLMを調整し, その要求を自己評価し, 検索した文書に正確な引用を提供する。
  論文  参考訳（メタデータ） (2023-11-16T03:22:25Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Enabling Large Language Models to Generate Text with Citations [37.64884969997378]
  大規模言語モデル (LLM) は情報検索のツールとして広く使われている。 我々の目的は、LLMが引用文を生成できるようにし、その事実の正しさと妥当性を向上させることである。 自動LLMのCitation Evaluationのための最初のベンチマークであるALCEを提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。