論文の概要: Effective Large Language Model Adaptation for Improved Grounding and
Citation Generation
- arxiv url: http://arxiv.org/abs/2311.09533v2
- Date: Mon, 11 Mar 2024 05:36:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 15:18:32.361549
- Title: Effective Large Language Model Adaptation for Improved Grounding and
Citation Generation
- Title(参考訳): グラウンドングと引用生成を改善するための効果的な大規模言語モデル適応
- Authors: Xi Ye, Ruoxi Sun, Sercan \"O. Arik, Tomas Pfister
- Abstract要約: 本稿では,検索した文の応答を基底にして,引用を提供することにより,大規模言語モデル(LLM)の改善に焦点を当てる。
我々は、全体論的観点から基盤を改善する新しいフレームワーク AGREE を提案する。
我々のフレームワークは, LLMを調整し, その要求を自己評価し, 検索した文書に正確な引用を提供する。
- 参考スコア(独自算出の注目度): 46.15893715475059
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have achieved remarkable advancements in natural
language understanding and generation. However, one major issue towards their
widespread deployment in the real world is that they can generate
"hallucinated" answers that are not factual. Towards this end, this paper
focuses on improving LLMs by grounding their responses in retrieved passages
and by providing citations. We propose a new framework, AGREE, Adaptation for
GRounding EnhancEment, that improves the grounding from a holistic perspective.
Our framework tunes LLMs to selfground the claims in their responses and
provide accurate citations to retrieved documents. This tuning on top of the
pre-trained LLMs requires well-grounded responses (with citations) for paired
queries, for which we introduce a method that can automatically construct such
data from unlabeled queries. The selfgrounding capability of tuned LLMs further
grants them a test-time adaptation (TTA) capability that can actively retrieve
passages to support the claims that have not been grounded, which iteratively
improves the responses of LLMs. Across five datasets and two LLMs, our results
show that the proposed tuningbased AGREE framework generates superior grounded
responses with more accurate citations compared to prompting-based approaches
and post-hoc citing-based approaches
- Abstract(参考訳): 大規模言語モデル(llm)は自然言語理解と生成において著しく進歩した。
しかし、現実の世界に広く展開する上での大きな問題は、事実ではない"幻滅的な"回答を生成できることです。
そこで本論文では, 抽出した経路に応答を接地し, 引用を提供することによりLCMを改善することに焦点を当てた。
本稿では,GRounding EnhancEment のための新たなフレームワーク AGREE を提案する。
我々のフレームワークは, LLMを調整し, その要求を自己評価し, 検索した文書に正確な引用を提供する。
事前学習されたLLM上でのこのチューニングは、ペアクエリに対する(引用を含む)十分な応答を必要とするため、ラベルなしクエリからそのようなデータを自動的に構築する手法を導入する。
チューニングされたLLMの自己接地能力により、LLMの応答を反復的に改善する、根拠のないクレームをサポートするために、積極的に経路を検索できるテスト時適応(TTA)能力が提供される。
5つのデータセットと2つのLPMに対して,提案したチューニングベースAGREEフレームワークは,プロンプトベースアプローチやポストホック引用ベースアプローチと比較して,より正確な引用で優れた基底応答を生成することを示す。
関連論文リスト
- Training Language Models to Generate Text with Citations via
Fine-grained Rewards [20.948910587121752]
大型言語モデル(LLM)は幻覚を起こす傾向があり、信頼できる情報源への参照が欠如しているため、その応答は信頼性に欠けることが多い。
本研究では,LLMに高い支援力と関連性のある引用を生成するための,微粒な報酬を用いた効果的な学習フレームワークを提案する。
LLaMA-2-7Bでは、細粒度の報酬がGPT-3.5-turboを上回り、ベースラインの中で最高の性能を達成している。
論文 参考訳(メタデータ) (2024-02-06T19:00:40Z) - Making Large Language Models A Better Foundation For Dense Retrieval [19.38740248464456]
デンス検索では,クエリとドキュメント間の意味的関係を表現するために,識別テキストの埋め込みを学習する必要がある。
意味理解におけるLLMの強い能力を考えると、大きな言語モデル(LLM)の使用の恩恵を受けるかもしれない。
本稿では,LLaRA (LLM adapted for dense RetrievAl) を提案する。
論文 参考訳(メタデータ) (2023-12-24T15:10:35Z) - LLatrieval: LLM-Verified Retrieval for Verifiable Generation [71.98112450207368]
検証可能な生成は、大きな言語モデル(LLM)が対応する文書でテキストを生成することを目的としている。
本稿では,LLatrieval (Large Language Model Verified Retrieval) を提案する。
論文 参考訳(メタデータ) (2023-11-14T01:38:02Z) - Rephrase and Respond: Let Large Language Models Ask Better Questions for
Themselves [63.33254282051988]
本稿では,Rephrase and Respond'(RaR)という手法を提案する。
RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。
また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
論文 参考訳(メタデータ) (2023-11-07T18:43:34Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Enhancing In-Context Learning with Answer Feedback for Multi-Span
Question Answering [9.158919909909146]
本稿では,LLMが望ましくない出力を通知するなど,ラベル付きデータを活用する新しい手法を提案する。
3つのマルチスパン質問応答データセットとキーフレーズ抽出データセットの実験により、我々の新しいプロンプト戦略はLLMの文脈内学習性能を一貫して改善することを示した。
論文 参考訳(メタデータ) (2023-06-07T15:20:24Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z) - Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。
LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文 参考訳(メタデータ) (2023-02-22T17:44:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。