論文の概要: Effective Large Language Model Adaptation for Improved Grounding
- arxiv url: http://arxiv.org/abs/2311.09533v1
- Date: Thu, 16 Nov 2023 03:22:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 16:52:42.842821
- Title: Effective Large Language Model Adaptation for Improved Grounding
- Title(参考訳): 改良接地のための効果的な大規模言語モデル適応
- Authors: Xi Ye, Ruoxi Sun, Sercan \"O. Arik, Tomas Pfister
- Abstract要約: 大規模言語モデル(LLM)は、自然言語の理解、生成、テキストベースのデータの操作において顕著な進歩を遂げている。
現実の世界に広く展開する上で大きな問題のひとつは、事実ではない"幻滅的な"回答を生成できることだ。
本稿では,新しいフレームワーク AGREE, Adaptation of LLMs for GRounding EnhancEment を用いて,全体論的な視点からグラウンドディングを改善することに焦点を当てる。
- 参考スコア(独自算出の注目度): 46.15893715475059
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have achieved remarkable advancements in natural
language understanding, generation, and manipulation of text-based data.
However, one major issue towards their widespread deployment in the real world
is that they can generate "hallucinated" answers that are not factual. Towards
this end, this paper focuses on improving grounding from a holistic perspective
with a novel framework, AGREE, Adaptation of LLMs for GRounding EnhancEment. We
start with the design of an iterative test-time adaptation (TTA) capability
that takes into account the support information generated in self-grounded
responses. To effectively enable this capability, we tune LLMs to ground the
claims in their responses to retrieved documents by providing citations. This
tuning on top of the pre-trained LLMs requires a small amount of data that
needs to be constructed in a particular way to learn the grounding information,
for which we introduce a data construction method. Our results show that the
tuning-based AGREE framework generates better grounded responses with more
accurate citations compared to prompting-based approaches.
- Abstract(参考訳): 大規模言語モデル(llm)は、テキストベースのデータの自然言語理解、生成、操作において著しく進歩した。
しかし、現実の世界に広く展開する上での大きな問題は、事実ではない"幻滅的な"回答を生成できることです。
本稿では,GRounding EnhancEment のための新しいフレームワーク AGREE, Adaptation of LLMs を用いて,全体論的な視点から基礎化を改善することに焦点を当てる。
まず、自己接地応答で生成された支援情報を考慮に入れた反復テスト時間適応(TTA)機能の設計から始める。
この機能を効果的に有効化するために,llmをチューニングし,引用文を提供することで,検索文書に対する応答の根拠付けを行う。
事前学習されたLLM上でのこのチューニングは、データ構築方法を導入するために、特定の方法で構築される必要のある少量のデータを必要とする。
本結果から, チューニングに基づく AGREE フレームワークは, プロンプトベースのアプローチに比べて, より正確な励振による地上応答を生成できることが示唆された。
関連論文リスト
- SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。
SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。
様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
論文 参考訳(メタデータ) (2024-04-17T01:15:54Z) - Training Language Models to Generate Text with Citations via
Fine-grained Rewards [20.948910587121752]
大型言語モデル(LLM)は幻覚を起こす傾向があり、信頼できる情報源への参照が欠如しているため、その応答は信頼性に欠けることが多い。
本研究では,LLMに高い支援力と関連性のある引用を生成するための,微粒な報酬を用いた効果的な学習フレームワークを提案する。
LLaMA-2-7Bでは、細粒度の報酬がGPT-3.5-turboを上回り、ベースラインの中で最高の性能を達成している。
論文 参考訳(メタデータ) (2024-02-06T19:00:40Z) - Making Large Language Models A Better Foundation For Dense Retrieval [19.38740248464456]
デンス検索では,クエリとドキュメント間の意味的関係を表現するために,識別テキストの埋め込みを学習する必要がある。
意味理解におけるLLMの強い能力を考えると、大きな言語モデル(LLM)の使用の恩恵を受けるかもしれない。
本稿では,LLaRA (LLM adapted for dense RetrievAl) を提案する。
論文 参考訳(メタデータ) (2023-12-24T15:10:35Z) - LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。
LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。
機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。
LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
論文 参考訳(メタデータ) (2023-11-15T19:52:11Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Enhancing In-Context Learning with Answer Feedback for Multi-Span
Question Answering [9.158919909909146]
本稿では,LLMが望ましくない出力を通知するなど,ラベル付きデータを活用する新しい手法を提案する。
3つのマルチスパン質問応答データセットとキーフレーズ抽出データセットの実験により、我々の新しいプロンプト戦略はLLMの文脈内学習性能を一貫して改善することを示した。
論文 参考訳(メタデータ) (2023-06-07T15:20:24Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z) - Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。
LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文 参考訳(メタデータ) (2023-02-22T17:44:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。