論文の概要: "According to ...": Prompting Language Models Improves Quoting from
Pre-Training Data
- arxiv url: http://arxiv.org/abs/2305.13252v2
- Date: Mon, 26 Feb 2024 20:50:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 22:57:52.058464
- Title: "According to ...": Prompting Language Models Improves Quoting from
Pre-Training Data
- Title(参考訳): 「...」:事前学習データからの引用を改善する言語モデルプロンプト
- Authors: Orion Weller and Marc Marone and Nathaniel Weir and Dawn Lawrie and
Daniel Khashabi and Benjamin Van Durme
- Abstract要約: LLM(Large Language Models)は、実データに基づいて事前訓練されているにもかかわらず、幻覚と偽情報を生成する。
本稿では,従来観察されていたテキストに対してLLMを接地応答に誘導する手法を提案する。
基礎となるテキストコーパスにモデル生成回答が直接現れる範囲を計測する新しい評価指標(QUIP-Score)を提案する。
- 参考スコア(独自算出の注目度): 52.03853726206584
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) may hallucinate and generate fake information,
despite pre-training on factual data. Inspired by the journalistic device of
"according to sources", we propose according-to prompting: directing LLMs to
ground responses against previously observed text. To quantify this grounding,
we propose a novel evaluation metric (QUIP-Score) that measures the extent to
which model-produced answers are directly found in underlying text corpora. We
illustrate with experiments on three corpora (Wikipedia, PubMed, and the U.S.
legal tax code) that these prompts improve grounding under our metrics, with
the additional benefit of often improving end-task performance. Furthermore,
prompts that ask the model to decrease grounding (or to ground to other
corpora) indeed decrease QUIP-Score, indicating the ability of LLMs to increase
or decrease grounded generations on request.
- Abstract(参考訳): LLM(Large Language Models)は、実データによる事前学習にもかかわらず、幻覚と偽の情報を生成する。
情報提供者」の報道装置に触発されて,先行したテキストに対してllmを地上応答に指示することを提案する。
この基礎となるテキストコーパスにモデル生成回答が直接現れる範囲を測定するための新しい評価指標(QUIP-Score)を提案する。
われわれは3つのコーパス(Wikipedia、PubMed、米国法税法典)で、これらの効果が我々の指標に基づく基盤の改善を促進させ、エンドタスクのパフォーマンスを頻繁に改善する追加の利点を説明した。
さらに、モデルに接地の減少(または他のコーパスへの接地)を求めるプロンプトは、実際にクイップスコアを減少させ、要求に応じて接地世代を増加または減少させるllmの能力を示す。
関連論文リスト
- Learning to Reduce: Optimal Representations of Structured Data in
Prompting Large Language Models [42.16047343029512]
大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。
本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。
入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
論文 参考訳(メタデータ) (2024-02-22T00:41:23Z) - A Glitch in the Matrix? Locating and Detecting Language Model Grounding
with Fakepedia [68.00056517461402]
大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。
しかし、この文脈的基盤のメカニズムはいまだに不明である。
本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
論文 参考訳(メタデータ) (2023-12-04T17:35:42Z) - Effective Large Language Model Adaptation for Improved Grounding and
Citation Generation [46.15893715475059]
本稿では,検索した文の応答を基底にして,引用を提供することにより,大規模言語モデル(LLM)の改善に焦点を当てる。
我々は、全体論的観点から基盤を改善する新しいフレームワーク AGREE を提案する。
我々のフレームワークは, LLMを調整し, その要求を自己評価し, 検索した文書に正確な引用を提供する。
論文 参考訳(メタデータ) (2023-11-16T03:22:25Z) - How Well Do Large Language Models Truly Ground? [41.36589507268335]
LLM(Large Language Models)の固有の知識への依存は幻覚などの問題を引き起こす可能性がある。
これを軽減するために、LLMをプローブして外部コンテキストに基づいて応答を生成する。
論文 参考訳(メタデータ) (2023-11-15T16:11:27Z) - Enabling Large Language Models to Generate Text with Citations [37.64884969997378]
大規模言語モデル (LLM) は情報検索のツールとして広く使われている。
我々の目的は、LLMが引用文を生成できるようにし、その事実の正しさと妥当性を向上させることである。
自動LLMのCitation Evaluationのための最初のベンチマークであるALCEを提案する。
論文 参考訳(メタデータ) (2023-05-24T01:53:49Z) - Is ChatGPT Good at Search? Investigating Large Language Models as
Re-Ranking Agents [56.104476412839944]
大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。
本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。
LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。
実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
論文 参考訳(メタデータ) (2023-04-19T10:16:03Z) - Benchmarking Large Language Models for News Summarization [79.37850439866938]
大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。
LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
論文 参考訳(メタデータ) (2023-01-31T18:46:19Z) - Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。
実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文 参考訳(メタデータ) (2022-10-23T00:37:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。