論文の概要: Self-Knowledge Guided Retrieval Augmentation for Large Language Models
- arxiv url: http://arxiv.org/abs/2310.05002v1
- Date: Sun, 8 Oct 2023 04:22:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 13:34:30.918760
- Title: Self-Knowledge Guided Retrieval Augmentation for Large Language Models
- Title（参考訳）: 大規模言語モデルのための自己認識誘導検索拡張
- Authors: Yile Wang, Peng Li, Maosong Sun, Yang Liu
- Abstract要約: 大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。
SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
- 参考スコア（独自算出の注目度）: 59.771098292611846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have shown superior performance without
task-specific fine-tuning. Despite the success, the knowledge stored in the
parameters of LLMs could still be incomplete and difficult to update due to the
computational costs. As complementary, retrieval-based methods can offer
non-parametric world knowledge and improve the performance on tasks such as
question answering. However, we find that the retrieved knowledge does not
always help and even has a negative impact on original responses occasionally.
To better make use of both internal knowledge and external world knowledge, we
investigate eliciting the model's ability to recognize what they know and do
not know (which is also called self-knowledge) and propose Self-Knowledge
guided Retrieval augmentation (SKR), a simple yet effective method which can
let LLMs refer to the questions they have previously encountered and adaptively
call for external resources when dealing with new questions. We evaluate SKR on
multiple datasets and demonstrate that it outperforms chain-of-thought based
and fully retrieval-based methods by using either InstructGPT or ChatGPT.
- Abstract（参考訳）: 大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
この成功にもかかわらず、LLMのパラメータに格納されている知識はいまだ不完全であり、計算コストのために更新が困難である。
補完として、検索ベース手法は非パラメトリックな世界知識を提供し、質問応答などのタスクのパフォーマンスを向上させることができる。
しかし,検索した知識は必ずしも役に立たず,時折元の応答に悪影響を及ぼすことさえある。
内的知識と外的世界知識の両面をよりよく活用するために,自己知識(Self-Knowledge guided Retrieval augmentation, SKR)と呼ばれる,モデルが知っていることを認識し,知らないことを認識できる能力の抽出と,新たな質問に対処する際の外部リソースをLLMが参照できる簡易かつ効果的な手法を提案する。
InstructGPT または ChatGPT を用いて,SKR を複数のデータセット上で評価し,チェーン・オブ・ソート法および完全検索法より優れていることを示す。
関連論文リスト
- KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。
本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。
提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
論文 参考訳（メタデータ） (2024-11-22T08:21:03Z) - Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
大規模言語モデル(LLM)は、その実践的応用でますます認識されている。
Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。
中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
論文 参考訳（メタデータ） (2024-11-09T15:12:28Z) - On the Role of Long-tail Knowledge in Retrieval Augmented Large Language Models [33.08049246893537]
検索拡張現実(RAG)は,大規模言語モデル(LLM)の知識能力向上に際し,優れた性能を示す
本稿では,LLMの簡易かつ効果的なロングテール知識検出手法を提案する。
提案手法は,平均推定時間で4倍以上の高速化を実現し,下流タスクにおける一貫した性能向上を実現している。
論文 参考訳（メタデータ） (2024-06-24T07:17:59Z) - Knowledge Unlearning for LLMs: Tasks, Methods, and Challenges [11.228131492745842]
大規模言語モデル(LLM)は、自然言語処理における新しい研究パラダイムを刺激している。
知識に基づく質問応答と推論の優れた能力にもかかわらず、欠陥や有害な知識を保持する可能性は、悪意のあるアプリケーションにリスクをもたらす。
機械学習の類似研究から派生した知識アンラーニングは、この問題に対処するための有望な道を示す。
論文 参考訳（メタデータ） (2023-11-27T12:37:51Z) - RECALL: A Benchmark for LLMs Robustness against External Counterfactual
Knowledge [69.79676144482792]
本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。
本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
論文 参考訳（メタデータ） (2023-11-14T13:24:19Z) - Thrust: Adaptively Propels Large Language Models with External Knowledge [58.72867916604562]
大規模事前学習言語モデル(PTLM)は、モデルパラメータの豊富な知識を符号化する。
PTLMの固有の知識は不透明または静的であり、外部の知識を必要とする。
本稿では,外部知識のインスタンスレベル適応推進(IAPEK)を提案する。
論文 参考訳（メタデータ） (2023-07-19T20:16:46Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳（メタデータ） (2023-05-15T15:47:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。