論文の概要: Towards Reliable Latent Knowledge Estimation in LLMs: In-Context Learning vs. Prompting Based Factual Knowledge Extraction
- arxiv url: http://arxiv.org/abs/2404.12957v1
- Date: Fri, 19 Apr 2024 15:40:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 14:36:33.639446
- Title: Towards Reliable Latent Knowledge Estimation in LLMs: In-Context Learning vs. Prompting Based Factual Knowledge Extraction
- Title（参考訳）: LLMにおける信頼できる潜在的知識推定に向けて--インテクスト学習とプロンプティングに基づくファクチュアル知識抽出
- Authors: Qinyuan Wu, Mohammad Aflah Khan, Soumi Das, Vedant Nanda, Bishwamittra Ghosh, Camila Kolling, Till Speicher, Laurent Bindschaedler, Krishna P. Gummadi, Evimaria Terzi,
- Abstract要約: 大規模言語モデル(LLM)に埋め込まれた潜在知識を推定する手法を提案する。
我々は、LLMの文脈内学習能力を活用し、LLMが知識ベースに格納されている事実を知る範囲を推定する。
- 参考スコア（独自算出の注目度）: 15.534647327246239
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose an approach for estimating the latent knowledge embedded inside large language models (LLMs). We leverage the in-context learning (ICL) abilities of LLMs to estimate the extent to which an LLM knows the facts stored in a knowledge base. Our knowledge estimator avoids reliability concerns with previous prompting-based methods, is both conceptually simpler and easier to apply, and we demonstrate that it can surface more of the latent knowledge embedded in LLMs. We also investigate how different design choices affect the performance of ICL-based knowledge estimation. Using the proposed estimator, we perform a large-scale evaluation of the factual knowledge of a variety of open source LLMs, like OPT, Pythia, Llama(2), Mistral, Gemma, etc. over a large set of relations and facts from the Wikidata knowledge base. We observe differences in the factual knowledge between different model families and models of different sizes, that some relations are consistently better known than others but that models differ in the precise facts they know, and differences in the knowledge of base models and their finetuned counterparts.
- Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)に埋め込まれた潜在知識を推定する手法を提案する。
我々は、LLMの文脈内学習(ICL)能力を活用し、LLMが知識ベースに格納されている事実を知る程度を推定する。
我々の知識推定器は、従来のプロンプトベースの手法による信頼性の懸念を回避し、概念的にシンプルかつ適用が容易であり、LLMに埋め込まれた潜伏知識をより多く提示できることを実証する。
また,異なる設計選択がICLに基づく知識推定の性能に与える影響についても検討した。
提案した推定器を用いて,Wikidata の知識ベースから,OPT,Pythia,Llama(2),Mistral,Gemmaなど,さまざまなオープンソース LLM の事実知識の大規模評価を行う。
異なるモデルファミリと異なるサイズのモデルの間の事実的知識の相違、いくつかの関係が他のモデルよりも一貫して良く知られているが、モデルが知っている正確な事実と、ベースモデルとその微調整されたモデルの知識の相違を観察する。
関連論文リスト
- Probing Language Models on Their Knowledge Source [19.779433870719945]
大規模言語モデル(LLM)は、しばしば、学習、内部(パラメトリック知識、PK)と推論中に提供される外部知識(コンテキスト知識、CK)の衝突に遭遇する。
論文 参考訳（メタデータ） (2024-10-08T08:47:11Z) - Does Knowledge Localization Hold True? Surprising Differences Between Entity and Relation Perspectives in Language Models [20.157061521694096]
本研究では,知識編集による実体的知識と関係的知識の相違について検討する。
実体的知識と関係的知識の差異をさらに解明するために,関係的知識が事前学習されたモデルにどのように格納されているかを調べるために因果解析を用いる。
この洞察は、言語モデルにおける知識記憶の多面的な性質を強調し、これらのモデル内で特定の種類の知識を操作する複雑さを浮き彫りにしている。
論文 参考訳（メタデータ） (2024-09-01T05:09:11Z) - Large Language Models as Reliable Knowledge Bases? [60.25969380388974]
大きな言語モデル(LLM)は潜在的な知識ベース(KB)と見なすことができる。
本研究は、信頼性の高いLLM-as-KBが満たすべき基準を定義し、事実性と一貫性に焦点をあてる。
ICLや微調整のような戦略は、LLMをより良くKBにするには失敗している。
論文 参考訳（メタデータ） (2024-07-18T15:20:18Z) - What Matters in Memorizing and Recalling Facts? Multifaceted Benchmarks for Knowledge Probing in Language Models [15.057992220389604]
言語モデルは事実の知識を扱うのに苦労し、事実の幻覚の問題を呈する。
本稿では,エンコーダとデコーダを用いた事前学習言語モデルの知識リコール能力を評価するための知識探索ベンチマークBELIEF(ICL)を提案する。
非常に多様なプロンプトを持つMyriadLAMAを半自動で作成します。
論文 参考訳（メタデータ） (2024-06-18T05:11:35Z) - KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。
KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
論文 参考訳（メタデータ） (2024-02-17T02:54:32Z) - Do Large Language Models Know about Facts? [60.501902866946]
大規模言語モデル(LLM)は、最近、さまざまな自然言語処理タスクにおいて、大幅なパフォーマンス改善を推進している。
我々は,ベンチマークPinocchioを設計し,LLM内の事実知識の範囲と範囲を評価することを目的とする。
Pinocchioには、異なるソース、タイムライン、ドメイン、リージョン、言語にまたがる20万のさまざまな事実質問が含まれている。
論文 参考訳（メタデータ） (2023-10-08T14:26:55Z) - Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。
実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
論文 参考訳（メタデータ） (2023-08-19T09:17:19Z) - Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。
検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。
本稿では,文書を動的に活用するための簡易な手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T16:46:10Z) - Measuring and Modifying Factual Knowledge in Large Language Models [2.8427946758947304]
大規模言語モデルは、膨大なテキストコレクションから得られた膨大な事実知識を格納する。
我々は,情報理論に基づく測度を用いて,大規模言語モデルに含まれる事実知識を推定する枠組みを提供する。
論文 参考訳（メタデータ） (2023-06-09T21:25:48Z) - Measuring the Knowledge Acquisition-Utilization Gap in Pretrained
Language Models [26.342351417963965]
事前訓練された言語モデル(PLM)は、膨大な量の知識を取得する証拠を示している。
このパラメトリックな知識が、下流のタスクの実行に実際にどの程度使えるかは、まだ不明である。
PLMにおけるパラメトリック知識利用量を測定するための体系的枠組みを提案する。
論文 参考訳（メタデータ） (2023-05-24T06:26:11Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳（メタデータ） (2023-05-15T15:47:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。