論文の概要: Estimating Knowledge in Large Language Models Without Generating a Single Token

• arxiv url: http://arxiv.org/abs/2406.12673v1
• Date: Tue, 18 Jun 2024 14:45:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 18:28:51.134441
• Title: Estimating Knowledge in Large Language Models Without Generating a Single Token
• Title（参考訳）: 単一トークンを生成せずに大規模言語モデルの知識を推定する
• Authors: Daniela Gottesman, Mor Geva,
• Abstract要約: モデルが特定のエンティティについてどの程度の知識を持つのかを、内部計算からのみ推定できるかどうかを考察する。 実験により、内部の主題表現を訓練した単純なプローブであるKEENが、両方のタスクで成功することが示された。 KEENはシンプルで軽量であるため、大きな言語モデルにおけるエンティティ知識のギャップとクラスタを特定するために利用することができる。
• 参考スコア（独自算出の注目度）: 12.913172023910203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To evaluate knowledge in large language models (LLMs), current methods query the model and then evaluate its generated responses. In this work, we ask whether evaluation can be done $\textit{before}$ the model has generated any text. Concretely, is it possible to estimate how knowledgeable a model is about a certain entity, only from its internal computation? We study this question with two tasks: given a subject entity, the goal is to predict (a) the ability of the model to answer common questions about the entity, and (b) the factuality of responses generated by the model about the entity. Experiments with a variety of LLMs show that KEEN, a simple probe trained over internal subject representations, succeeds at both tasks - strongly correlating with both the QA accuracy of the model per-subject and FActScore, a recent factuality metric in open-ended generation. Moreover, KEEN naturally aligns with the model's hedging behavior and faithfully reflects changes in the model's knowledge after fine-tuning. Lastly, we show a more interpretable yet equally performant variant of KEEN, which highlights a small set of tokens that correlates with the model's lack of knowledge. Being simple and lightweight, KEEN can be leveraged to identify gaps and clusters of entity knowledge in LLMs, and guide decisions such as augmenting queries with retrieval.
• Abstract（参考訳）: 大規模言語モデル(LLM)における知識を評価するために、現在のメソッドはモデルをクエリし、生成した応答を評価する。 この作業では、評価が$\textit{before}$でできるかどうかを問う。 具体的には、モデルがその内部計算からのみ、あるエンティティについてどれだけの知識を持つかを推定することは可能か? 我々はこの問題を2つのタスクで研究する: 主観的実体が与えられたら、目標は予測することである (a)モデルが実体に関する一般的な疑問に答える能力、及び b)エンティティに関するモデルによって生成された応答の事実性。 様々なLSMを用いた実験により、内部の主観的表現に基づいて訓練された単純なプローブであるKEENが、モデルごとのQA精度と、最近のオープンエンド世代におけるファクトスコア(FActScore)の両方に強く相関する、両方のタスクで成功することが示された。 さらに、KEENはモデルのヘッジな振る舞いと自然に一致し、微調整後のモデルの知識の変化を忠実に反映する。 最後に、モデルの知識の欠如と相関するトークンの小さなセットを強調する、より解釈可能なKEENの等価な変形を示す。 シンプルで軽量なKEENは、LLM内のエンティティ知識のギャップとクラスタを識別し、検索によるクエリの強化などのガイド決定に利用することができる。

関連論文リスト

• OLMES: A Standard for Language Model Evaluations [64.85905119836818]
  再現可能な言語モデル評価のための実用的でオープンな標準であるOLMESを提案する。 我々は,コミュニティが採用する評価実践において,様々な要因を特定し,検討する。 OLMESは、複数の質問の非自然な「閉じた」定式化を必要とする小さなベースモデル間の有意義な比較をサポートする。
  論文  参考訳（メタデータ） (2024-06-12T17:37:09Z)
• Can I understand what I create? Self-Knowledge Evaluation of Large Language Models [31.85129258347539]
  大規模言語モデル(LLM)は言語タスクにおいて顕著な進歩を遂げた。 フェインマンの創造を通して理解する原理に触発され、自己知識評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-06-10T09:53:54Z)
• Context versus Prior Knowledge in Language Models [49.17879668110546]
  言語モデルは、事前学習中に学んだ事前知識と、文脈で提示された新しい情報を統合する必要があることが多い。 本稿では,モデルがコンテキストと先行するエンティティへの依存性を測定するための2つの相互情報ベースメトリクスを提案する。
  論文  参考訳（メタデータ） (2024-04-06T13:46:53Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Evaluating Correctness and Faithfulness of Instruction-Following Models for Question Answering [26.34649731975005]
  Retriever-augmented instruction-following modelは、質問応答のための微調整アプローチ(QA)の魅力的な代替品である モデル応答は自然で流動的である傾向にあるが、追加の冗長性により、モデルパフォーマンスを正確に定量化するために従来のQA評価指標は信頼できない。 1) ユーザの情報要求(正確性)をどの程度満足させるか,2) 提供された知識(忠実性)に基づいて応答を生成するか,という2つの次元に沿って,これらのモデルを評価するために,自動評価と人的評価の両方を用いる。
  論文  参考訳（メタデータ） (2023-07-31T17:41:00Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Evaluating Representations with Readout Model Switching [19.907607374144167]
  本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。 我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。 提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
  論文  参考訳（メタデータ） (2023-02-19T14:08:01Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。