論文の概要: Decoding Intelligence: A Framework for Certifying Knowledge Comprehension in LLMs

• arxiv url: http://arxiv.org/abs/2402.15929v2
• Date: Mon, 07 Oct 2024 15:01:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 18:00:46.540450
• Title: Decoding Intelligence: A Framework for Certifying Knowledge Comprehension in LLMs
• Title（参考訳）: デコードインテリジェンス:LLMにおける知識理解の認定のためのフレームワーク
• Authors: Isha Chaudhary, Vedaant V. Jain, Gagandeep Singh,
• Abstract要約: 本稿では,大規模言語モデルにおける知識理解を形式的確率論的保証で証明する最初のフレームワークを提案する。 我々は知識理解の分布を正確に表現する新しい仕様を設計し、認定し、知識グラフを活用する。 モデルのサイズを拡大することで知識理解能力が大幅に向上することがわかった。
• 参考スコア（独自算出の注目度）: 3.6293956720749425
• License:
• Abstract: Knowledge comprehension capability is an important aspect of human intelligence. As Large Language Models (LLMs) are being envisioned as superhuman agents, it is crucial for them to be proficient at knowledge comprehension. However, existing benchmarking studies do not provide consistent, generalizable, and formal guarantees on the knowledge comprehension capabilities of LLMs. In this work, we propose the first framework to certify knowledge comprehension in LLMs with formal probabilistic guarantees. Our certificates are quantitative -- they consist of high-confidence, tight bounds on the probability that a target LLM gives the correct answer on any knowledge comprehension prompt sampled from a distribution. We design and certify novel specifications that precisely represent distributions of knowledge comprehension prompts leveraging knowledge graphs. We certify SOTA LLMs for specifications over the Wikidata5m knowledge graph. We find that the knowledge comprehension capability improves significantly with scaling the size of the models.
• Abstract（参考訳）: 知識理解能力は人間の知性の重要な側面である。 大規模言語モデル(LLM)は超人的エージェントとして想定されているため、知識理解に熟練することが重要である。 しかし、既存のベンチマーク研究はLLMの知識理解能力について一貫した、一般化可能な、正式な保証を提供していない。 本研究では,LLMにおける知識理解を形式的確率論的保証で証明する最初の枠組みを提案する。 我々の証明は量的であり、それらは高信頼で厳密な境界から成り、ターゲットのLSMが分布からサンプリングされた任意の知識理解に対して正しい答えを与える確率に基づいている。 我々は知識理解の分布を正確に表現する新しい仕様を設計し、認定し、知識グラフを活用する。 Wikidata5mナレッジグラフ上で,仕様書のSOTA LLMを認証する。 モデルのサイズを拡大することで知識理解能力が大幅に向上することがわかった。

関連論文リスト

• What's in an embedding? Would a rose by any embedding smell as sweet? [0.0]
  大規模言語モデル(LLM)は、真の「理解」と知識を「理解」する能力に欠けるとしてしばしば批判される。 我々は, LLM が「幾何学的」な経験的「下地」を発達させ, NLP の様々な応用に適していると考えられることを示唆する。 これらの制限を克服するために、LLMはシンボリックAI要素を含む知識の「代数的」表現と統合されるべきである。
  論文  参考訳（メタデータ） (2024-06-11T01:10:40Z)
• Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
  大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。 我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。 実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-10T15:10:20Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Can Language Models Act as Knowledge Bases at Scale? [24.99538360485476]
  大規模言語モデル(LLM)は、複雑なクエリに対する応答の理解と生成に顕著な習熟性を示している。 本研究は,LLMがWikidataなどの最新の知識ベース(KB)に匹敵する大規模知識を効果的に保存し,リコールし,理性を持つことができるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-02-22T04:20:14Z)
• KGQuiz: Evaluating the Generalization of Encoded Knowledge in Large Language Models [39.554274096542244]
  KGQuizは、大規模言語モデルの知識一般化能力を調べるための知識集約型ベンチマークである。 我々は,KGQuizベンチマークを用いて,5つの知識集約タスクと知識領域の10個のオープンソースおよびブラックボックスLCMを評価した。 我々は、KGQuizをテストベッドとして想定し、ドメインやタスクフォーマット間のパフォーマンスの微妙な変化を分析する。
  論文  参考訳（メタデータ） (2023-10-15T04:00:36Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [91.30946119104111]
  大規模言語モデル(LLM)は,質問に応答する能力に対して,波及しない自信を持っていることを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 また, LLM は, 回答の定式化に際し, 提案した検索結果に依存する傾向が認められた。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• KoLA: Carefully Benchmarking World Knowledge of Large Language Models [87.96683299084788]
  我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。 人間の認知を模倣して、知識関連能力の4段階の分類を形成し、19ドルのタスクをカバーします。 私たちは、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集された新興コーパスを使用して、目に見えないデータや進化する知識を扱う能力を評価します。
  論文  参考訳（メタデータ） (2023-06-15T17:20:46Z)
• Do Large Language Models Know What They Don't Know? [74.65014158544011]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。 膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。 本研究の目的は,LLMの自己理解能力を評価することである。
  論文  参考訳（メタデータ） (2023-05-29T15:30:13Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• KMIR: A Benchmark for Evaluating Knowledge Memorization, Identification and Reasoning Abilities of Language Models [28.82149012250609]
  我々はKMIR(Knowledge Memorization, Identification and Reasoning test)というベンチマークを提案する。 KMIRは、一般的な知識、ドメイン固有の知識、常識を含む3種類の知識をカバーし、よく設計された184,348の質問を提供する。 KMIR上での様々な代表的な事前学習言語モデルによる予備実験は、多くの興味深い現象を示す。
  論文  参考訳（メタデータ） (2022-02-28T03:52:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。