論文の概要: Protoknowledge Shapes Behaviour of LLMs in Downstream Tasks: Memorization and Generalization with Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2505.15501v1
• Date: Wed, 21 May 2025 13:22:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.657902
• Title: Protoknowledge Shapes Behaviour of LLMs in Downstream Tasks: Memorization and Generalization with Knowledge Graphs
• Title（参考訳）: 下流タスクにおけるLLMの振る舞い:知識グラフによる記憶と一般化
• Authors: Federico Ranaldi, Andrea Zugarini, Leonardo Ranaldi, Fabio Massimo Zanzotto,
• Abstract要約: 本稿では,知識グラフを符号化したトークンのシーケンスが事前学習中に内部化される方法の定式化と測定を行うために,protoknowledgeの概念を導入する。 我々は,アクティベートが必要な知識の種類によって異なる,語彙的,階層的,トポロジ的な形式に分類する。
• 参考スコア（独自算出の注目度）: 1.9249287163937978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the concept of protoknowledge to formalize and measure how sequences of tokens encoding Knowledge Graphs are internalized during pretraining and utilized at inference time by Large Language Models (LLMs). Indeed, LLMs have demonstrated the ability to memorize vast amounts of token sequences during pretraining, and a central open question is how they leverage this memorization as reusable knowledge through generalization. We then categorize protoknowledge into lexical, hierarchical, and topological forms, varying on the type of knowledge that needs to be activated. We measure protoknowledge through Knowledge Activation Tasks (KATs), analyzing its general properties such as semantic bias. We then investigate the impact of protoknowledge on Text-to-SPARQL performance by varying prompting strategies depending on input conditions. To this end, we adopt a novel analysis framework that assesses whether model predictions align with the successful activation of the relevant protoknowledge for each query. This methodology provides a practical tool to explore Semantic-Level Data Contamination and serves as an effective strategy for Closed-Pretraining models.
• Abstract（参考訳）: 本稿では,知識グラフを符号化したトークンのシーケンスが事前学習中に内部化され,Large Language Models (LLMs) による推論時に利用される方法の定式化と測定を行うためのprotoknowledgeの概念を紹介する。 実際、LLMは事前訓練中に大量のトークン配列を記憶する能力を示しており、この記憶を一般化を通じて再利用可能な知識としてどのように活用するかが中心的な疑問である。 そして、活性化すべき知識の種類によって異なる、語彙的、階層的、トポロジ的形式に分類する。 我々は、知識活性化タスク(KAT)を通じて、その意味バイアスなどの一般的な特性を分析する。 次に,入力条件に応じて,テキストからSPARQLへのプロトknowledgeの影響について検討する。 そこで本研究では,モデル予測が各クエリに対して関連するprotoknowledgeの活性化を成功させるかどうかを評価する新しい分析フレームワークを採用する。 この手法はセマンティック・レベル・データ汚染を探索する実用的なツールを提供し、クローズド・プレトレーニング・モデルの効果的な戦略として機能する。

関連論文リスト

• Detecting Memorization in Large Language Models [0.0]
  大規模言語モデル(LLM)は自然言語処理において驚くべき結果を得たが、トレーニングデータの一部を記憶する傾向にある。 従来の暗記検出方法は出力確率や損失関数に依存している。 LLM内のニューロンの活性化を調べることによって,記憶を正確に検出する解析手法を提案する。
  論文  参考訳（メタデータ） (2024-12-02T00:17:43Z)
• Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models [65.10456412127405]
  本稿では,非構造化知識編集手法,すなわちUnKEを提案する。 そこで本研究では,非局所ブロック鍵値記憶方式を提案する。 トークンのディメンションでは、コンテキストを保存しながら最後のトークンを直接編集する"期間駆動最適化"を"原因駆動最適化"に置き換えます。
  論文  参考訳（メタデータ） (2024-05-24T08:42:40Z)
• Do LLMs Dream of Ontologies? [13.776194387957617]
  大規模モデル言語(LLM)は、様々な自然言語処理タスクにまたがる顕著な記憶を実証している。 本稿では,LLMが公開リソースから概念識別子(ID)-ラベル関連を正しく再現する範囲について検討する。
  論文  参考訳（メタデータ） (2024-01-26T15:10:23Z)
• Prompting Language Models for Linguistic Structure [73.11488464916668]
  本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。 提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
  論文  参考訳（メタデータ） (2022-11-15T01:13:39Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base [51.55027623439027]
  我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。 最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
  論文  参考訳（メタデータ） (2022-04-17T12:33:34Z)
• Does Pre-training Induce Systematic Inference? How Masked Language Models Acquire Commonsense Knowledge [91.15301779076187]
  プレトレーニング中のBERTモデルのミニバッチに言語知識を導入し、モデルがサポート対象の推論にどの程度うまく一般化するかを評価する。 一般化は事前学習の過程では改善せず, 帰納的, 体系的推論ではなく, 表面的, 共起的パターンからコモンセンス知識が獲得されることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T03:13:04Z)
• REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
  言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。 本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。 オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
  論文  参考訳（メタデータ） (2020-02-10T18:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。