論文の概要: K-ON: Stacking Knowledge On the Head Layer of Large Language Model

• arxiv url: http://arxiv.org/abs/2502.06257v1
• Date: Mon, 10 Feb 2025 08:45:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:35:23.205367
• Title: K-ON: Stacking Knowledge On the Head Layer of Large Language Model
• Title（参考訳）: K-ON: 大規模言語モデルの先頭層に知識を積み重ねる
• Authors: Lingbing Guo, Yichi Zhang, Zhongpu Bo, Zhuo Chen, Mengshu Sun, Zhiqiang Zhang, Wen Zhang, Huajun Chen,
• Abstract要約: 知識グラフ(KG)のシナリオでは、エンティティは基本的な単位であり、エンティティを特定するには少なくともいくつかのトークンが必要である。 我々は,次のkステップ予測に複数のヘッドレイヤを用いて,KGの知識をLLMに統合するK-ONを提案する。 K-ONは1ステップでエンティティレベルの結果を生成するだけでなく、エンティティに対する対照的な損失を可能にする。
• 参考スコア（独自算出の注目度）: 39.56487274037013
• License:
• Abstract: Recent advancements in large language models (LLMs) have significantly improved various natural language processing (NLP) tasks. Typically, LLMs are trained to predict the next token, aligning well with many NLP tasks. However, in knowledge graph (KG) scenarios, entities are the fundamental units and identifying an entity requires at least several tokens. This leads to a granularity mismatch between KGs and natural languages. To address this issue, we propose K-ON, which integrates KG knowledge into the LLM by employing multiple head layers for next k-step prediction. K-ON can not only generate entity-level results in one step, but also enables contrastive loss against entities, which is the most powerful tool in KG representation learning. Experimental results show that K-ON outperforms state-of-the-art methods that incorporate text and even the other modalities.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、様々な自然言語処理(NLP)タスクを大幅に改善している。 通常、LLMは次のトークンを予測するために訓練され、多くのNLPタスクとうまく一致している。 しかしながら、知識グラフ(KG)のシナリオでは、エンティティは基本的な単位であり、エンティティを特定するには少なくともいくつかのトークンが必要である。 これにより、KGと自然言語の粒度のミスマッチが発生する。 この問題に対処するために、K-ONを提案する。K-ONは、複数のヘッド層を用いて次のkステップ予測を行うことで、KGの知識をLLMに統合する。 K-ONは1ステップでエンティティレベルの結果を生成するだけでなく、KG表現学習において最も強力なツールであるエンティティに対するコントラスト的な損失を可能にする。 実験結果から,K-ONはテキストやその他のモダリティを組み込んだ最先端の手法よりも優れていた。

関連論文リスト

• Can LLMs be Good Graph Judger for Knowledge Graph Construction? [33.958327252291]
  本稿では,上記の課題に対処するための知識グラフ構築フレームワークであるGraphJudgerを提案する。 提案手法には,エンティティ中心の反復的テキスト記述,知識認識型指導チューニング,グラフ判断の3つの革新的なモジュールが導入されている。 2つの一般的なテキストグラフペアデータセットと1つのドメイン固有のテキストグラフペアデータセットによる実験は、ベースライン法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2024-11-26T12:46:57Z)
• MKGL: Mastery of a Three-Word Language [48.04522048179973]
  専門的なKG言語(KGL)を導入し、ある文は、エンティティ名詞、関係動詞、そして他のエンティティ名詞で終わる。 KGLのLLMに対する不慣れな語彙にもかかわらず、我々はその学習を調整された辞書とイラストレーション文を通して促進する。 以上の結果から,従来のKG埋め込み法と比較して,LLMはKGLの流速を著しく低減できることがわかった。
  論文  参考訳（メタデータ） (2024-10-10T01:39:26Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• Knowledge Graph Large Language Model (KG-LLM) for Link Prediction [43.55117421485917]
  本稿では,知識グラフタスクに大規模言語モデル(LLM)を活用する新しいフレームワークである知識グラフ大言語モデル(KG-LLM)を紹介する。 まず、構造化知識グラフデータを自然言語に変換し、次にこれらの自然言語プロンプトを微調整 LLM に変換する。 KG-LLMフレームワークの有効性を示すため,Flan-T5,LLaMa2,Gemmaの3つのLLMを微調整した。
  論文  参考訳（メタデータ） (2024-03-12T04:47:29Z)
• Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
  大規模言語モデル(LLM)の処理と知識グラフ(KG)の解釈について検討する。 リテラルレベルでは、様々な入力形式に対するLLMの好みを明らかにする。 注意分布レベルでは、これらの嗜好を駆動するメカニズムについて論じる。
  論文  参考訳（メタデータ） (2024-02-18T10:44:03Z)
• KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning over Knowledge Graph [134.8631016845467]
  我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。 KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。 有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
  論文  参考訳（メタデータ） (2024-02-17T02:07:49Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
  DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。 我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
  論文  参考訳（メタデータ） (2022-10-17T18:02:52Z)
• Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models [42.38563175680914]
  本稿では,知識グラフ(KG)の事実を記述した自然言語テキストの自動生成方法について検討する。 数ショットの設定を考えると、言語理解と生成において事前学習された言語モデル(PLM)の優れた能力を利用する。
  論文  参考訳（メタデータ） (2021-06-03T06:48:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。