Fugu-MT 論文翻訳(概要): LLM-ARK: Knowledge Graph Reasoning Using Large Language Models via Deep Reinforcement Learning

論文の概要: LLM-ARK: Knowledge Graph Reasoning Using Large Language Models via Deep Reinforcement Learning

arxiv url: http://arxiv.org/abs/2312.11282v1
Date: Mon, 18 Dec 2023 15:23:06 GMT
ステータス: 処理完了
システム内更新日: 2023-12-20 19:46:21.905324
Title: LLM-ARK: Knowledge Graph Reasoning Using Large Language Models via Deep Reinforcement Learning
Title（参考訳）: LLM-ARK:Deep Reinforcement Learningによる大規模言語モデルを用いた知識グラフ推論
Authors: Yuxuan Huang
Abstract要約: 大規模言語モデル(LLM)は、プロンプトエンジニアリングによる例示推論能力を示す。我々は,KG経路の正確かつ適応的な予測を行うために設計された基底KG推論エージェントであるLLM-ARKを紹介する。実験の結果, LLaMA7B-ARKは, 目標@1評価基準に対して48.75%の精度で良好な結果が得られることがわかった。
参考スコア（独自算出の注目度）: 4.092862870428798
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With the evolution of pre-training methods, large language models (LLMs) have exhibited exemplary reasoning capabilities via prompt engineering. However, the absence of Knowledge Graph (KG) environment awareness and the challenge of engineering viable optimization mechanisms for intermediary reasoning processes, constrict the performance of LLMs on KG reasoning tasks compared to smaller models. We introduce LLM-ARK, a LLM grounded KG reasoning agent designed to deliver precise and adaptable predictions on KG paths. LLM-ARK utilizes Full Textual Environment (FTE) prompts to assimilate state information for each step-sized intelligence. Leveraging LLMs to richly encode and represent various types of inputs and integrate the knowledge graph further with path environment data, before making the final decision. Reframing the Knowledge Graph (KG) multi-hop inference problem as a sequential decision-making issue, we optimize our model using the Proximal Policy Optimization (PPO) online policy gradient reinforcement learning algorithm which allows the model to learn from a vast array of reward signals across diverse tasks and environments. We evaluate state-of-the-art LLM(GPT-4) and our method which using open-source models of varying sizes on OpenDialKG dataset. Our experiment shows that LLaMA7B-ARK provides excellent results with a performance rate of 48.75% for the target@1 evaluation metric, far exceeding the current state-of-the-art model by 17.64 percentage points. Meanwhile, GPT-4 accomplished a score of only 14.91%, further highlighting the efficacy and complexity of our methodology. Our code is available on GitHub for further access.
Abstract（参考訳）: 事前学習手法の進化に伴い、大規模言語モデル(LLM)は、即時エンジニアリングによる模範推論能力を示した。しかし、知識グラフ(KG)環境認識の欠如と中間推論プロセスの工学的最適化機構の課題により、より小さなモデルと比較して、KG推論タスク上でのLLMの性能は制限される。 LLM-ARKは,KG経路の正確かつ適応的な予測を行うために設計された,LLM基底KG推論エージェントである。 LLM-ARKはFTE(Full Textual Environment)を利用して、ステップサイズのインテリジェンスごとに状態情報を同化させる。 llmを活用して、様々なタイプの入力をリッチにエンコードし、知識グラフをパス環境データに統合し、最終決定を下す。知識グラフ(KG)マルチホップ推論問題を逐次意思決定問題とみなして,PPO(Proximal Policy Optimization)オンラインポリシー強化学習アルゴリズムを用いて,多様なタスクや環境にまたがる膨大な報酬信号からモデルを学習する。我々は,OpenDialKGデータセット上で,様々なサイズのオープンソースモデルを用いて,最先端LLM(GPT-4)の評価を行った。実験の結果,LLaMA7B-ARKは目標@1評価値に対して48.75%の精度で優れた結果が得られることがわかった。一方、GPT-4は14.91%のスコアを達成し、我々の方法論の有効性と複雑さをさらに強調した。私たちのコードはGitHubでさらにアクセスできます。

関連論文リスト

OCEAN: Offline Chain-of-thought Evaluation and Alignment in Large Language Models [68.17018458283651]
本研究は,LLMのチェーン・オブ・思想能力のオフライン評価に焦点をあてる。我々は知識グラフ(例えばWikidata5m)を使って、生成された思考の連鎖に対するフィードバックを提供する。提案手法に基づいてLCMを最適化する方法を示す。
論文参考訳（メタデータ） (2024-10-31T07:48:44Z)
Paths-over-Graph: Knowledge Graph Empowered Large Language Model Reasoning [19.442426875488675]
我々は,KGから知識推論経路を統合することで,Large Language Models(LLM)推論を強化する新しい手法であるPaths-over-Graph(PoG)を提案する。 PoGは3段階の動的マルチホップパス探索を通じて、マルチホップとマルチエンタリティの問題に取り組む。実験では、GPT-3.5-TurboのPoGは、GPT-4のToGを最大23.9%上回った。
論文参考訳（メタデータ） (2024-10-18T06:57:19Z)
Can Knowledge Graphs Make Large Language Models More Trustworthy? An Empirical Study over Open-ended Question Answering [35.2451096137883]
我々は、知識グラフ(KG)で強化された大規模言語モデル(LLM)を評価するために特別に設計された新しいベンチマークであるOKGQAを紹介する。 OKGQAは、様々なタイプの質問を使って実践的なアプリケーションの複雑さを深く反映するように設計されており、幻覚の減少と推論能力の強化の両方を測定するために特定のメトリクスを取り入れている。また,KGのセマンティクスと構造が意図的に乱れ,汚染された場合のモデル性能を評価するためのOKGQA-Pを提案する。
論文参考訳（メタデータ） (2024-10-10T16:29:21Z)
PRAGyan -- Connecting the Dots in Tweets [0.0]
本研究では、ツイートデータセットの因果解析を行うために、知識グラフ(KG)とLarge Language Models(LLM)の統合について検討する。我々は、Neo4j(PRAGyan)データフォーマットに格納されたKGを利用して、因果推論に関連するコンテキストを検索する。
論文参考訳（メタデータ） (2024-07-18T21:49:32Z)
Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
論文参考訳（メタデータ） (2024-05-01T11:10:24Z)
KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning over Knowledge Graph [134.8631016845467]
我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。 KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
論文参考訳（メタデータ） (2024-02-17T02:07:49Z)
LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
論文参考訳（メタデータ） (2024-01-01T13:53:53Z)
GLoRE: Evaluating Logical Reasoning of Large Language Models [29.914546407784552]
GLoREは3種類のタスクにまたがる12のデータセットからなるベンチマークである。 ChatGPTとGPT-4は論理的推論の強い能力を示し、GPT-4はChatGPTをはるかに上回っている。本稿では,ChatGPTの精度を高める自己整合性探索法と,オープンLLMの性能を向上させる微調整法を提案する。
論文参考訳（メタデータ） (2023-10-13T13:52:15Z)
GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4 and Beyond [29.778018058541676]
GPT-Fathomは、OpenAI Evals上に構築された大規模言語モデル(LLM)のための、オープンソースで再現可能な評価スイートである。私たちは,7つの機能カテゴリにまたがる20以上のベンチマークで,10以上のLLMとOpenAIのレガシモデルを評価しました。
論文参考訳（メタデータ） (2023-09-28T16:43:35Z)
Knowledge-Augmented Reasoning Distillation for Small Language Models in Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文参考訳（メタデータ） (2023-05-28T13:00:00Z)
LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities [66.36633042421387]
知識グラフ(KG)の構築と推論のための大規模言語モデル(LLM)の評価。我々は,LLMと外部ソースを用いたマルチエージェントベースのアプローチであるAutoKGを提案し,KGの構築と推論を行う。
論文参考訳（メタデータ） (2023-05-22T15:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。