論文の概要: Optimizing the Interface Between Knowledge Graphs and LLMs for Complex Reasoning

• arxiv url: http://arxiv.org/abs/2505.24478v1
• Date: Fri, 30 May 2025 11:27:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.924637
• Title: Optimizing the Interface Between Knowledge Graphs and LLMs for Complex Reasoning
• Title（参考訳）: 複雑な推論のための知識グラフとLLMのインタフェース最適化
• Authors: Vasilije Markovic, Lazar Obradovic, Laszlo Hajdu, Jovan Pavlovic,
• Abstract要約: 知識グラフを用いた大規模言語モデル(LLM) Cognaneは、エンドツーエンドのKG構築と検索のためのモジュラーフレームワークである。 チャンキング、グラフ構築、検索、プロンプトに関連するパラメータを最適化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Integrating Large Language Models (LLMs) with Knowledge Graphs (KGs) results in complex systems with numerous hyperparameters that directly affect performance. While such systems are increasingly common in retrieval-augmented generation, the role of systematic hyperparameter optimization remains underexplored. In this paper, we study this problem in the context of Cognee, a modular framework for end-to-end KG construction and retrieval. Using three multi-hop QA benchmarks (HotPotQA, TwoWikiMultiHop, and MuSiQue) we optimize parameters related to chunking, graph construction, retrieval, and prompting. Each configuration is scored using established metrics (exact match, F1, and DeepEval's LLM-based correctness metric). Our results demonstrate that meaningful gains can be achieved through targeted tuning. While the gains are consistent, they are not uniform, with performance varying across datasets and metrics. This variability highlights both the value of tuning and the limitations of standard evaluation measures. While demonstrating the immediate potential of hyperparameter tuning, we argue that future progress will depend not only on architectural advances but also on clearer frameworks for optimization and evaluation in complex, modular systems.
• Abstract（参考訳）: 大きな言語モデル(LLM)と知識グラフ(KG)を統合すると、多くのハイパーパラメータを持つ複雑なシステムが直接パフォーマンスに影響を与える。 このようなシステムは、検索強化世代ではますます一般的になっているが、体系的なハイパーパラメータ最適化の役割はいまだ解明されていない。 本稿では,この問題を,エンドツーエンドのKG構築と検索のためのモジュラーフレームワークであるCogneeの文脈で検討する。 マルチホップQAベンチマーク(HotPotQA, TwoWikiMultiHop, MuSiQue)を用いて,チャンキング,グラフ構築,検索,プロンプトに関連するパラメータを最適化する。 それぞれの構成は、確立されたメトリクス(exact match、F1、DeepEvalのLLMベースの正確度メトリック)を使用してスコアされる。 この結果から,目標チューニングによって有意義な利得が達成できることが示唆された。 ゲインは一貫性があるが、それらは均一ではなく、データセットやメトリクスによってパフォーマンスが異なる。 この可変性は、チューニングの価値と標準評価尺度の制限の両方を強調します。 ハイパーパラメータチューニングの直接的な可能性を示す一方で、今後の進歩はアーキテクチャの進歩だけでなく、複雑なモジュラーシステムにおける最適化と評価のためのより明確なフレームワークにも依存する、と論じる。

関連論文リスト

• Review, Refine, Repeat: Understanding Iterative Decoding of AI Agents with Dynamic Evaluation and Selection [71.92083784393418]
  Best-of-N (BON) サンプリングのような推論時間法は、パフォーマンスを改善するための単純で効果的な代替手段を提供する。 本稿では,反復的改良と動的候補評価,検証器による選択を併用した反復的エージェント復号(IAD)を提案する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Scaling Test-Time Inference with Policy-Optimized, Dynamic Retrieval-Augmented Generation via KV Caching and Decoding [2.368662284133926]
  本稿では,動的検索戦略と強化微調整により,RAG(Retrieval-Augmented Generation)システムを強化する枠組みを提案する。 我々のフレームワークは2つの補完手法を統合している: Policy-d Retrieval Augmented Generation (PORAG)とAdaptive Token-Layer Attention Scoring (ATLAS)。 我々のフレームワークは幻覚を減らし、ドメイン固有の推論を強化し、従来のRAGシステムよりも優れた効率とスケーラビリティを実現する。
  論文  参考訳（メタデータ） (2025-04-02T01:16:10Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Can Custom Models Learn In-Context? An Exploration of Hybrid Architecture Performance on In-Context Learning Tasks [2.2665690736508894]
  In-Context Learning (ICL) は、パラメータ更新を必要とせずに、プロンプトシーケンスを通じてタスク学習が行われる現象である。 GPT-2 と LLaMa と LlaMa と Mamba のアーキテクチャ的差異の影響について検討した。 そこで本研究では,特定のタスクにおけるモデル全体の性能を示すスカラーメトリックである「ICL回帰スコア」を提案する。
  論文  参考訳（メタデータ） (2024-11-06T14:25:05Z)
• Training of Scaffolded Language Models with Language Supervision: A Survey [62.59629932720519]
  本調査は,戦後のLM周辺における新規構造物の設計と最適化に関する文献を整理した。 本稿では,この階層構造を足場型LMと呼び,ツールを用いた多段階プロセスに統合されたLMに焦点を当てる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• The Impact of Hyperparameters on Large Language Model Inference Performance: An Evaluation of vLLM and HuggingFace Pipelines [6.381783966294295]
  オープンソースの大規模言語モデル(LLM)により、開発者はプライバシやコンプライアンスといった側面をコントロールしながら、AIベースのソリューションを作成できる。 我々は、vLLMとHuggingFaceのパイプラインという2つの推論ライブラリを使用して、20LLMのパフォーマンス、特にスループット(時間単位毎に生成されるトークン)を分析します。
  論文  参考訳（メタデータ） (2024-08-02T06:56:59Z)
• A Framework for History-Aware Hyperparameter Optimisation in Reinforcement Learning [8.659973888018781]
  強化学習(RL)システムは、システムの性能に影響を与える一連の初期条件に依存する。 これらのトレードオフを軽減するため,複雑なイベント処理と時間モデルの統合に基づくフレームワークを提案する。 提案手法を,RLの変種であるDQNを用いた5Gモバイル通信ケーススタディで検証した。
  論文  参考訳（メタデータ） (2023-03-09T11:30:40Z)
• Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search [96.20505710087392]
  ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-20T14:41:49Z)
• MLPerfTM HPC: A Holistic Benchmark Suite for Scientific Machine Learning on HPC Systems [32.621917787044396]
  我々はMLCommonsTM Associationが推進する科学機械学習トレーニングアプリケーションのベンチマークスイートであるHPCを紹介する。 共同分析のための体系的なフレームワークを開発し、データステージング、アルゴリズム収束、計算性能の観点から比較する。 低レベルのメモリ、I/O、ネットワークの振る舞いに関して、各ベンチマークを特徴付けることで結論付ける。
  論文  参考訳（メタデータ） (2021-10-21T20:30:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。