論文の概要: A Schema-Guided Reason-while-Retrieve framework for Reasoning on Scene Graphs with Large-Language-Models (LLMs)

• arxiv url: http://arxiv.org/abs/2502.03450v1
• Date: Wed, 05 Feb 2025 18:50:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:27:56.991639
• Title: A Schema-Guided Reason-while-Retrieve framework for Reasoning on Scene Graphs with Large-Language-Models (LLMs)
• Title（参考訳）: 大規模言語モデル(LLM)を用いたシーングラフ上での推論のためのスキーマガイド型推論時検索フレームワーク
• Authors: Yiye Chen, Harpreet Sawhney, Nicholas Gydé, Yanan Jian, Jack Saunders, Patricio Vela, Ben Lundell,
• Abstract要約: SceneGuided RetrieveRwRは、グラフによる推論と計画のためのフレームワークである。 我々のフレームワークは、数値Q&Aや計画タスクにおいて、既存のLCMベースのアプローチを超越していることを示す。
• 参考スコア（独自算出の注目度）: 5.37125692728042
• License:
• Abstract: Scene graphs have emerged as a structured and serializable environment representation for grounded spatial reasoning with Large Language Models (LLMs). In this work, we propose SG-RwR, a Schema-Guided Retrieve-while-Reason framework for reasoning and planning with scene graphs. Our approach employs two cooperative, code-writing LLM agents: a (1) Reasoner for task planning and information queries generation, and a (2) Retriever for extracting corresponding graph information following the queries. Two agents collaborate iteratively, enabling sequential reasoning and adaptive attention to graph information. Unlike prior works, both agents are prompted only with the scene graph schema rather than the full graph data, which reduces the hallucination by limiting input tokens, and drives the Reasoner to generate reasoning trace abstractly.Following the trace, the Retriever programmatically query the scene graph data based on the schema understanding, allowing dynamic and global attention on the graph that enhances alignment between reasoning and retrieval. Through experiments in multiple simulation environments, we show that our framework surpasses existing LLM-based approaches in numerical Q\&A and planning tasks, and can benefit from task-level few-shot examples, even in the absence of agent-level demonstrations. Project code will be released.
• Abstract（参考訳）: シーングラフはLarge Language Models (LLMs) を用いた地上空間推論のための構造化およびシリアライズ可能な環境表現として登場した。 本研究では,シーングラフを用いた推論と計画のためのSG-RwRを提案する。 提案手法では,(1)タスク計画と情報クエリ生成のためのReasoner,(2)クエリに従って対応するグラフ情報を抽出するRetrieverという,協調的なLLMエージェントを用いる。 2つのエージェントが反復的に協調し、シーケンシャルな推論とグラフ情報への適応的な注意を可能にする。 従来の作業とは異なり、両方のエージェントは全グラフデータではなくシーングラフスキーマでのみトリガーされ、入力トークンを制限して幻覚を減少させ、推論トレースを抽象的に生成する。 複数のシミュレーション環境での実験を通して、我々のフレームワークは数値Q\&Aや計画タスクにおいて既存のLCMベースのアプローチを超越し、エージェントレベルの実演がなくてもタスクレベルの少数ショットの例から恩恵を受けることができることを示した。 プロジェクトコードはリリースされます。

関連論文リスト

• Plan-over-Graph: Towards Parallelable LLM Agent Schedule [53.834646147919436]
  大規模言語モデル(LLM)はタスク計画の推論において例外的な能力を示した。 本稿では,まず実生活のテキストタスクを実行可能なサブタスクに分解し,抽象的なタスクグラフを構築する,新しいパラダイムであるプランオーバーグラフを提案する。 モデルはこのタスクグラフを入力として理解し、並列実行計画を生成する。
  論文  参考訳（メタデータ） (2025-02-20T13:47:51Z)
• A Hierarchical Language Model For Interpretable Graph Reasoning [47.460255447561906]
  ノード中心の局所情報と相互作用中心のグローバル構造を捉えるために2ブロックアーキテクチャを用いる階層型グラフ言語モデル(HLM-G)を導入する。 提案手法は,大規模グラフ処理における計算コストを削減しつつ,高い効率性,効率性,ロバスト性で様々なグラフクエリに対処することを可能にする。 多様なグラフ推論およびノード,リンク,グラフレベルの実世界のタスクに対する総合的な評価は,本手法の優位性を強調している。
  論文  参考訳（メタデータ） (2024-10-29T00:28:02Z)
• What Do LLMs Need to Understand Graphs: A Survey of Parametric Representation of Graphs [69.48708136448694]
  大規模言語モデル(LLM)は、期待される推論能力と推論能力のために、AIコミュニティで再編成されている。 我々は、グラフのこのようなパラメトリック表現、グラフ法則は、LLMがグラフデータを入力として理解させるソリューションであると信じている。
  論文  参考訳（メタデータ） (2024-10-16T00:01:31Z)
• Scalable and Accurate Graph Reasoning with LLM-based Multi-Agents [27.4884498301785]
  GraphAgent-Reasonerは、明示的で正確なグラフ推論のための微調整不要なフレームワークである。 分散グラフ計算理論にインスパイアされた我々のフレームワークは、グラフ問題を複数のエージェント間で分散される小さなノード中心のタスクに分解する。 本フレームワークは,Webページ重要度分析などの実世界のグラフ推論アプリケーションを扱う能力を示す。
  論文  参考訳（メタデータ） (2024-10-07T15:34:14Z)
• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• GraphInsight: Unlocking Insights in Large Language Models for Graph Structure Understanding [17.724492441325165]
  大規模言語モデル(LLM)は、グラフ記述シーケンスのプロンプトを通じてグラフィカルな構造情報を理解するのに苦労する。 マクロおよびマイクロレベルのグラフィカル情報に対するLLMの理解を改善するための新しいフレームワークであるGraphInsightを提案する。
  論文  参考訳（メタデータ） (2024-09-05T05:34:16Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)
• Neural Graph Reasoning: Complex Logical Query Answering Meets Graph Databases [63.96793270418793]
  複雑な論理クエリ応答(CLQA)は、グラフ機械学習の最近登場したタスクである。 ニューラルグラフデータベース(NGDB)の概念を紹介する。 NGDBはNeural Graph StorageとNeural Graph Engineで構成されている。
  論文  参考訳（メタデータ） (2023-03-26T04:03:37Z)
• Location-Free Scene Graph Generation [45.366540803729386]
  シーングラフ生成(SGG)は視覚的理解タスクであり、シーンをエンティティのグラフとして記述し、互いに関連付けることを目的としている。 既存の作業は、バウンディングボックスやセグメンテーションマスクといった形で位置ラベルに依存しており、アノテーションのコストが増加し、データセットの拡張が制限されている。 我々は、この依存関係を破り、位置のないシーングラフ生成(LF-SGG)を導入する。 本課題は, 空間的局所化を明示的に計算することなく, 実体のインスタンスと関係性を予測することを目的とする。
  論文  参考訳（メタデータ） (2023-03-20T08:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。