論文の概要: Lost-in-Distance: Impact of Contextual Proximity on LLM Performance in Graph Tasks

• arxiv url: http://arxiv.org/abs/2410.01985v1
• Date: Wed, 2 Oct 2024 19:45:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 09:44:41.932186
• Title: Lost-in-Distance: Impact of Contextual Proximity on LLM Performance in Graph Tasks
• Title（参考訳）: ロス・イン・ディスタンス:グラフタスクのLLM性能に及ぼす文脈的近接性の影響
• Authors: Hamed Firooz, Maziar Sanjabi, Wenlong Jiang, Xiaoling Zhai,
• Abstract要約: 大規模言語モデルでは,意味のある文脈データを効率的に取得・処理する能力に障害のある盲点が示される。 本研究では, 損失-in-distance現象の定式化を提案し, 損失-in-distance現象と損失-in-the middle現象が独立に発生することを示す。
• 参考スコア（独自算出の注目度）: 10.899834454573215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite significant advancements, Large Language Models (LLMs) exhibit blind spots that impair their ability to retrieve and process relevant contextual data effectively. We demonstrate that LLM performance in graph tasks with complexities beyond the "needle-in-a-haystack" scenario-where solving the problem requires cross-referencing and reasoning across multiple subproblems jointly-is influenced by the proximity of relevant information within the context, a phenomenon we term "lost-in-distance". We examine two fundamental graph tasks: identifying common connections between two nodes and assessing similarity among three nodes, and show that the model's performance in these tasks significantly depends on the relative positioning of common edges. We evaluate three publicly available LLMs-Llama-3-8B, Llama-3-70B, and GPT-4-using various graph encoding techniques that represent graph structures for LLM input. We propose a formulation for the lost-in-distance phenomenon and demonstrate that lost-in-distance and lost-in-the middle phenomenas occur independently. Results indicate that model accuracy can decline by up to 6x as the distance between node connections increases, independent of graph encoding and model size.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、大幅な進歩にもかかわらず、関連するコンテキストデータを効率的に取得・処理する能力に障害のある盲点を示す。 本稿では,複数のサブプロブレムをまたいだ相互参照と推論が必要なグラフタスクにおけるLCM性能が,コンテキスト内の関連情報の近接に影響されることを実証し,その現象を「ロスト・イン・ディスタンス」と呼ぶ。 2つのノード間の共通接続を同定し、3つのノード間の類似性を評価し、これらのタスクにおけるモデルの性能が共通のエッジの相対的な位置に依存することを示す。 LLM入力のためのグラフ構造を表す様々なグラフ符号化技術を用いて、LLMs-Llama-3-8B、Llama-3-70B、GPT-4の3つの公開可能なLLMを評価する。 本研究では, 損失-in-distance現象の定式化を提案し, 損失-in-distance現象と損失-in-the middle現象が独立に発生することを示す。 その結果,ノード間の距離が増加し,グラフエンコーディングやモデルサイズによらず,モデル精度が最大6倍低下する可能性が示唆された。

関連論文リスト

• Path-of-Thoughts: Extracting and Following Paths for Robust Relational Reasoning with Large Language Models [62.12031550252253]
  本稿では,関係推論に対処するための新しいフレームワークであるPath-of-Thoughts(PoT)を提案する。 PoTは、問題コンテキスト内の重要なエンティティ、関係、属性を識別するタスクに依存しないグラフを効率的に抽出する。 PoTは、提案された質問に対応するグラフ内の関連する推論連鎖を特定し、潜在的な答えの推論を容易にする。
  論文  参考訳（メタデータ） (2024-12-23T20:27:12Z)
• Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path [53.71787069694794]
  大規模言語モデル(LLM)のグラフ推論能力に着目する。 グラフ記述変換,グラフ接続,最短パス問題という3つの基本グラフタスクにおけるLLMの能力を再考する。 この結果から,LLMはテキスト記述によるグラフ構造理解に失敗し,これらの基本課題に対して様々な性能を示すことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-18T16:26:39Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• SeCG: Semantic-Enhanced 3D Visual Grounding via Cross-modal Graph Attention [19.23636231942245]
  設計したメモリグラフアテンション層を用いたグラフネットワークに基づくセマンティック・エンハンスド・リレーショナル学習モデルを提案する。 本手法は,従来の言語に依存しないエンコーディングを,視覚解析におけるクロスモーダルエンコーディングに置き換える。 ReferIt3D と ScanRefer のベンチマーク実験の結果,提案手法は既存の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-13T02:11:04Z)
• Spatio-temporal MLP-graph network for 3D human pose estimation [8.267311047244881]
  グラフ畳み込みネットワークとその変種は3次元人間のポーズ推定において大きな可能性を示している。 暗黙の伝搬フェアリングを用いたグラフフィルタリングにより得られる新しい重み付きヤコビ特徴則を導入する。 また, 関節間の関係を学習するために, 隣接変調を用いた。
  論文  参考訳（メタデータ） (2023-08-29T14:00:55Z)
• Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
  我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。 非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
  論文  参考訳（メタデータ） (2023-05-29T04:51:09Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Distributed Multi-Agent Reinforcement Learning Based on Graph-Induced Local Value Functions [7.6860514640178]
  協調型マルチエージェント強化学習(MARL)のための計算効率の良い分散フレームワークを提案する。 MARLにおける3種類のエージェント間カップリングを記述した3つのカップリンググラフを導入する。 結合グラフから導出した局所値関数に基づく2つの分散RL手法を提案する。
  論文  参考訳（メタデータ） (2022-02-26T03:01:51Z)
• DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
  人-物間相互作用(HOI)検出の課題に対処する。 既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。 本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:40Z)
• Taskology: Utilizing Task Relations at Scale [28.09712466727001]
  共同で訓練することで,タスクの集合間の固有の関係を活用できることが示される。 タスク間の関係を明確に活用することで、パフォーマンスが向上し、ラベル付きデータの必要性が劇的に低減される。 本稿では, 深度と正規予測, セマンティックセグメンテーション, 3次元運動とエゴモーション推定, および点雲における物体追跡と3次元検出という, タスクのサブセットについて示す。
  論文  参考訳（メタデータ） (2020-05-14T22:53:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。