論文の概要: GraphRouter: A Graph-based Router for LLM Selections
- arxiv url: http://arxiv.org/abs/2410.03834v1
- Date: Fri, 04 Oct 2024 18:02:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-08 13:38:28.097779
- Title: GraphRouter: A Graph-based Router for LLM Selections
- Title(参考訳): GraphRouter: LLM選択のためのグラフベースのルータ
- Authors: Tao Feng, Yanzhen Shen, Jiaxuan You,
- Abstract要約: Graphは、大規模言語モデルの文脈的および適応的な選択のためのグラフベースのアプローチである。
Graphは既存のルータを大幅に上回り、12.3%の最小パフォーマンス向上を実現している。
この研究は、LLMの文脈的および適応的な選択のためのグラフベースのアプローチを実現し、現実世界のアプリケーションに対する洞察を提供する。
- 参考スコア(独自算出の注目度): 13.463815950807874
- License:
- Abstract: The rapidly growing number and variety of Large Language Models (LLMs) present significant challenges in efficiently selecting the appropriate LLM for a given query, especially considering the trade-offs between performance and computational cost. Current LLM selection methods often struggle to generalize across new LLMs and different tasks because of their limited ability to leverage contextual interactions among tasks, queries, and LLMs, as well as their dependence on a transductive learning framework. To address these shortcomings, we introduce a novel inductive graph framework, named as GraphRouter, which fully utilizes the contextual information among tasks, queries, and LLMs to enhance the LLM selection process. GraphRouter constructs a heterogeneous graph comprising task, query, and LLM nodes, with interactions represented as edges, which efficiently captures the contextual information between the query's requirements and the LLM's capabilities. Through an innovative edge prediction mechanism, GraphRouter is able to predict attributes (the effect and cost of LLM response) of potential edges, allowing for optimized recommendations that adapt to both existing and newly introduced LLMs without requiring retraining. Comprehensive experiments across three distinct effect-cost weight scenarios have shown that GraphRouter substantially surpasses existing routers, delivering a minimum performance improvement of 12.3%. In addition, it achieves enhanced generalization across new LLMs settings and supports diverse tasks with at least a 9.5% boost in effect and a significant reduction in computational demands. This work endeavors to apply a graph-based approach for the contextual and adaptive selection of LLMs, offering insights for real-world applications. Our codes for GraphRouter will soon be released at https://github.com/ulab-uiuc/GraphRouter.
- Abstract(参考訳): LLM(Large Language Models)の急速な増加と多種多様さは、特に性能と計算コストのトレードオフを考慮すると、与えられたクエリに対して適切なLLMを効率的に選択する上で大きな課題となる。
現在のLLM選択法は、タスク、クエリ、LLM間の文脈的相互作用を利用する能力の制限や、トランスダクティブ学習フレームワークへの依存のため、新しいLLMと異なるタスクをまたいだ一般化に苦慮することが多い。
これらの欠点に対処するために,タスク,クエリ,LLM間のコンテキスト情報をフル活用してLLM選択プロセスを強化する,GraphRouterという新しいインダクティブグラフフレームワークを導入する。
GraphRouterは、タスク、クエリ、LLMノードからなる異種グラフをエッジとして表現し、クエリの要求とLLMの機能の間のコンテキスト情報を効率的にキャプチャする。
革新的なエッジ予測メカニズムを通じて、GraphRouterは潜在的なエッジの属性(LLM応答の効果とコスト)を予測でき、既存のLLMと新しく導入されたLLMの両方に適応する最適化されたレコメンデーションを、再トレーニングを必要とせずに実現することができる。
3つの異なるエフェクトコストの重みシナリオに関する総合的な実験により、GraphRouterは既存のルータを大幅に上回り、12.3%の最小パフォーマンス向上を実現している。
さらに、新しいLLM設定をまたいだ拡張一般化を実現し、少なくとも9.5%の高速化と計算要求の大幅な削減により、多様なタスクをサポートする。
この研究は、LLMの文脈的かつ適応的な選択にグラフベースのアプローチを適用し、現実世界のアプリケーションに対する洞察を提供する。
GraphRouterのコードはまもなくhttps://github.com/ulab-uiuc/GraphRouter.orgで公開される。
関連論文リスト
- All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。
E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文 参考訳(メタデータ) (2024-07-20T22:09:42Z) - Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。
強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。
Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
論文 参考訳(メタデータ) (2024-05-23T08:33:19Z) - Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。
本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。
評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
論文 参考訳(メタデータ) (2024-03-21T12:37:54Z) - Language Agents as Optimizable Graphs [31.220547147952278]
本稿では,Large Language Models (LLM) ベースのエージェントを計算グラフとして記述する。
我々のフレームワークは、様々なLSMエージェントを効率的に開発し、統合し、自動的に改善するために使用することができる。
論文 参考訳(メタデータ) (2024-02-26T18:48:27Z) - Can we Soft Prompt LLMs for Graph Learning Tasks? [22.286189757942054]
GraphPrompterは、グラフ情報とLLM(Large Language Models)をソフトプロンプトで整合させるように設計されたフレームワークである。
このフレームワークは、グラフ関連タスクの予測子としてLLMの実質的な機能を明らかにしている。
論文 参考訳(メタデータ) (2024-02-15T23:09:42Z) - Large Language Model with Graph Convolution for Recommendation [21.145230388035277]
テキスト情報は、時々品質の低いものになり、現実世界のアプリケーションにとってその効果を阻害する。
大きな言語モデルにカプセル化された知識と推論機能によって、LCMを活用することが、記述改善の有望な方法として現れます。
本稿では,ユーザ・イテムグラフの高次関係を捉えるために,LLMを抽出するグラフ対応畳み込みLLM法を提案する。
論文 参考訳(メタデータ) (2024-02-14T00:04:33Z) - Efficient Large Language Models Fine-Tuning On Graphs [23.19795835873144]
Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。
本稿では,TAG上でのLarge Language Models (LLMs) のエンドツーエンド微調整のための新しい,効率的なアプローチについて紹介する。
論文 参考訳(メタデータ) (2023-12-07T22:35:16Z) - LLM4DyG: Can Large Language Models Solve Spatial-Temporal Problems on Dynamic Graphs? [56.85995048874959]
本稿では,大規模言語モデルの動的グラフ上での時空間理解能力を評価することを提案する。
我々は、異なるデータ生成装置、データ統計、プロンプト技術、LLMがモデル性能に与える影響を分析する実験を行う。
最後に, LLM の時空間理解能力を高めるために, 動的グラフ上の LLM に対する Disentangled Spatial-Temporal Thoughts (DST2) を提案する。
論文 参考訳(メタデータ) (2023-10-26T02:37:43Z) - Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。
LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。
本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文 参考訳(メタデータ) (2023-10-09T07:59:34Z) - Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。
LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文 参考訳(メタデータ) (2023-02-22T17:44:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。