論文の概要: GraphRouter: A Graph-based Router for LLM Selections
- arxiv url: http://arxiv.org/abs/2410.03834v1
- Date: Fri, 4 Oct 2024 18:02:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 16:00:59.475589
- Title: GraphRouter: A Graph-based Router for LLM Selections
- Title（参考訳）: GraphRouter: LLM選択のためのグラフベースのルータ
- Authors: Tao Feng, Yanzhen Shen, Jiaxuan You,
- Abstract要約: Graphは、大規模言語モデルの文脈的および適応的な選択のためのグラフベースのアプローチである。
Graphは既存のルータを大幅に上回り、12.3%の最小パフォーマンス向上を実現している。
この研究は、LLMの文脈的および適応的な選択のためのグラフベースのアプローチを実現し、現実世界のアプリケーションに対する洞察を提供する。
- 参考スコア（独自算出の注目度）: 13.463815950807874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapidly growing number and variety of Large Language Models (LLMs) present significant challenges in efficiently selecting the appropriate LLM for a given query, especially considering the trade-offs between performance and computational cost. Current LLM selection methods often struggle to generalize across new LLMs and different tasks because of their limited ability to leverage contextual interactions among tasks, queries, and LLMs, as well as their dependence on a transductive learning framework. To address these shortcomings, we introduce a novel inductive graph framework, named as GraphRouter, which fully utilizes the contextual information among tasks, queries, and LLMs to enhance the LLM selection process. GraphRouter constructs a heterogeneous graph comprising task, query, and LLM nodes, with interactions represented as edges, which efficiently captures the contextual information between the query's requirements and the LLM's capabilities. Through an innovative edge prediction mechanism, GraphRouter is able to predict attributes (the effect and cost of LLM response) of potential edges, allowing for optimized recommendations that adapt to both existing and newly introduced LLMs without requiring retraining. Comprehensive experiments across three distinct effect-cost weight scenarios have shown that GraphRouter substantially surpasses existing routers, delivering a minimum performance improvement of 12.3%. In addition, it achieves enhanced generalization across new LLMs settings and supports diverse tasks with at least a 9.5% boost in effect and a significant reduction in computational demands. This work endeavors to apply a graph-based approach for the contextual and adaptive selection of LLMs, offering insights for real-world applications. Our codes for GraphRouter will soon be released at https://github.com/ulab-uiuc/GraphRouter.
- Abstract（参考訳）: LLM(Large Language Models)の急速な増加と多種多様さは、特に性能と計算コストのトレードオフを考慮すると、与えられたクエリに対して適切なLLMを効率的に選択する上で大きな課題となる。
現在のLLM選択法は、タスク、クエリ、LLM間の文脈的相互作用を利用する能力の制限や、トランスダクティブ学習フレームワークへの依存のため、新しいLLMと異なるタスクをまたいだ一般化に苦慮することが多い。
これらの欠点に対処するために,タスク,クエリ,LLM間のコンテキスト情報をフル活用してLLM選択プロセスを強化する,GraphRouterという新しいインダクティブグラフフレームワークを導入する。
GraphRouterは、タスク、クエリ、LLMノードからなる異種グラフをエッジとして表現し、クエリの要求とLLMの機能の間のコンテキスト情報を効率的にキャプチャする。
革新的なエッジ予測メカニズムを通じて、GraphRouterは潜在的なエッジの属性(LLM応答の効果とコスト)を予測でき、既存のLLMと新しく導入されたLLMの両方に適応する最適化されたレコメンデーションを、再トレーニングを必要とせずに実現することができる。
3つの異なるエフェクトコストの重みシナリオに関する総合的な実験により、GraphRouterは既存のルータを大幅に上回り、12.3%の最小パフォーマンス向上を実現している。
さらに、新しいLLM設定をまたいだ拡張一般化を実現し、少なくとも9.5%の高速化と計算要求の大幅な削減により、多様なタスクをサポートする。
この研究は、LLMの文脈的かつ適応的な選択にグラフベースのアプローチを適用し、現実世界のアプリケーションに対する洞察を提供する。
GraphRouterのコードはまもなくhttps://github.com/ulab-uiuc/GraphRouter.orgで公開される。
関連論文リスト
- Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。
しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。
人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:49:25Z) - Universal Model Routing for Efficient LLM Inference [72.65083061619752]
我々は,これまで観測されていなかった新しいLLMがテスト時に利用可能となる動的ルーティングの問題を考察する。
本稿では,各LSMを特徴ベクトルとして表現する手法を提案する。
これらの戦略が理論的に最適なルーティングルールの推定であり、エラーを定量化するための過剰なリスクを提供する。
論文 参考訳（メタデータ） (2025-02-12T20:30:28Z) - LLM Bandit: Cost-Efficient LLM Generation via Preference-Conditioned Dynamic Routing [3.090041654375235]
本稿では, LLM選択過程を多武装バンディット問題として定式化する新しい枠組みを提案する。
提案手法は好み条件付き動的ルーティング機構を組み込んでおり、ユーザーは推論時に好みを指定できる。
提案手法は,LLMプラットフォーム間での精度とコスト効率の両立を実現している。
論文 参考訳（メタデータ） (2025-02-04T22:09:43Z) - LLM-AutoDiff: Auto-Differentiate Any LLM Workflow [58.56731133392544]
自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。
LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。
精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2025-01-28T03:18:48Z) - GraphICL: Unlocking Graph Learning Potential in LLMs through Structured Prompt Design [13.365623514253926]
Graph In-Context Learning (GraphICL)ベンチマークは、グラフ構造をキャプチャし、限られたラベル知識を扱う新しいプロンプトテンプレートからなる包括的なベンチマークである。
システム評価の結果,GraphICLを用いた汎用LLMは,最先端の特殊グラフLLMやグラフニューラルネットワークモデルよりも優れていた。
論文 参考訳（メタデータ） (2025-01-27T03:50:30Z) - SocialGPT: Prompting LLMs for Social Relation Reasoning via Greedy Segment Optimization [70.11167263638562]
社会的関係推論は、友人、配偶者、同僚などの関係カテゴリを画像から識別することを目的としている。
まず、VFM(Vision Foundation Models)の知覚能力と、モジュラーフレームワーク内でのLLM(Large Language Models)の推論能力を組み合わせた、シンプルだが巧妙な名前のフレームワークを提示する。
論文 参考訳（メタデータ） (2024-10-28T18:10:26Z) - All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。
E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文 参考訳（メタデータ） (2024-07-20T22:09:42Z) - Can we Soft Prompt LLMs for Graph Learning Tasks? [22.286189757942054]
GraphPrompterは、グラフ情報とLLM(Large Language Models)をソフトプロンプトで整合させるように設計されたフレームワークである。
このフレームワークは、グラフ関連タスクの予測子としてLLMの実質的な機能を明らかにしている。
論文 参考訳（メタデータ） (2024-02-15T23:09:42Z) - Large Language Model with Graph Convolution for Recommendation [21.145230388035277]
テキスト情報は、時々品質の低いものになり、現実世界のアプリケーションにとってその効果を阻害する。
大きな言語モデルにカプセル化された知識と推論機能によって、LCMを活用することが、記述改善の有望な方法として現れます。
本稿では,ユーザ・イテムグラフの高次関係を捉えるために,LLMを抽出するグラフ対応畳み込みLLM法を提案する。
論文 参考訳（メタデータ） (2024-02-14T00:04:33Z) - Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。
LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。
本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文 参考訳（メタデータ） (2023-10-09T07:59:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。