論文の概要: Beyond Gemini-3-Pro: Revisiting LLM Routing and Aggregation at Scale
- arxiv url: http://arxiv.org/abs/2601.01330v1
- Date: Sun, 04 Jan 2026 02:05:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-06 16:25:22.230889
- Title: Beyond Gemini-3-Pro: Revisiting LLM Routing and Aggregation at Scale
- Title(参考訳): Gemini-3-Proを超えて: LLMルーティングとスケールでの集約を再考
- Authors: Shengji Tang, Weihao Lin, Jingqi Ye, Hao Li, Bo Zhang, Shuyue Hu, Tao Chen, Wangli Ouyang, Lei Bai, Peng Ye,
- Abstract要約: 大きな言語モデル(LLM)は急速に進歩し、Gemini-3-Proは新たなパフォーマンスマイルストーンを設定している。
我々は、モノリシックなスケーリングの代替手段として集合的インテリジェンスを探求し、オープンソースのLLMのコラボレーションがGemini-3-Proを上回ることを実証する。
- 参考スコア(独自算出の注目度): 29.165198842583575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have rapidly advanced, with Gemini-3-Pro setting a new performance milestone. In this work, we explore collective intelligence as an alternative to monolithic scaling, and demonstrate that open-source LLMs' collaboration can surpass Gemini-3-Pro. We first revisit LLM routing and aggregation at scale and identify three key bottlenecks: (1) current train-free routers are limited by a query-based paradigm focusing solely on textual similarity; (2) recent aggregation methods remain largely static, failing to select appropriate aggregators for different tasks;(3) the complementarity of routing and aggregation remains underutilized. To address these problems, we introduce JiSi, a novel framework designed to release the full potential of LLMs' collaboration through three innovations: (1) Query-Response Mixed Routing capturing both semantic information and problem difficulty; (2) Support-Set-based Aggregator Selection jointly evaluating the aggregation and domain capacity of aggregators; (3) Adaptive Routing-Aggregation Switch dynamically leveraging the advantages of routing and aggregation. Comprehensive experiments on nine benchmarks demonstrate that JiSi can surpass Gemini-3-Pro with only 47% costs by orchestrating ten open-source LLMs, while outperforming mainstream baselines. It suggests that collective intelligence represents a novel path towards Artificial General Intelligence (AGI).
- Abstract(参考訳): 大きな言語モデル(LLM)は急速に進歩し、Gemini-3-Proは新たなパフォーマンスマイルストーンを設定している。
本研究では,モノリシックスケーリングの代替手段としての集合的インテリジェンスを探求し,オープンソースのLLMのコラボレーションがGemini-3-Proを上回ることを実証する。
我々はまず, LLMルーティングと集約を大規模に再検討し, 1) 現行のトレインフリールータは,テキストの類似性にのみ焦点を絞ったクエリベースのパラダイムによって制限されていること,2) 最新のアグリゲータは静的であり, 異なるタスクに対して適切なアグリゲータを選択できないこと, 3) ルーティングとアグリゲーションの相補性が未利用であること,の3つの主要なボトルネックを特定した。
これらの問題を解決するために,(1)意味情報と問題難易度の両方をキャプチャするクエリ-レスポンス混合ルーティング,(2)アグリゲータの集約とドメイン容量を共同で評価するサポート-セットベースのアグリゲータ選択,(3)アダプティブルーティング・アグリゲーションスイッチを動的に活用する,3つの革新を通じて,LLMのコラボレーションの可能性を最大限に解放する新しいフレームワークであるjiSiを紹介した。
9つのベンチマークに関する総合的な実験は、JiSiがGemini-3-Proをわずか47%のコストで越えられることを示した。
集合的知性は、人工知能(AGI)への新たな道のりを表していることを示唆している。
関連論文リスト
- TRINITY: An Evolved LLM Coordinator [20.55517425459279]
Trinityは,大規模言語モデル(LLM)間の協調を編成する軽量コーディネータである
クエリを複数のターンで処理し、各ターンでコーディネータが選択したLSMに3つの役割のうちの1つを割り当てる。
実験によると、Trinityは、コーディング、数学、推論、ドメイン知識タスクで、個々のモデルと既存のメソッドを一貫して上回っている。
論文 参考訳(メタデータ) (2025-12-04T11:45:21Z) - MARAG-R1: Beyond Single Retriever via Reinforcement-Learned Multi-Tool Agentic Retrieval [50.30107119622642]
大規模言語モデル(LLM)は推論と生成において優れているが、本質的には静的事前学習データによって制限されている。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識に基盤を置くことでこの問題に対処する。
MarAG-R1は、LLMが複数の検索機構を動的に調整できる強化学習型マルチツールRAGフレームワークである。
論文 参考訳(メタデータ) (2025-10-31T15:51:39Z) - RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory [57.449129198822476]
RCRは、マルチエージェント大言語モデル(LLM)システムのためのロールアウェアコンテキストルーティングフレームワークである。
役割とタスクステージに基づいて、各エージェントに対して意味的に関連するメモリサブセットを動的に選択する。
軽量スコアリングポリシは、メモリ選択をガイドし、エージェント出力を共有メモリストアに統合する。
論文 参考訳(メタデータ) (2025-08-06T21:59:34Z) - C-3PO: Compact Plug-and-Play Proxy Optimization to Achieve Human-like Retrieval-Augmented Generation [13.120930059424975]
C-3POは、レトリバーと大規模言語モデル間の通信を容易にするプロキシ中心のフレームワークである。
我々のフレームワークは、RAGパイプライン全体を協調的に最適化する3つの特殊エージェントを実装している。
論文 参考訳(メタデータ) (2025-02-10T07:04:32Z) - Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。
本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
論文 参考訳(メタデータ) (2025-01-08T11:37:06Z) - Improving Generated and Retrieved Knowledge Combination Through Zero-shot Generation [41.43397783169612]
オープンドメイン質問回答(QA)は,大規模言語モデル(LLM)による忠実に検索されたパスと関連するパスを組み合わせることで,かなりの関心を集めている。
これらの知識の源と組み合わせるための明確なラベルが不足している。
本稿では,検索したパスとLLM生成したパスの両方に対して,再格付け手法を利用したBi-Re rank for Merging Generated and Retrieved Knowledge (BRMGR)を提案する。
論文 参考訳(メタデータ) (2024-12-25T06:40:36Z) - Learning to Use Tools via Cooperative and Interactive Agents [58.77710337157665]
ツール学習は、外部ツールを使用してユーティリティを拡張するエージェントとして、大きな言語モデル(LLM)を促進する。
ツール選択,ツール実行,アクションキャリブレーションの3つの特別なエージェントを個別にコーディネートする,協調型対話型エージェントフレームワークであるConAgentsを提案する。
3つのデータセットに対する実験により、LLMは、ConAgentsを装備した場合、大幅に改善されたベースラインよりも優れた性能を示した。
論文 参考訳(メタデータ) (2024-03-05T15:08:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。