論文の概要: COLT: Lightweight Multi-LLM Collaboration through Shared MCTS Reasoning for Model Compilation

• arxiv url: http://arxiv.org/abs/2602.01935v1
• Date: Mon, 02 Feb 2026 10:37:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.084749
• Title: COLT: Lightweight Multi-LLM Collaboration through Shared MCTS Reasoning for Model Compilation
• Title（参考訳）: COLT:モデルコンパイルのための共有MCTS推論による軽量多LLM協調
• Authors: Annabelle Sujun Tang, Christopher Priebe, Lianhui Qin, Hadi Esmaeilzadeh,
• Abstract要約: コンパイラ最適化のための軽量協調型マルチLLMフレームワークであるCOLTを提案する。 重要な貢献は、単一の共有MCTSツリーをLLM間の協調基盤として使用することである。
• 参考スコア（独自算出の注目度）: 5.792898693767499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model serving costs dominate AI systems, making compiler optimization essential for scalable deployment. Recent works show that a large language model (LLM) can guide compiler search by reasoning over program structure and optimization history. However, using a single large model throughout the search is expensive, while smaller models are less reliable when used alone. Thus, this paper seeks to answer whether multi-LLM collaborative reasoning relying primarily on small LLMs can match or exceed the performance of a single large model. As such, we propose a lightweight collaborative multi-LLM framework, dubbed COLT, for compiler optimization that enables coordinated reasoning across multiple models within a single Monte Carlo tree search (MCTS) process. A key contribution is the use of a single shared MCTS tree as the collaboration substrate across LLMs, enabling the reuse of transformation prefixes and cross-model value propagation. Hence, we circumvent both heavy internal reasoning mechanisms and conventional agentic machinery that relies on external planners, multiple concurrent LLMs, databases, external memory/versioning of intermediate results, and controllers by simply endogenizing model selection within the lightweight MCTS optimization loop. Every iteration, the acting LLM proposes a joint action: (compiler transformation, model to be queried next). We also introduce a model-aware tree policy that biases search toward smaller models while preserving exploration, and a course-alteration mechanism that escalates to the largest model when the search exhibits persistent regressions attributable to smaller models.
• Abstract（参考訳）: モデル提供コストがAIシステムを支配し、コンパイラの最適化がスケーラブルなデプロイメントに不可欠である。 近年の研究では,大規模言語モデル (LLM) がプログラム構造と最適化履歴を推論することで,コンパイラ検索をガイドできることが示されている。 しかし、検索全体を通して1つの大きなモデルを使用することは高価であるが、より小さなモデルは単独で使用すると信頼性が低下する。 そこで本研究では,LLMを主目的とする複数LLM協調推論が単一大モデルの性能に適合するか否かを問う。 そこで本研究では,モンテカルロ木探索(MCTS)プロセス内の複数モデル間の協調推論を可能にする,COLTと呼ばれる軽量協調型マルチLLMフレームワークを提案する。 重要な貢献は、単一の共有MCTSツリーをLLM間の協調基盤として使用することで、変換プレフィックスの再利用とモデル間の値伝搬を可能にすることである。 そこで我々は,軽量MCTS最適化ループ内にモデル選択を内在させることで,外部プランナ,複数並列LLM,データベース,中間結果の外部メモリ/変換,コントローラに依存する従来のエージェント機構を回避した。 イテレーション毎に、アクション LLM はジョイントアクション(コンパイラ変換、次にクエリされるモデル)を提案する。 また,探索を保存しながら,より小さなモデルに対する探索をバイアスするモデル対応ツリーポリシーと,より小さなモデルに起因する永続的回帰を示す場合に,最大モデルにエスカレーションするコース調整機構を導入する。

関連論文リスト

• The Law of Multi-Model Collaboration: Scaling Limits of Model Ensembling for Large Language Models [54.51795784459866]
  マルチモデル協調のための性能スケーリングの理論的枠組みを提案する。 本稿では,マルチモデルシステムにおいて,パラメータの総数に関して,パワー則のスケーリングが従うことを示す。 不均一なモデルファミリのアンサンブルは、単一のモデルファミリ内で形成されたものよりも優れたパフォーマンスのスケーリングを実現する。
  論文  参考訳（メタデータ） (2025-12-29T09:55:12Z)
• Black-box Model Merging for Language-Model-as-a-Service with Massive Model Repositories [21.899117703417517]
  進化的アルゴリズム(Evo-Merging)に基づく微分自由最適化フレームワークを提案する。 提案手法は,(1) モデル間の不適切な情報や冗長な情報を識別・フィルタリングする疎結合型デノベーション,(2) 関連モデルに対する最適な組合せ重み付けを動的に計算するシグナック・アウェア・スケーリングの2つの重要な要素から構成される。 提案手法は,様々なタスクにおける最先端の成果を達成し,既存の強靭なベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2025-09-16T10:55:50Z)
• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• Two are better than one: Context window extension with multi-grained self-injection [111.1376461868317]
  SharedLLMは、多粒度コンテキスト圧縮とクエリ対応情報検索の設計哲学に基づく新しいアプローチである。 本研究では,テキストチャンクの多粒度コンテキスト情報を効率的にエンコードし,保存し,検索するための木構造データ構造を提案する。
  論文  参考訳（メタデータ） (2024-10-25T06:08:59Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• Towards Robust Multi-Modal Reasoning via Model Selection [7.6621866737827045]
  LLMはエージェントの"脳"として機能し、協調的な多段階タスク解決のための複数のツールを編成する。 我々はテスト時に無視できるランタイムオーバーヘッドを持つプラグインとして、$textitM3$フレームワークを提案する。 実験の結果,我々のフレームワークは,ユーザ入力とサブタスク依存の両方を考慮した動的モデル選択を可能にすることがわかった。
  論文  参考訳（メタデータ） (2023-10-12T16:06:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。