論文の概要: Sibyl: An Efficient Small-large Model Collaboration Framework for Long-horizon Tasks

• arxiv url: http://arxiv.org/abs/2610.05383v1
• Date: Sun, 04 Oct 2026 17:14:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 14:09:07.24538
• Title: Sibyl: An Efficient Small-large Model Collaboration Framework for Long-horizon Tasks
• Title（参考訳）: Sibyl: 長期タスクのための効率的な小型モデルコラボレーションフレームワーク
• Abstract要約: 小型言語モデル(SLM)は、低レイテンシ、リソース効率の推論を通じてデバイス上のエージェントに有望な基盤を提供する。 SLMとより大きなクラウドホストモデルの間のステップレベルのコラボレーションは、このギャップを埋めることができますが、クラウドアシストの保証は依然として難しい状態です。 我々はSLMエージェントにステップレベルでクラウドモデルを選択的に参照し、その後の意思決定のためのガイダンスを内部化するアルゴリズムであるSibylを提案する。
• 参考スコア（独自算出の注目度）: 35.706267319916755
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small language models (SLMs) offer a promising foundation for on-device agents through low-latency, resource-efficient inference, yet limited reasoning and planning capabilities constrain their performance on long-horizon tasks requiring multi-step interaction with the environment. Step-level collaboration between SLMs and larger cloud-hosted models can bridge this gap, but identifying states that warrant cloud assistance remains challenging: the contribution of each cloud call is entangled with subsequent actions and can be assessed only from the final task outcome. Compounding this challenge, the SLM must balance two competing objectives: maximizing task success and minimizing cloud calls. To address this, we propose Sibyl, an algorithm that trains SLM agents to selectively consult cloud models at the step level and internalize their guidance for subsequent decisions, achieving strong task performance with minimal cloud reliance. Sibyl follows a three-stage training pipeline that (1) builds a robust base policy through consultation-free self-evolving reinforcement learning (RL); (2) cold-starts consultation behavior via decisive-disagreement state mining; and (3) jointly optimizes consultation decisions and guidance internalization through consultation-aware RL. Experiments on ALFWorld and WebShop demonstrate that Sibyl, using only a 0.6B-parameter model, outperforms state-of-the-art baselines, including agent training and routing methods, by 95.2% and 80.4% in success rate while averaging only 0.8 and 3.9 cloud calls per trajectory, respectively.
• Abstract（参考訳）: 小型言語モデル(SLM)は、低レイテンシ、リソース効率の推論を通じてデバイス上のエージェントに有望な基盤を提供するが、推論と計画能力は制限され、環境とのマルチステップの相互作用を必要とする長期タスクでは性能が制限される。 SLMとより大きなクラウドホストモデルの間のステップレベルのコラボレーションは、このギャップを埋めることができますが、クラウドアシストの保証は依然として困難である、と定義しています。 この課題を複雑にすれば、SLMは2つの競合する目標 – タスク成功の最大化とクラウドコールの最小化 – のバランスを取る必要がある。 そこで本研究では,SLMエージェントに対して,ステップレベルでクラウドモデルを選択的に参照し,その後の意思決定のためのガイダンスを内部化するアルゴリズムであるSibylを提案する。 シビルは、(1)相談のない自己進化型強化学習(RL)による堅牢な基本方針の構築、(2)決定的分散状態のマイニングによる相談行動、(3)協議決定と相談意識のRLによる指導の内化を共同で最適化する3段階の訓練パイプラインに従っている。 ALFWorld と WebShop の実験では、Sibyl は 0.6B パラメータモデルのみを使用して、エージェントトレーニングやルーティング手法を含む最先端のベースラインを95.2%、80.4% で上回り、平均的な軌道毎のクラウドコールは 0.8 と 3.9 である。

関連論文リスト

• Collaborative Device-Cloud LLM Inference through Reinforcement Learning [17.71514700623717]
  デバイスとクラウドのコラボレーションは、大きな言語モデル(LLM)をデプロイするための有望なパラダイムとして登場した。 本稿では,デバイス上でのLCMが問題解決プロセスの最後にルーティング決定を行うフレームワークを提案する。 特に、効果的な問題解決とクラウドへの司法的オフロードを促進するために、慎重に設計された報酬で報酬問題を定式化する。
  論文  参考訳（メタデータ） (2025-09-28T19:48:56Z)
• How to Train Your LLM Web Agent: A Statistical Diagnosis [96.86317871461834]
  LLMウェブエージェントのポストトレーニングにおける計算割当に関する統計学的基礎研究について述べる。 提案手法では,Llama 3.1 8Bの学生を対象に,教師付き微調整(SFT)とオンライン強化学習を用いて,Llama 3.3 70Bの教師を模倣する2段階のパイプラインを用いた。 以上の結果から,SFTとオンラインRLの組み合わせは,WorkArenaとMiniWob++のいずれにおいても,単独でのアプローチよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-07-05T17:12:33Z)
• Planning without Search: Refining Frontier LLMs with Offline Goal-Conditioned RL [62.984693936073974]
  大きな言語モデル(LLM)は、質問応答や対話といったタスクに優れています。 交渉や説得のような相互作用を必要とする複雑なタスクは、さらなる長期の推論と計画を必要とする。 目的条件付き値関数を用いて LLM エージェントの推論を導出する手法を提案する。
  論文  参考訳（メタデータ） (2025-05-23T16:51:54Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• CE-CoLLM: Efficient and Adaptive Large Language Models Through Cloud-Edge Collaboration [1.6021932740447968]
  大型言語モデル(LLM)は、人間のような優れた予測能力を示す。 LLMをデプロイして、エッジで効率的かつ適応的な推論サービスを提供するのは難しい。 本稿では,これらの課題に対処するために,LLM(CE-CoLLM)のための新しいクラウドエッジコラボレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-05T06:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。