論文の概要: OrchSLM: Probing the Dynamics of Small Language Model Orchestration
- arxiv url: http://arxiv.org/abs/2609.13470v1
- Date: Fri, 11 Sep 2026 19:44:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 12:40:38.815826
- Title: OrchSLM: Probing the Dynamics of Small Language Model Orchestration
- Title(参考訳): OrchSLM: 小型言語モデルのオーケストレーションのダイナミクスを探る
- Abstract要約: 小型言語モデル(SLM)は、大型言語モデル(LLM)に代わる魅力的な選択肢を提供する。
OrchSLMは、既存の非インタラクティブなオーケストレーションメソッドを統合するルーティングフレームワークである。
本稿では,タスク構造,モデルプール構成,マルチエージェントコンセンサスなど,さまざまなノブからオーケストレーション動作が出現する様子を示す。
- 参考スコア(独自算出の注目度): 6.24604520684727
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although large language models (LLMs) have demonstrated remarkable capabilities, their reliance on cloud-scale infrastructure poses fundamental challenges for deployment in agentic pipelines, including latency, privacy, connectivity, and substantial computational cost. Small language models (SLMs) offer a compelling alternative: recent studies suggest that many repetitive and narrowly scoped subtasks in agentic workloads may be better served by specialized SLMs than by monolithic LLMs. However, the limited capacity and context windows of SLMs can constrain long-horizon reasoning and interaction-heavy orchestration strategies such as iterative verification and debate. This motivates a complementary, non-interactive paradigm in which heterogeneous SLMs independently generate candidate solutions and a router orchestrates their cached samples without further model interaction. To further understand the mechanisms of such orchestration, we introduce OrchSLM, a routing framework that unifies existing non-interactive orchestration methods and exposes their underlying design choices as controllable parameters. Using OrchSLM as a systematic probe, we reveal how orchestration behavior emerges from diverse knobs, including the task structure, model-pool composition, and multi-agent consensus.
- Abstract(参考訳): 大規模言語モデル(LLM)は目覚ましい機能を示しているが、クラウドスケールインフラストラクチャへの依存は、レイテンシ、プライバシ、接続性、計算コストなど、エージェントパイプラインのデプロイに根本的な課題をもたらす。
最近の研究では、エージェントのワークロードにおいて、反復的でスコープが狭いサブタスクの多くは、モノリシックなLSMよりも専門的なSLMの方が優れていることが示唆されている。
しかし、SLMの限られた能力とコンテキストウィンドウは、反復的検証や議論のような長い水平推論と相互作用重大なオーケストレーション戦略を制約することができる。
これは、異種SLMが独立して候補解を生成し、ルータがさらなるモデル相互作用なしにキャッシュされたサンプルをオーケストレーションする相補的で非インタラクティブなパラダイムを動機付けている。
このようなオーケストレーションのメカニズムをさらに理解するために,既存の非インタラクティブなオーケストレーションメソッドを統合するルーティングフレームワークであるOrchSLMを紹介し,その基盤となる設計選択を制御可能なパラメータとして公開する。
OrchSLMをシステマティックプローブとして使用することにより,タスク構造やモデルプール構成,マルチエージェントコンセンサスなど,さまざまなノブからオーケストレーションの動作がどのように現れるかを明らかにする。
関連論文リスト
- Recognize Your Orchestrator: An Entropy Dynamics Perspective for LLM Multi-Agent Systems [20.981858066136567]
マルチエージェントシステム(MAS)は、高度な問題解決能力を約束するが、中央集権的なオーケストレーショントポロジは、脆弱性の重要なポイントである。
本稿では,タスク解決と累積コンテキストローディングの競合する力によって制御されるシステムとして,オーケストレーションプロセスをモデル化する,平均フィールドエントロピーダイナミクスフレームワークを提案する。
我々のエントロピー力学モデルが経験的軌道に適合していることを示し、システムの安定性と性能崩壊を定量的に解釈可能なパラメータを提供する。
論文 参考訳(メタデータ) (2026-05-31T17:06:01Z) - Semantically Structured Mixture-of-Experts for Compositional Robotic Manipulation [21.358519910897652]
拡散ベースのポリシーは、正確なロボット操作のための新しい標準を確立したが、重要なスケーラビリティのボトルネックに直面している。
合成ロボット操作のためのSMODP(Semantically Structured Mixture-of-Experts Diffusion Policy)を導入する。
提案手法は,パラメータ効率が大幅に向上したマルチタスクベンチマークにおいて,代表拡散とMoEベースのベースラインよりも優れていた。
論文 参考訳(メタデータ) (2026-05-22T10:38:59Z) - Chain of Modality: From Static Fusion to Dynamic Orchestration in Omni-MLLMs [84.3271821505699]
カオス・オブ・モダリティ(Chain of Modality, CoM)は、マルチモーダル融合を受動的結合から動的オーケストレーションに移行するエージェントフレームワークである。
CoMはトレーニングフリーまたはデータ効率のSFT設定で動作し、様々なベンチマークで堅牢で一貫した一般化を実現する。
論文 参考訳(メタデータ) (2026-04-16T01:21:14Z) - Beyond Unimodal Shortcuts: MLLMs as Cross-Modal Reasoners for Grounded Named Entity Recognition [51.68340973140949]
GMNER(Multimodal Named Entity Recognition)は、テキストベースのエンティティを抽出し、セマンティックカテゴリを割り当て、それらを対応する視覚領域に接地することを目的としている。
MLLMは、視覚バイアスやテキストバイアスを含む$textbfmodality bias$を示す。
本稿では,モダリティを考慮した一貫性推論(bfMCR$)を提案する。
論文 参考訳(メタデータ) (2026-02-04T12:12:49Z) - Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation [50.22481337087162]
Referring Video Object (RVOS) は、テキストクエリに基づくビデオ内のオブジェクトのセグメンテーションを目的としている。
Refer-Agent (Refer-Agent) は、共用多エージェントシステムである。
論文 参考訳(メタデータ) (2026-02-03T14:48:12Z) - AMAS: Adaptively Determining Communication Topology for LLM-based Multi-Agent System [19.336020954831202]
大規模言語モデル (LLM) は自然言語処理能力に革命をもたらし、産業問題解決のための自律型マルチエージェントシステム (MAS) として実践的に実装されている。
我々は、新しい動的グラフデザイナを通じてLLMベースのMASを再定義するパラダイムシフトフレームワークであるAMASを紹介する。
AMASは個々の入力の固有の特性を利用して、タスク最適化エージェント経路を介してインテリジェントにクエリトラジェクトリをクエリする。
論文 参考訳(メタデータ) (2025-10-02T02:50:22Z) - Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。
古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。
コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
論文 参考訳(メタデータ) (2025-07-21T10:52:14Z) - Enhancing Reasoning Capabilities of Small Language Models with Blueprints and Prompt Template Search [18.317836598695706]
小型言語モデル(SLM)は、大規模言語モデル(LLM)に対する有望で効率的な代替手段を提供する。
我々のフレームワークは、SLMの感度を軽減し、変化を促すプロンプトテンプレート検索機構を統合している。
提案手法は,モデルのサイズを拡大したり,追加のトレーニングを必要とせずに,SLMの推論能力を向上させる。
論文 参考訳(メタデータ) (2025-06-10T10:30:43Z) - Multi-Agent Collaboration via Evolving Orchestration [55.574417128944226]
大規模言語モデル(LLM)は、様々な下流タスクで顕著な成果を上げているが、そのモノリシックな性質は複雑な問題解決におけるスケーラビリティと効率を制限している。
LLMに基づくマルチエージェントコラボレーションのためのパウチスタイルのパラダイムを提案し,タスク状態の進化に応じて,中央集権的なオーケストレータ("puppeteer")がエージェント("puppets")を動的に指示する。
クローズドドメインおよびオープンドメインシナリオの実験により,この手法は計算コストを低減し,優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2025-05-26T07:02:17Z) - Model Composition for Multimodal Large Language Models [71.5729418523411]
本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。
我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-20T06:38:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。