論文の概要: The Conductor and the Engine: A Path Towards Co-Designed Reasoning
- arxiv url: http://arxiv.org/abs/2509.19762v1
- Date: Wed, 24 Sep 2025 05:09:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-25 20:53:19.690269
- Title: The Conductor and the Engine: A Path Towards Co-Designed Reasoning
- Title(参考訳): コンダクタとエンジン:共設計推論への道
- Authors: Yuanxin Wang, Pawel Filipczuk, Anisha Garg, Amaan Dhada, Mohammad Hassanpour, David Bick, Ganesh Venkatesh,
- Abstract要約: LLM推論は、内部モデルトレーニングと外部エージェントオーケストレーションによって駆動される、広範なテスト時間計算に依存している。
この能力とコストのトレードオフを分析し、より小さなオープンソースモデルに対して、モデルのサイズを何倍も上回るように、最適化された推論ワークフロー(cepo)を導入します。
- 参考スコア(独自算出の注目度): 2.112973599034511
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern LLM reasoning relies on extensive test-time computation, driven by internal model training and external agentic orchestration. However, this synergy is often inefficient, as model verbosity and poor instruction following lead to wasted compute. We analyze this capability-cost trade-off and introduce an optimized reasoning workflow (\cepo) that empowers smaller open-source models to outperform models multiple times their size. We will open-source this workflow to enable further research. Our work demonstrates a clear path toward co-designing orchestration frameworks with the underlying model capabilities to unlock powerful reasoning in small-to-medium sized models.
- Abstract(参考訳): 現代のLSM推論は、内部モデルトレーニングと外部エージェントオーケストレーションによって駆動される広範なテスト時間計算に依存している。
しかし、このシナジーはしばしば非効率である。
この能力とコストのトレードオフを分析し、より小さなオープンソースモデルに対して、モデルのサイズを何倍も上回るように、最適化された推論ワークフロー(\cepo)を導入します。
このワークフローをオープンソースにして、さらなる研究を可能にします。
私たちの研究は、小規模から中規模のモデルで強力な推論をアンロックするために、基盤となるモデル機能を備えたオーケストレーションフレームワークを共同設計するための明確な道筋を示しています。
関連論文リスト
- MCP: A Control-Theoretic Orchestration Framework for Synergistic Efficiency and Interpretability in Multimodal Large Language Models [0.0]
本研究では,モデル・コントローラ・タスク適応(MCP)に基づく3層協調フレームワークを提案する。
実験の結果,MPPフレームワークはベースラインモデルと比較して,GLUE,COCO,ScienceQAなどのクロスモーダルベンチマークタスクの性能を15~30%向上し,推論効率を40%向上させ,プレゼンテーション層を通じて解釈可能な中間結果を生成し,手動の解釈可能性スコアの90%を得ることができた。
論文 参考訳(メタデータ) (2025-09-20T09:44:11Z) - Don't Overthink It: A Survey of Efficient R1-style Large Reasoning Models [49.598776427454176]
大規模共振モデル (LRM) は, 複雑なタスクの処理性能に優れていたため, 徐々に研究ホットスポットになりつつある。
しかし、これらのモデルが広く適用されたことにより、過度に考え直すという問題が徐々に顕在化していった。
モデル性能と推論能力を損なうことなく、推論経路の長さを短縮することを目的とした、様々な効率的な推論手法が提案されている。
論文 参考訳(メタデータ) (2025-08-04T06:54:31Z) - Synergistic Weak-Strong Collaboration by Aligning Preferences [53.47675666475273]
現在のLarge Language Models (LLMs) は、プロプライエタリな知識やドメイン固有の知識を必要とする特別なタスクに苦戦する一般的な推論において優れている。
本稿では、特殊な弱いモデルと一般的な強いモデルとを組み合わせた協調的なフレームワークを提案する。
相補的な強みを活用することで、コラボレーションが各モデルを単独で著しく上回っていることが分かりました。
論文 参考訳(メタデータ) (2025-04-21T15:57:33Z) - LoRE-Merging: Exploring Low-Rank Estimation For Large Language Model Merging [10.33844295243509]
基本モデルであるtextscLoRE-Merging へのアクセスを必要とせず,タスクベクトルの低ランク推定に基づくモデルマージのための統一フレームワークを提案する。
我々のアプローチは、細調整されたモデルからのタスクベクトルは、しばしば支配的な特異値の限られた数しか示さず、低ランク推定が干渉しにくくなるという観察に動機づけられている。
論文 参考訳(メタデータ) (2025-02-15T10:18:46Z) - RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。
フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。
本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
論文 参考訳(メタデータ) (2023-08-15T17:59:18Z) - When to Update Your Model: Constrained Model-based Reinforcement
Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。
続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。
さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文 参考訳(メタデータ) (2022-10-15T17:57:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。