論文の概要: Learning to Ask: Information Acquisition for SLM-LLM Collaboration, under a budget

• arxiv url: http://arxiv.org/abs/2610.01236v1
• Date: Thu, 01 Oct 2026 07:36:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.970445
• Title: Learning to Ask: Information Acquisition for SLM-LLM Collaboration, under a budget
• Title（参考訳）: 質問への学習:予算下におけるSLM-LLMコラボレーションのための情報獲得
• Abstract要約: 小さな言語モデル(SLM)と大きな言語モデル(LLM)のコラボレーションは、小さなモデルの効率性と大きなモデルの強力な推論能力を組み合わせる機会を提供する。 既存のアプローチは、主に計算割り当て問題のような協調の枠組みで、推論プロセスの各部分をどのモデルで扱うべきかを決定する。 本研究では,API予算制約の下で情報取得問題としてSLM-LLMコラボレーションを定式化する。
• 参考スコア（独自算出の注目度）: 39.571517695772705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Collaboration between a small language model (SLM) and a large language model (LLM) offers an opportunity to combine the efficiency of smaller models with the strong reasoning capabilities of larger ones. Existing approaches primarily frame such collaboration as a computation allocation problem, determining which model should handle each portion of the reasoning process. In black-box API-based settings, however, this paradigm can be inefficient due to coarse-grained delegation or repeated transmission of context across model switches. In this work, we instead formulate SLM-LLM collaboration as an information acquisition problem, under an API budget constraint. The SLM remains the primary reasoner and selectively queries a black-box LLM advisor only when needed, issuing targeted queries rather than delegating the reasoning process itself. To realize this strategy, we develop a three-stage RLVR framework that learns whether to call the advisor, how to formulate useful queries, and how to integrate the collaboration into the reasoning process by jointly refining advisor invocation and information use. Across mathematical reasoning and coding tasks, our approach improves the performance--cost tradeoff over existing collaboration baselines and, in some settings, matches or exceeds oracle problem-level routing. Finally, we show that our strategy can transfer to other advisor model families, without further training.
• Abstract（参考訳）: 小さい言語モデル(SLM)と大きな言語モデル(LLM)のコラボレーションは、小さなモデルの効率性と大きなモデルの強力な推論能力を組み合わせる機会を提供する。 既存のアプローチは、主に計算割り当て問題のような協調の枠組みで、推論プロセスの各部分をどのモデルで扱うべきかを決定する。 しかし、ブラックボックスAPIベースの設定では、粗いデリゲートやモデルスイッチ間のコンテキストの繰り返し送信のために、このパラダイムは非効率である可能性がある。 本研究では,API予算制約の下で情報取得問題としてSLM-LLMコラボレーションを定式化する。 SLMは依然として主要な推論者であり、必要に応じてブラックボックスのLSMアドバイザを選択的にクエリし、推論プロセス自体をデリゲートするのではなく、ターゲットクエリを発行する。 この戦略を実現するために,3段階のRLVRフレームワークを開発し,アドバイザの呼び方,有用なクエリの定式化方法,およびアドバイザの呼び出しと情報利用を共同で洗練することにより,推論プロセスにコラボレーションを統合する方法について検討する。 数学的推論やコーディングタスク全体にわたって、我々のアプローチは既存のコラボレーションベースラインに対するパフォーマンス-コストのトレードオフを改善し、いくつかの設定では、オラクル問題レベルのルーティングにマッチするか、超えます。 最後に、我々の戦略は、さらなる訓練をすることなく、他のアドバイザモデルファミリーに移行できることを示します。

関連論文リスト

• Mixture of Complementary Agents for Robust LLM Ensemble [28.210955621253863]
  大規模言語モデル(LLM)のアンサンブルや議論のようなマルチAIコラボレーションは、情報収集とパフォーマンス向上のための有望なパラダイムである。 既存のアプローチは、主に正確性(最強のモデルを選ぶ)または多様性(多様性の保証)に焦点を当てています。 我々は、LLMの値が他と相補関係にある特徴選択に類似した選択問題として、提案者選択を再設定する。
  論文  参考訳（メタデータ） (2026-05-21T21:29:05Z)
• Planning without Search: Refining Frontier LLMs with Offline Goal-Conditioned RL [62.984693936073974]
  大きな言語モデル(LLM)は、質問応答や対話といったタスクに優れています。 交渉や説得のような相互作用を必要とする複雑なタスクは、さらなる長期の推論と計画を必要とする。 目的条件付き値関数を用いて LLM エージェントの推論を導出する手法を提案する。
  論文  参考訳（メタデータ） (2025-05-23T16:51:54Z)
• New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration [49.180693704510006]
  Referring Expression (REC) は、言語理解、画像理解、言語と画像の接点の相互作用を評価するためのクロスモーダルなタスクである。 MLLM(Multimodal Large Language Models)の試験場として機能する。
  論文  参考訳（メタデータ） (2025-02-27T13:58:44Z)
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)
• CoRAL: Collaborative Retrieval-Augmented Large Language Models Improve Long-tail Recommendation [34.29410946387975]
  我々は,協調的な証拠を直接プロンプトに組み込む共同検索強化型LLM,CoRALを紹介した。 LLMは、ユーザ間の共有や個別の好みを分析し、特定のアイテムにどのタイプのユーザが惹かれるかを示すパターンを要約することができる。 実験の結果,コラルは特定のレコメンデーションタスクにおけるLLMの推論能力を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-03-11T05:49:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。