論文の概要: Collaborative Learning and Reasoning over Model Slices

• arxiv url: http://arxiv.org/abs/2610.12927v1
• Date: Fri, 09 Oct 2026 03:17:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.37136
• Title: Collaborative Learning and Reasoning over Model Slices
• Title（参考訳）: モデルスライスによる協調学習と推論
• Abstract要約: 我々は、異種共同作業者の構築と効果的なクロスモデルコラボレーションの学習を含むテキスト協調学習を開発する。 具体的には、テキストモデルのスライシングは、大きなモデルに匹敵するパラメータ予算の下で、より小さく異質なモデルを置き換える。 我々は, マルチホップ質問応答, 数学的推論, コード生成, 開放的制約生成の4つのカテゴリにまたがるアプローチを評価する。
• 参考スコア（独自算出の注目度）: 10.321609339711273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) excel across diverse tasks, benefiting from knowledge priors, in-context reasoning, and test-time computation. Despite these strengths, single-model reasoning remains vulnerable to error propagation, as later steps depend on the model's earlier outputs, leaving reasoning blind spots difficult to independently reassess. To address this limitation, we develop \textit{collaborative learning}, encompassing the construction of heterogeneous collaborators and the learning of effective cross-model collaboration. Specifically, \textit{model slicing} replaces a large model with smaller, heterogeneous models under a comparable parameter budget, enabling prior reasoning to be reassessed across distinct model parameterizations. \textit{Pyramid supervision} combines protocol distillation with step-level supervision to refine reasoning and interaction decisions throughout collaboration. We evaluate our approach across four task categories: multi-hop question answering, mathematical reasoning, code generation, and open-ended constrained generation. The trained heterogeneous models achieve comparable or better task performance than the original large model and established multi-agent baselines, including reinforcement-learning-based methods, while also achieving higher inference efficiency than the multi-agent baselines and exhibiting differentiated collaboration patterns across tasks. These findings show that learned collaboration turns model heterogeneity into complementary reasoning capabilities.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、知識優先、コンテキスト内推論、テスト時間計算の恩恵を受け、様々なタスクにまたがって優れている。 これらの強みにもかかわらず、単一モデルの推論はエラーの伝播に弱いままであり、後のステップはモデルの初期の出力に依存する。 この制限に対処するために、異種協調体の構築と効果的なクロスモデル協調の学習を含む「textit{collaborative learning}」を開発する。 具体的には、 \textit{model slicing} は、大きなモデルを同等のパラメータ予算の下で、より小さく異質なモデルに置き換える。 プロトコルの蒸留とステップレベルの監督を組み合わせることで、共同作業を通じて推論と相互作用の決定を洗練させる。 我々は, マルチホップ質問応答, 数学的推論, コード生成, 開放的制約生成の4つのカテゴリにまたがるアプローチを評価する。 トレーニングされたヘテロジニアスモデルは,従来の大規模モデルと同等あるいは優れたタスク性能を達成し,強化学習に基づく手法を含むマルチエージェントベースラインを確立するとともに,マルチエージェントベースラインよりも高い推論効率を実現し,タスク間で異なるコラボレーションパターンを示す。 これらの結果は、学習されたコラボレーションが異質性を相補的推論能力に変えることを示している。

関連論文リスト

• The Law of Multi-Model Collaboration: Scaling Limits of Model Ensembling for Large Language Models [54.51795784459866]
  マルチモデル協調のための性能スケーリングの理論的枠組みを提案する。 本稿では,マルチモデルシステムにおいて,パラメータの総数に関して,パワー則のスケーリングが従うことを示す。 不均一なモデルファミリのアンサンブルは、単一のモデルファミリ内で形成されたものよりも優れたパフォーマンスのスケーリングを実現する。
  論文  参考訳（メタデータ） (2025-12-29T09:55:12Z)
• The Thinking Spectrum: An Empirical Study of Tunable Reasoning in LLMs through Model Merging [8.930191971732649]
  本稿では,複数の推論ベンチマークにまたがるモデルマージ手法について,大規模な実験的検討を行った。 その結果, モデルマージは, 推論精度とトークン効率のトレードオフを校正するための, 効果的かつ制御可能な手法であることがわかった。 本研究は、この調整可能な空間を包括的に解析し、特定の推論プロファイルを持つLCMを作成するための実践的ガイドラインを提供する。
  論文  参考訳（メタデータ） (2025-09-26T08:12:13Z)
• Synergistic Weak-Strong Collaboration by Aligning Preferences [53.47675666475273]
  現在のLarge Language Models (LLMs) は、プロプライエタリな知識やドメイン固有の知識を必要とする特別なタスクに苦戦する一般的な推論において優れている。 本稿では、特殊な弱いモデルと一般的な強いモデルとを組み合わせた協調的なフレームワークを提案する。 相補的な強みを活用することで、コラボレーションが各モデルを単独で著しく上回っていることが分かりました。
  論文  参考訳（メタデータ） (2025-04-21T15:57:33Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
  一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。 以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
  論文  参考訳（メタデータ） (2024-04-02T22:27:24Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。