論文の概要: MoCo: A One-Stop Shop for Model Collaboration Research

• arxiv url: http://arxiv.org/abs/2601.21257v1
• Date: Thu, 29 Jan 2026 04:36:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.574931
• Title: MoCo: A One-Stop Shop for Model Collaboration Research
• Title（参考訳）: MoCo: モデルコラボレーション研究のためのワンストップショップ
• Authors: Shangbin Feng, Yuyang Bai, Ziyuan Yang, Yike Wang, Zhaoxuan Tan, Jiajie Yan, Zhenyu Lei, Wenxuan Ding, Weijia Shi, Haojin Wang, Zhenting Qi, Yuru Jiang, Heng Wang, Chengsong Huang, Yu Fei, Jihan Yao, Yilun Du, Luke Zettlemoyer, Yejin Choi, Yulia Tsvetkov,
• Abstract要約: MoCo: 大規模なモデルコラボレーションアルゴリズムの実行、ベンチマーク、比較を行う、ワンストップPythonライブラリ。 MoCoは26のモデルコラボレーションメソッドを備えており、さまざまなレベルのクロスモデル情報交換が可能である。 MoCoによる大規模な実験は、ほとんどのコラボレーション戦略が、コラボレーションなしでモデルより優れていることを示している。 私たちは、MoCoをオープンでモジュール化され、分散化され、協力的なAIの未来を探求するための、貴重なツールキットとして想定しています。
• 参考スコア（独自算出の注目度）: 132.52160996841505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Advancing beyond single monolithic language models (LMs), recent research increasingly recognizes the importance of model collaboration, where multiple LMs collaborate, compose, and complement each other. Existing research on this topic has mostly been disparate and disconnected, from different research communities, and lacks rigorous comparison. To consolidate existing research and establish model collaboration as a school of thought, we present MoCo: a one-stop Python library of executing, benchmarking, and comparing model collaboration algorithms at scale. MoCo features 26 model collaboration methods, spanning diverse levels of cross-model information exchange such as routing, text, logit, and model parameters. MoCo integrates 25 evaluation datasets spanning reasoning, QA, code, safety, and more, while users could flexibly bring their own data. Extensive experiments with MoCo demonstrate that most collaboration strategies outperform models without collaboration in 61.0% of (model, data) settings on average, with the most effective methods outperforming by up to 25.8%. We further analyze the scaling of model collaboration strategies, the training/inference efficiency of diverse methods, highlight that the collaborative system solves problems where single LMs struggle, and discuss future work in model collaboration, all made possible by MoCo. We envision MoCo as a valuable toolkit to facilitate and turbocharge the quest for an open, modular, decentralized, and collaborative AI future.
• Abstract（参考訳）: 単一のモノリシック言語モデル(LM)を超えて、最近の研究は、複数のLMが協力し、構成し、補完するモデルコラボレーションの重要性をますます認識している。 このトピックに関する既存の研究は、主に異なる研究コミュニティから分離され、分離され、厳密な比較が欠如している。 既存の研究を統合し,モデルコラボレーションを思考の流派として確立するために,モデルコラボレーションアルゴリズムを大規模に実行し,ベンチマークし,比較するワンストップPythonライブラリであるMoCoを紹介した。 MoCoは26のモデルコラボレーションメソッドを備えており、ルーティング、テキスト、ロジット、モデルパラメータなどのさまざまなモデルの情報交換レベルにまたがっている。 MoCoは推論、QA、コード、安全性などを含む25の評価データセットを統合している。 MoCoによる大規模な実験では、ほとんどのコラボレーション戦略は、平均して61.0%の(モデル、データ)設定で、コラボレーションなしでモデルよりも優れており、最も効果的な手法は25.8%も上回っている。 さらに、モデルコラボレーション戦略のスケーリング、多様な手法のトレーニング/推論効率を分析し、単一のLMが苦労する問題を協調システムが解決していることを強調し、MoCoによって実現されたモデルコラボレーションにおける今後の作業について議論する。 私たちは、MoCoをオープンでモジュール化され、分散化され、協力的なAIの未来を探求するための、貴重なツールキットとして想定しています。

関連論文リスト

• KCM: KAN-Based Collaboration Models Enhance Pretrained Large Models [62.658961779827145]
  大規模モデルコラボレーションにおける改良手法として,Kan-based Collaborative Model (KCM)を提案する。 Kanは、破滅的な忘れを緩和しながら、優れた視認性と解釈性を提供する。
  論文  参考訳（メタデータ） (2025-10-23T07:06:21Z)
• MCP: A Control-Theoretic Orchestration Framework for Synergistic Efficiency and Interpretability in Multimodal Large Language Models [0.0]
  本研究では,モデル・コントローラ・タスク適応(MCP)に基づく3層協調フレームワークを提案する。 実験の結果,MPPフレームワークはベースラインモデルと比較して,GLUE,COCO,ScienceQAなどのクロスモーダルベンチマークタスクの性能を15～30%向上し,推論効率を40%向上させ,プレゼンテーション層を通じて解釈可能な中間結果を生成し,手動の解釈可能性スコアの90%を得ることができた。
  論文  参考訳（メタデータ） (2025-09-20T09:44:11Z)
• Efficient LLM Collaboration via Planning [56.081879390960204]
  小規模で大規模なモデルでは、プランナーと実行担当者として交代で行動し、タスクを協調的に解決するために、多段階のカスケードでプランを交換する。 私たちはCOPEが大規模プロプライエタリモデルに匹敵するパフォーマンスを実現し,推論APIのコストを大幅に削減できることを実証した。
  論文  参考訳（メタデータ） (2025-06-13T08:35:50Z)
• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• MergeBench: A Benchmark for Merging Domain-Specialized LLMs [25.333088749417414]
  MergeBenchは、スケールでのモデルマージを評価するために設計された評価スイートである。 2Bから9BスケールのLlamaやGemmaファミリなど、最先端のオープンソース言語モデルの上に構築されている。 マルチタスク性能, 忘れられたこと, 実行効率にまたがる8つの代表的なマージ手法を評価した。
  論文  参考訳（メタデータ） (2025-05-16T04:02:55Z)
• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。