論文の概要: CoLM: Collaborative Large Models via A Client-Server Paradigm
- arxiv url: http://arxiv.org/abs/2511.06991v1
- Date: Mon, 10 Nov 2025 11:42:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-11 21:18:45.220465
- Title: CoLM: Collaborative Large Models via A Client-Server Paradigm
- Title(参考訳): CoLM: クライアントサーバパラダイムによるコラボレーション可能な大規模モデル
- Authors: Siqi Huang, Sida Huang, Hongyuan Zhang,
- Abstract要約: textbfCoLM(textbfCollaboration in textbfLarge-textbfModels)は、協調推論のための新しいフレームワークである。
単一の出力を生成するために複数のモデルからの同時推論に依存する従来のアンサンブル法とは異なり、COLMは複数のモデルの出力を集約または共有することを可能にする。
- 参考スコア(独自算出の注目度): 9.663369879791796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large models have achieved remarkable performance across a range of reasoning and understanding tasks. Prior work often utilizes model ensembles or multi-agent systems to collaboratively generate responses, effectively operating in a server-to-server paradigm. However, such approaches do not align well with practical deployment settings, where a limited number of server-side models are shared by many clients under modern internet architectures. In this paper, we introduce \textbf{CoLM} (\textbf{Co}llaboration in \textbf{L}arge-\textbf{M}odels), a novel framework for collaborative reasoning that redefines cooperation among large models from a client-server perspective. Unlike traditional ensemble methods that rely on simultaneous inference from multiple models to produce a single output, CoLM allows the outputs of multiple models to be aggregated or shared, enabling each client model to independently refine and update its own generation based on these high-quality outputs. This design enables collaborative benefits by fully leveraging both client-side and shared server-side models. We further extend CoLM to vision-language models (VLMs), demonstrating its applicability beyond language tasks. Experimental results across multiple benchmarks show that CoLM consistently improves model performance on previously failed queries, highlighting the effectiveness of collaborative guidance in enhancing single-model capabilities.
- Abstract(参考訳): 大規模モデルは、様々な推論や理解タスクで顕著なパフォーマンスを達成した。
以前の作業では、しばしばモデルアンサンブルやマルチエージェントシステムを使用してレスポンスを協調的に生成し、サーバ間パラダイムで効果的に動作する。
しかし、そのようなアプローチは、現代のインターネットアーキテクチャの下では、限られた数のサーバサイドモデルが多くのクライアントによって共有されるような、実際のデプロイメント設定とうまく一致しない。
本稿では,クライアントサーバの観点から大規模モデル間の協調を再定義する,協調推論のための新しいフレームワークである \textbf{CoLM} (\textbf{Co}llaboration in \textbf{L}arge-\textbf{M}odels) を紹介する。
単一の出力を生成するために複数のモデルからの同時推論に依存する従来のアンサンブル方式とは異なり、COLMは複数のモデルの出力を集約または共有することを可能にし、各クライアントモデルはこれらの高品質な出力に基づいて独立して独自の世代を洗練および更新することができる。
この設計は、クライアントサイドと共有サーバサイドの両方のモデルを完全に活用することで、協調的な利益を可能にします。
さらに、CoLMを視覚言語モデル(VLM)に拡張し、言語タスクを超えた適用性を示す。
複数のベンチマークでの実験結果から、CoLMは以前失敗したクエリのモデル性能を一貫して改善し、単一モデル機能の向上における協調ガイダンスの有効性を強調した。
関連論文リスト
- NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。
NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。
さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
論文 参考訳(メタデータ) (2025-10-15T16:25:18Z) - Efficient LLM Collaboration via Planning [56.081879390960204]
小規模で大規模なモデルでは、プランナーと実行担当者として交代で行動し、タスクを協調的に解決するために、多段階のカスケードでプランを交換する。
私たちはCOPEが大規模プロプライエタリモデルに匹敵するパフォーマンスを実現し,推論APIのコストを大幅に削減できることを実証した。
論文 参考訳(メタデータ) (2025-06-13T08:35:50Z) - MergeBench: A Benchmark for Merging Domain-Specialized LLMs [25.333088749417414]
MergeBenchは、スケールでのモデルマージを評価するために設計された評価スイートである。
2Bから9BスケールのLlamaやGemmaファミリなど、最先端のオープンソース言語モデルの上に構築されている。
マルチタスク性能, 忘れられたこと, 実行効率にまたがる8つの代表的なマージ手法を評価した。
論文 参考訳(メタデータ) (2025-05-16T04:02:55Z) - Synergistic Weak-Strong Collaboration by Aligning Preferences [53.47675666475273]
現在のLarge Language Models (LLMs) は、プロプライエタリな知識やドメイン固有の知識を必要とする特別なタスクに苦戦する一般的な推論において優れている。
本稿では、特殊な弱いモデルと一般的な強いモデルとを組み合わせた協調的なフレームワークを提案する。
相補的な強みを活用することで、コラボレーションが各モデルを単独で著しく上回っていることが分かりました。
論文 参考訳(メタデータ) (2025-04-21T15:57:33Z) - A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。
ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。
当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
論文 参考訳(メタデータ) (2024-11-20T20:38:56Z) - Transformer Architecture for NetsDB [0.0]
我々はNetsDBで機能するディープラーニングモデルのためのトランスフォーマーのエンドツーエンド実装を作成します。
分散処理、デプロイメント、効率的な推論のために、当社のモデルから重みをロードします。
論文 参考訳(メタデータ) (2024-05-08T04:38:36Z) - Learning to Decode Collaboratively with Multiple Language Models [37.31339648499042]
本稿では,複数の大規模言語モデル (LLM) に,トークンレベルで世代間をインターリーブすることで協調する手法を提案する。
復号化中のトークンレベルのコラボレーションは、各モデルの専門知識を、手元にある特定のタスクに合わせて統合することを可能にする。
論文 参考訳(メタデータ) (2024-03-06T17:23:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。