論文の概要: A Survey on Collaborative Mechanisms Between Large and Small Language Models

• arxiv url: http://arxiv.org/abs/2505.07460v1
• Date: Mon, 12 May 2025 11:48:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.363443
• Title: A Survey on Collaborative Mechanisms Between Large and Small Language Models
• Title（参考訳）: 大規模言語モデルと小言語モデルの協調メカニズムに関する調査
• Authors: Yi Chen, JiaHao Zhao, HaoHao Han,
• Abstract要約: 大規模言語モデル(LLM)は強力なAI機能を提供するが、高いリソースコストとレイテンシのためにデプロイメントの課題に直面している。 小型言語モデル(SLM)は、性能の低下を犠牲にして効率性とデプロイ性を提供する。
• 参考スコア（独自算出の注目度）: 5.1159419867547085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) deliver powerful AI capabilities but face deployment challenges due to high resource costs and latency, whereas Small Language Models (SLMs) offer efficiency and deployability at the cost of reduced performance. Collaboration between LLMs and SLMs emerges as a crucial paradigm to synergistically balance these trade-offs, enabling advanced AI applications, especially on resource-constrained edge devices. This survey provides a comprehensive overview of LLM-SLM collaboration, detailing various interaction mechanisms (pipeline, routing, auxiliary, distillation, fusion), key enabling technologies, and diverse application scenarios driven by on-device needs like low latency, privacy, personalization, and offline operation. While highlighting the significant potential for creating more efficient, adaptable, and accessible AI, we also discuss persistent challenges including system overhead, inter-model consistency, robust task allocation, evaluation complexity, and security/privacy concerns. Future directions point towards more intelligent adaptive frameworks, deeper model fusion, and expansion into multimodal and embodied AI, positioning LLM-SLM collaboration as a key driver for the next generation of practical and ubiquitous artificial intelligence.
• Abstract（参考訳）: 大きな言語モデル(LLM)は強力なAI機能を提供するが、高いリソースコストとレイテンシのためにデプロイメントの課題に直面している。 LLMとSLMのコラボレーションは、これらのトレードオフを相乗的にバランスさせる重要なパラダイムとして現れ、特にリソース制約のあるエッジデバイスにおいて高度なAIアプリケーションを可能にする。 この調査では、LLM-SLMコラボレーションの概要を概観し、さまざまなインタラクションメカニズム(パイプライン、ルーティング、補助、蒸留、融合)、キー可能な技術、低レイテンシ、プライバシ、パーソナライゼーション、オフライン操作といったデバイス上のニーズによって駆動される多様なアプリケーションシナリオについて詳述する。 より効率的で適応性があり、アクセス可能なAIを作成するための大きな可能性を強調しながら、システムのオーバーヘッド、モデル間の一貫性、堅牢なタスク割り当て、評価の複雑さ、セキュリティ/プライバシの懸念など、永続的な課題についても論じています。 将来的な方向性は、よりインテリジェントな適応フレームワーク、より深いモデル融合、マルチモーダルで具体化されたAIへの拡張、LLM-SLMコラボレーションを次世代の実用的でユビキタスな人工知能のキードライバーとして位置づけることである。

関連論文リスト

• Edge-Cloud Collaborative Computing on Distributed Intelligence and Model Optimization: A Survey [59.52058740470727]
  エッジクラウドコラボレーティブコンピューティング(ECCC)は、現代のインテリジェントアプリケーションの計算要求に対処するための重要なパラダイムとして登場した。 AIの最近の進歩、特にディープラーニングと大規模言語モデル(LLM)は、これらの分散システムの能力を劇的に向上させてきた。 この調査は、基本的なアーキテクチャ、技術の実現、新しいアプリケーションに関する構造化されたチュートリアルを提供する。
  論文  参考訳（メタデータ） (2025-05-03T13:55:38Z)
• Federated Intelligence: When Large AI Models Meet Federated Fine-Tuning and Collaborative Reasoning at the Network Edge [10.848407787567519]
  大規模人工知能(AI)モデルは、様々なアプリケーションシナリオにおいて顕著な能力を示す。 ネットワークエッジにデプロイすることは、データプライバシや計算リソース、レイテンシといった問題によって、重大な問題を引き起こす。 本稿では,資源制約のある無線ネットワークにおける大規模AIモデルの実装を容易にするための,ファインチューニングと協調推論技術について検討する。
  論文  参考訳（メタデータ） (2025-03-27T11:56:36Z)
• Towards Agentic Recommender Systems in the Era of Multimodal Large Language Models [75.4890331763196]
  大規模言語モデル(LLM)の最近のブレークスルーは、エージェントAIシステムの出現につながっている。 LLMベースのAgentic RS(LLM-ARS)は、よりインタラクティブで、コンテキストを認識し、プロアクティブなレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2025-03-20T22:37:15Z)
• An Overview of Large Language Models for Statisticians [109.38601458831545]
  大規模言語モデル(LLM)は人工知能(AI)の変換ツールとして登場した。 本稿では, 統計学者がLLMの開発に重要な貢献できる可能性について考察する。 我々は不確実性定量化、解釈可能性、公正性、プライバシー、透かし、モデル適応といった問題に焦点を当てる。
  論文  参考訳（メタデータ） (2025-02-25T03:40:36Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Large Language Models for Multi-Robot Systems: A Survey [9.31855372655603]
  マルチロボットシステム(MRS)は、調整、スケーラビリティ、現実の適応性など、ユニークな課題を提起する。 このサーベイは、MSSへのLLM(Large Language Models)統合に関する最初の包括的な調査を提供する。 家庭用ロボティクス、建設、構成制御、目標追跡、ロボットゲームなど、さまざまな分野における重要な応用に焦点を当てる。
  論文  参考訳（メタデータ） (2025-02-06T06:52:14Z)
• Large Language Model as a Catalyst: A Paradigm Shift in Base Station Siting Optimization [62.16747639440893]
  大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。 提案するフレームワークは、検索拡張生成(RAG)を組み込んで、ドメイン固有の知識を取得してソリューションを生成するシステムの能力を高める。
  論文  参考訳（メタデータ） (2024-08-07T08:43:32Z)
• A General-Purpose Device for Interaction with LLMs [3.052172365469752]
  本稿では,大規模言語モデル(LLM)と高度なハードウェアの統合について検討する。 我々は,LLMとの対話性の向上を目的とした汎用デバイスの開発に焦点をあてる。
  論文  参考訳（メタデータ） (2024-08-02T23:43:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。