Fugu-MT 論文翻訳(概要): Towards Harnessing the Collaborative Power of Large and Small Models for Domain Tasks

論文の概要: Towards Harnessing the Collaborative Power of Large and Small Models for Domain Tasks

arxiv url: http://arxiv.org/abs/2504.17421v1
Date: Thu, 24 Apr 2025 10:24:35 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:53.326091
Title: Towards Harnessing the Collaborative Power of Large and Small Models for Domain Tasks
Title（参考訳）: ドメイン・タスクにおける大規模・小規模モデルの協調力の調和に向けて
Authors: Yang Liu, Bingjie Yan, Tianyuan Zou, Jianqing Zhang, Zixuan Gu, Jianbing Ding, Xidong Wang, Jingyi Li, Xiaozhou Ye, Ye Ouyang, Qiang Yang, Ya-Qin Zhang,
Abstract要約: 大規模言語モデル(LLM)は目覚ましい能力を示しているが、膨大な量のデータと計算資源を必要とする。対照的に、より小さなモデル(SM)は特定のドメインに適応し、より効率的である。
参考スコア（独自算出の注目度）: 20.370633539861746
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Large language models (LLMs) have demonstrated remarkable capabilities, but they require vast amounts of data and computational resources. In contrast, smaller models (SMs), while less powerful, can be more efficient and tailored to specific domains. In this position paper, we argue that taking a collaborative approach, where large and small models work synergistically, can accelerate the adaptation of LLMs to private domains and unlock new potential in AI. We explore various strategies for model collaboration and identify potential challenges and opportunities. Building upon this, we advocate for industry-driven research that prioritizes multi-objective benchmarks on real-world private datasets and applications.
Abstract（参考訳）: 大規模言語モデル(LLM)は目覚ましい能力を示しているが、膨大な量のデータと計算資源を必要とする。対照的に、より小さなモデル(SM)はより強力でないが、特定のドメインに合わせてより効率的でカスタマイズできる。本稿では,大規模モデルと小型モデルが相乗的に機能する協調的アプローチを採用することで,LLMのプライベートドメインへの適応を加速し,AIにおける新たな可能性の解放を可能にすることを論じる。モデルコラボレーションのためのさまざまな戦略を検討し、潜在的な課題と機会を特定します。これに基づいて、実世界のプライベートデータセットとアプリケーションに対して、多目的ベンチマークを優先する業界主導の研究を提唱する。

関連論文リスト

Synergistic Weak-Strong Collaboration by Aligning Preferences [53.47675666475273]
現在のLarge Language Models (LLMs) は、プロプライエタリな知識やドメイン固有の知識を必要とする特別なタスクに苦戦する一般的な推論において優れている。本稿では、特殊な弱いモデルと一般的な強いモデルとを組み合わせた協調的なフレームワークを提案する。相補的な強みを活用することで、コラボレーションが各モデルを単独で著しく上回っていることが分かりました。
論文参考訳（メタデータ） (2025-04-21T15:57:33Z)
An Overview of Large Language Models for Statisticians [109.38601458831545]
大規模言語モデル(LLM)は人工知能(AI)の変換ツールとして登場した。本稿では, 統計学者がLLMの開発に重要な貢献できる可能性について考察する。我々は不確実性定量化、解釈可能性、公正性、プライバシー、透かし、モデル適応といった問題に焦点を当てる。
論文参考訳（メタデータ） (2025-02-25T03:40:36Z)
Benchmarking Large and Small MLLMs [71.78055760441256]
大規模なマルチモーダル言語モデル(MLLM)は、マルチモーダルコンテンツの理解と生成において顕著な進歩を遂げている。しかし、そのデプロイメントは、遅い推論、高い計算コスト、デバイス上のアプリケーションに対する非現実性など、重大な課題に直面している。 LLavaシリーズモデルとPhi-3-Visionによって実証された小さなMLLMは、より高速な推論、デプロイメントコストの削減、ドメイン固有のシナリオを扱う能力を備えた有望な代替手段を提供する。
論文参考訳（メタデータ） (2025-01-04T07:44:49Z)
MoDEM: Mixture of Domain Expert Models [23.846823652305027]
大規模言語モデル(LLM)の性能と効率を向上させる新しい手法を提案する。本稿では、BERTベースのルータを用いて、最も適切なドメインエキスパートモデルに入力プロンプトを指示するシステムを提案する。本研究は,本手法が同等の大きさの汎用モデルを大幅に上回ることを示す。
論文参考訳（メタデータ） (2024-10-09T23:52:54Z)
On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
論文参考訳（メタデータ） (2024-10-08T03:12:57Z)
COLLAGE: Collaborative Human-Agent Interaction Generation using Hierarchical Latent Diffusion and Language Models [14.130327598928778]
大規模言語モデル (LLMs) と階層型運動固有ベクトル量子化変分オートエンコーダ (VQ-VAEs) を提案する。我々のフレームワークは、現実的で多様な協調的な人間-オブジェクト-ヒューマンインタラクションを生成し、最先端の手法より優れています。我々の研究は、ロボット工学、グラフィックス、コンピュータビジョンなど、様々な領域における複雑な相互作用をモデリングする新たな可能性を開く。
論文参考訳（メタデータ） (2024-09-30T17:02:13Z)
Towards a Unified View of Preference Learning for Large Language Models: A Survey [88.66719962576005]
大きな言語モデル(LLM)は、非常に強力な能力を示す。成功するための重要な要因の1つは、LLMの出力を人間の好みに合わせることである。選好学習のすべての戦略を、モデル、データ、フィードバック、アルゴリズムの4つの構成要素に分解する。
論文参考訳（メタデータ） (2024-09-04T15:11:55Z)
Charting New Territories: Exploring the Geographic and Geospatial Capabilities of Multimodal LLMs [35.86744469804952]
MLLM(Multimodal large language model)は、幅広いタスクにおいて顕著な能力を示しているが、地理的および地理空間領域におけるその知識と能力はまだ研究されていない。我々はこれらの領域におけるMLLMの様々な視覚能力を探索する一連の実験を行い、特にフロンティアモデル GPT-4V に注目した。我々の手法は、視覚的なタスクからなる小さなベンチマークでこれらのモデルに挑戦し、その能力を様々な複雑さでテストする。
論文参考訳（メタデータ） (2023-11-24T18:46:02Z)
Federated Learning in Big Model Era: Domain-Specific Multimodal Large Models [15.86733931081981]
物理的な世界を包括的に知覚し、認識できるマルチモーダルデータは、汎用人工知能にとって不可欠な道のりとなっている。本稿では、複数の企業がプライベートドメインデータを利用して、垂直ドメインの大規模モデルを訓練できるマルチモーダル・フェデレート学習フレームワークを提案する。予備的な実験により、企業はマルチモーダルモデルフェデレーション学習を通じてインテリジェントな能力を強化し、蓄積することができる。
論文参考訳（メタデータ） (2023-08-22T06:05:11Z)
Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文参考訳（メタデータ） (2023-03-13T16:00:31Z)
High-Modality Multimodal Transformer: Quantifying Modality & Interaction Heterogeneity for High-Modality Representation Learning [112.51498431119616]
本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
論文参考訳（メタデータ） (2022-03-02T18:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。