論文の概要: MLink: Linking Black-Box Models from Multiple Domains for Collaborative Inference

• arxiv url: http://arxiv.org/abs/2209.13883v1
• Date: Wed, 28 Sep 2022 07:29:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 16:54:07.104250
• Title: MLink: Linking Black-Box Models from Multiple Domains for Collaborative Inference
• Title（参考訳）: MLink: 協調推論のために複数のドメインからブラックボックスモデルをリンクする
• Authors: Mu Yuan, Lan Zhang, Zimu Zheng, Yi-Nan Zhang, Xiang-Yang Li
• Abstract要約: 本研究では,ブラックボックスMLモデル間の基礎的関係について検討する。 本稿では,モデルリンクという新しい学習課題を提案する。 モデルリンクの適応と集約法を提案する。
• 参考スコア（独自算出の注目度）: 15.819542014538657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The cost efficiency of model inference is critical to real-world machine learning (ML) applications, especially for delay-sensitive tasks and resource-limited devices. A typical dilemma is: in order to provide complex intelligent services (e.g. smart city), we need inference results of multiple ML models, but the cost budget (e.g. GPU memory) is not enough to run all of them. In this work, we study underlying relationships among black-box ML models and propose a novel learning task: model linking, which aims to bridge the knowledge of different black-box models by learning mappings (dubbed model links) between their output spaces. We propose the design of model links which supports linking heterogeneous black-box ML models. Also, in order to address the distribution discrepancy challenge, we present adaptation and aggregation methods of model links. Based on our proposed model links, we developed a scheduling algorithm, named MLink. Through collaborative multi-model inference enabled by model links, MLink can improve the accuracy of obtained inference results under the cost budget. We evaluated MLink on a multi-modal dataset with seven different ML models and two real-world video analytics systems with six ML models and 3,264 hours of video. Experimental results show that our proposed model links can be effectively built among various black-box models. Under the budget of GPU memory, MLink can save 66.7% inference computations while preserving 94% inference accuracy, which outperforms multi-task learning, deep reinforcement learning-based scheduler and frame filtering baselines.
• Abstract（参考訳）: モデル推論のコスト効率は、現実の機械学習(ML)アプリケーション、特に遅延に敏感なタスクやリソース制限されたデバイスに不可欠である。 典型的なジレンマは、複雑なインテリジェントなサービス(スマートシティなど)を提供するには、複数のMLモデルの推論結果が必要ですが、コスト予算(GPUメモリなど)はそれらすべてを実行するには不十分です。 本研究では,ブラックボックスmlモデル間の基礎的関係を調査し,その出力空間間のマッピング(ダビングモデルリンク)を学習することで,ブラックボックスモデルの知識を橋渡しすることを目的とした,新しい学習タスクであるモデルリンクを提案する。 異種ブラックボックスMLモデルのリンクを支援するモデルリンクの設計を提案する。 また,分布の不一致問題に対処するため,モデルリンクの適応と集約手法を提案する。 提案するモデルリンクに基づいて,MLinkというスケジューリングアルゴリズムを開発した。 モデルリンクによる協調的マルチモデル推論により,MLinkはコスト予算の下で得られた推論結果の精度を向上させることができる。 MLinkを7つの異なるMLモデルと2つの実世界のビデオ分析システムと6つのMLモデルと3,264時間のビデオを含むマルチモーダルデータセットで評価した。 実験の結果,提案するモデルリンクは,様々なブラックボックスモデル間で効果的に構築できることがわかった。 GPUメモリの予算の下では、MLinkは66.7%の推論計算を節約し、94%の推論精度を保ち、マルチタスク学習、ディープ強化学習ベースのスケジューラ、フレームフィルタリングベースラインを上回っている。

関連論文リスト

• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 我々の研究は、既存のLCMスケーリングテクニック、特に選択的マージと混合のバリエーションのベンチマークから始まります。 我々の手法は、マージ可能なモデルのクラスタリングと最適なマージ戦略選択、モデルミックスによるクラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• What to do if language models disagree? Black-box model ensembling for textual and visual question answering [2.1439084103679273]
  我々は、既存のブラックボックスモデルから勝者を選ぶことを学ぶデータ効率で軽量なアンサンブル手法であるInfoSelを紹介する。 我々は,F1スコアにおいて,スタンドアローンLLMと比較して,最大5.27%の絶対的な増加を実現していることを示す。
  論文  参考訳（メタデータ） (2024-07-04T12:59:10Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Cross-Domain Transfer Learning with CoRTe: Consistent and Reliable Transfer from Black-Box to Lightweight Segmentation Model [25.3403116022412]
  CoRTeは、ブラックボックスソースモデルから信頼できる知識を抽出する擬似ラベリング関数である。 我々は,2つの合成から現実の環境でCoRTeをベンチマークし,ブラックボックスモデルを用いて目標データ分布の軽量モデルにおける知識を伝達する際,顕著な結果を示した。
  論文  参考訳（メタデータ） (2024-02-20T16:35:14Z)
• Representation Surgery for Multi-Task Model Merging [57.63643005215592]
  マルチタスク学習(MTL)は、複数のタスクから情報を統一されたバックボーンに圧縮し、計算効率と一般化を改善する。 最近の研究は、複数の独立して訓練されたモデルをマージして、共同トレーニングのために生データを収集する代わりにMLLを実行する。 既存のモデルマージスキームの表現分布を可視化することにより、マージモデルはしばしば表現バイアスのジレンマに悩まされる。
  論文  参考訳（メタデータ） (2024-02-05T03:39:39Z)
• Reformulating Vision-Language Foundation Models and Datasets Towards Universal Multimodal Assistants [65.47222691674074]
  Muffinフレームワークは、事前訓練された視覚言語モデルを使用して視覚信号のプロバイダとして機能する。 UniMM-Chatデータセットはデータセットの相補性を探求し、高品質で多様なマルチモーダル命令を生成する。
  論文  参考訳（メタデータ） (2023-10-01T12:35:18Z)
• UnIVAL: Unified Model for Image, Video, Audio and Language Tasks [105.77733287326308]
  UnIVALモデルは2つのモードを超えて、テキスト、画像、ビデオ、オーディオを1つのモデルに統合する。 本モデルは,タスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクに対して効率的に事前学習を行う。 統一モデルにより、重み一般化によるマルチモーダルモデルの融合に関する新しい研究を提案する。
  論文  参考訳（メタデータ） (2023-07-30T09:48:36Z)
• Two Independent Teachers are Better Role Model [7.001845833295753]
  我々は3D-DenseUNetと呼ばれる新しいディープラーニングモデルを提案する。 ダウンサンプリングにおけるグローバルアグリゲーションブロックとして機能し、空間情報損失の問題を解決する。 また,ラベル予測の代わりにモデル重みを要約した「2つの独立教師」という手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T08:22:41Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Training Structured Mechanical Models by Minimizing Discrete Euler-Lagrange Residual [36.52097893036073]
  structured mechanical models (smms) は、機械システムのデータ効率の良いブラックボックスパラメータ化である。 離散オイラーラグランジュ残差を最小化することにより,SMMをデータに適用する手法を提案する。 実験の結果,従来のSMMの適合方式よりも精度の高いモデルが得られた。
  論文  参考訳（メタデータ） (2021-05-05T00:44:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。