論文の概要: Quantized-Tinyllava: a new multimodal foundation model enables efficient split learning

• arxiv url: http://arxiv.org/abs/2511.23402v1
• Date: Fri, 28 Nov 2025 17:53:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:56.011384
• Title: Quantized-Tinyllava: a new multimodal foundation model enables efficient split learning
• Title（参考訳）: Quantized-Tinyllava: 効率的な分割学習を実現する新しいマルチモーダル基礎モデル
• Authors: Jiajun Guo, Xin Luo, Jie Liu,
• Abstract要約: 高いネットワーク通信コストは、スプリットラーニングの障害である。 本稿では,学習に基づくデータ圧縮手法を取り入れた新しいマルチモーダルモデル構造を提案する。
• 参考スコア（独自算出の注目度）: 13.975665649451528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Split learning is well known as a method for resolving data privacy concerns by training a model on distributed devices, thereby avoiding data sharing that raises privacy issues. However, high network communication costs are always an impediment to split learning, especially for large foundation models that require transmitting large amounts of high-dimensional data. To resolve this issue, we present a new multimodal model structure that incorporates a learning-based data compression method, which compresses model embeddings into low-bit integers while preserving the model's performance, greatly reducing the transmission costs between partitions. We then determine the optimal number of discrete representation levels based on a solid theoretical foundation from entropy coding.
• Abstract（参考訳）: 分割学習は、分散デバイス上でモデルをトレーニングすることで、プライバシの問題を引き起こすデータ共有を回避することによって、データプライバシの懸念を解決する方法としてよく知られている。 しかし、特に大量の高次元データを伝達する必要のある大規模基盤モデルでは、高いネットワーク通信コストが分断学習の障害となる。 そこで本研究では,モデルの性能を保ちながら,低ビット整数へのモデル埋め込みを圧縮し,分割間の伝送コストを大幅に削減する学習ベースのデータ圧縮手法を取り入れた,新たなマルチモーダルモデル構造を提案する。 次に、エントロピー符号化から固い理論的基礎に基づいて、離散表現レベルの最適数を決定する。

関連論文リスト

• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Tensor Decomposition based Personalized Federated Learning [12.420951968273574]
  Federated Learning(FL)は、ユーザのプライベートデータを収集することなく、確実に協調的なトレーニングを実現する、新しい分散機械学習フレームワークである。 FLの頻繁なコミュニケーションと平均集約戦略により、統計多様性データや大規模モデルへのスケーリングが困難になる。 本稿では,分解に基づくパーソナライズドラーニング(TDPFed)と呼ばれるFLフレームワークを提案する。このフレームワークでは,テンソル化線形層と畳み込み層を持つ新しいテンソル化局所モデルを設計し,通信コストを削減する。
  論文  参考訳（メタデータ） (2022-08-27T08:09:14Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。