論文の概要: FBLayout: Optimizing Memory Layout for Efficient LLM Finetuning on Mobile GPUs
- arxiv url: http://arxiv.org/abs/2607.21624v1
- Date: Tue, 07 Jul 2026 10:18:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:38.949934
- Title: FBLayout: Optimizing Memory Layout for Efficient LLM Finetuning on Mobile GPUs
- Title（参考訳）: FBLayout: モバイルGPU上での効率的なLLMファインタニングのためのメモリレイアウト最適化
- Abstract要約: トランスフォーマーモデルのデバイス上での微調整は、パーソナライズされたAIへのプライバシ保護パスを提供する。
現在のモバイルフレームワークでは、前方と後方のパスに統一されたレイアウトを使用する。
モバイルGPUプラットフォームで組織を共同設計するレイアウト対応フレームワークであるFBを提案する。
- 参考スコア（独自算出の注目度）: 29.981919113664492
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Transformer-based models have enabled unprecedented capabilities across language, vision, and multimodal tasks. On-device fine-tuning of transformer models offers a privacy-preserving path to personalized AI, yet remains inefficient on mobile GPUs due to severe memory constraints and frequent layout transformations in attention mechanism during training. Existing mobile training frameworks either use unified layouts for forward and backward passes -- leading to fragmented memory access and poor GPU utilization during backpropagation -- or rely on explicit layout conversions, which introduce significant transformation overhead. To overcome this, we propose FBLayout, a layout-aware framework that co-designs tensor organization with mobile GPU platforms. FBLayout introduces: (1) a unified R-Tile layout for multi-dimensional reductions across forward/backward passes; (2) tile-based index transformation to eliminate physical data movement; and (3) activation-guided layout selection to propagate efficient layouts globally. Evaluations on seven transformer models across different mobile phones (including ARM Mali and Qualcomm Adreno GPUs) show that FBLayout achieves 2.2-5.7x speedup over MNN, TFLite, and TVM, while significantly improving cache efficiency and reducing memory footprint, enabling practical on-device large model fine-tuning.
- Abstract（参考訳）: トランスフォーマーベースのモデルは、言語、ビジョン、マルチモーダルタスクにまたがる前例のない機能を実現している。
トランスフォーマーモデルのオンデバイス微調整は、パーソナライズされたAIへのプライバシ保護パスを提供するが、トレーニング中の注意機構の厳しいメモリ制約と頻繁なレイアウト変換のため、モバイルGPUでは非効率である。
既存のモバイルトレーニングフレームワークでは、前方と後方のパスに統一されたレイアウト(メモリアクセスの断片化とバックプロパゲーション時のGPU利用の低さ)を使用するか、明示的なレイアウト変換に依存しているため、大きな変換オーバーヘッドが発生する。
これを解決するために、モバイルGPUプラットフォームでテンソル組織を共同設計するレイアウト対応フレームワークであるFBLayoutを提案する。
FBLayout では,(1) 前方/後方パス間の多次元縮小のための統一 R-Tile レイアウト,(2) 物理データ移動を排除するためのタイルベースインデックス変換,(3) 効率的なレイアウトをグローバルに伝達するための活性化誘導レイアウト選択を導入している。
ARM Mali と Qualcomm Adreno GPU を含む)異なる携帯電話間での7つのトランスフォーマーモデルの評価によると、FBLayout は MNN、TFLite、TVM よりも 2.2-5.7倍のスピードアップを実現し、キャッシュ効率を大幅に改善し、メモリフットプリントを削減し、実用的なオンデバイス大型モデルの微調整を可能にする。
関連論文リスト
- EdgeDiT: Hardware-Aware Diffusion Transformers for Efficient On-Device Image Generation [1.0439136407307046]
モバイルニューラルプロセッシングユニット(NPU)に特化して開発されたハードウェア効率の良い生成変換器であるEdgeDiTを紹介する。
ハードウェア対応の最適化フレームワークを利用することで、特にモバイルデータフローに対して課税されるDiTバックボーン内の構造的冗長性を識別し、具現化する。
提案手法では,パラメータの20～30%の削減,FLOPの36～46%の削減,デバイス上のレイテンシの1.65倍の削減を実現した。
論文 参考訳（メタデータ） (2026-03-30T13:14:30Z) - Memory-Efficient Fine-Tuning Diffusion Transformers via Dynamic Patch Sampling and Block Skipping [95.91466630940084]
Diffusion Transformer (DiTs) はテキスト・ツー・イメージ(T2I)の生成品質を大幅に向上させ、高品質なパーソナライズされたコンテンツ作成を可能にした。
時間ステップ対応動的パッチサンプリングとブロックスキップを統合した,メモリ効率の良い細調整フレームワークDiT-BlockSkipを提案する。
提案手法は,メモリ使用量を大幅に削減しつつ,質的,定量的に競合するパーソナライズ性能を実現する。
論文 参考訳（メタデータ） (2026-03-21T11:02:18Z) - MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling [80.48332380100915]
MiniCPM-SALAは、疎注意の高忠実長文モデリングと線形注意のグローバル効率を統合するハイブリッドモデルである。
1つのNVIDIA A6000D GPUでは、256Kトークンのシーケンス長におけるフルアテンションモデルの推論速度が3.5倍に達する。
論文 参考訳（メタデータ） (2026-02-12T09:37:05Z) - MOBIUS: Big-to-Mobile Universal Instance Segmentation via Multi-modal Bottleneck Fusion and Calibrated Decoder Pruning [91.90342432541138]
モデルサイズとトレーニングデータのスケールアップには、インスタンスレベルの知覚のための高度な基盤モデルがある。
資源制約されたプラットフォームにおける高い計算コスト制限。
我々は,高性能コンピューティングプラットフォームとモバイルデバイスの両方において,効率的なセグメンテーションのための新しいベンチマークを導入する。
論文 参考訳（メタデータ） (2025-10-16T18:00:00Z) - Taming Diffusion Transformer for Efficient Mobile Video Generation in Seconds [91.56929670753226]
Diffusion Transformer (DiT) はビデオ生成タスクにおいて高いパフォーマンスを示しているが、その高い計算コストは、スマートフォンのようなリソース制約のあるデバイスでは実用的ではない。
本稿では,ビデオ生成の大幅な高速化と,モバイルプラットフォームへの実用的な展開を実現するための新しい最適化手法を提案する。
論文 参考訳（メタデータ） (2025-07-17T17:59:10Z) - SmartMem: Layout Transformation Elimination and Adaptation for Efficient DNN Execution on Mobile [22.92193946206031]
本稿では、ほとんどのレイアウト変換を排除するための包括的なフレームワークであるSmartMemを紹介する。
SmartMemは平均速度2.8$times$を達成し、TVMとMNNをそれぞれ平均速度6.9$times$と7.9$times$で上回っている。
論文 参考訳（メタデータ） (2024-04-21T04:47:26Z) - SeaFormer++: Squeeze-enhanced Axial Transformer for Mobile Visual Recognition [29.522565659389183]
本研究では,モバイル視覚認識のための圧縮強化軸変換器 (SeaFormer) を提案する。
モバイルフレンドリーなライバルとTransformerベースのライバルに勝って、パフォーマンスが良く、レイテンシも低い。
論文 参考訳（メタデータ） (2023-01-30T18:34:16Z) - Rethinking Vision Transformers for MobileNet Size and Speed [58.01406896628446]
本稿では,低レイテンシでパラメータ効率の高い新しいスーパーネットを提案する。
また,変圧器モデルに対して,よりきめ細かな共同探索戦略を導入する。
この研究は、MobileNetレベルのサイズと速度であっても、適切に設計され、最適化されたビジョントランスフォーマーがハイパフォーマンスを実現することを実証している。
論文 参考訳（メタデータ） (2022-12-15T18:59:12Z) - Migrating Face Swap to Mobile Devices: A lightweight Framework and A
Supervised Training Solution [7.572886749166295]
MobileFSGANは、顔スワップ用の新しい軽量なGANで、競合性能を達成しつつ、はるかに少ないパラメータでモバイルデバイスで実行できる。
軽量エンコーダ・デコーダ構造は、特に画像合成タスクのために設計されており、10.2MBしかなく、モバイルデバイス上でリアルタイムに動作させることができる。
論文 参考訳（メタデータ） (2022-04-13T05:35:11Z) - Local-to-Global Self-Attention in Vision Transformers [130.0369761612812]
トランスフォーマーはコンピュータビジョンタスクに大きな可能性を示した。
最近のTransformerモデルは階層設計を採用しており、セルフアテンションはローカルウィンドウ内でのみ計算される。
この設計は効率を大幅に改善するが、早い段階ではグローバルな特徴推論が欠如している。
本研究では,トランスフォーマーのマルチパス構造を設計し,各ステージにおける複数の粒度での局所的・言語的推論を可能にする。
論文 参考訳（メタデータ） (2021-07-10T02:34:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。