論文の概要: Fast Wireless Foundation Models with Early-Exits

• arxiv url: http://arxiv.org/abs/2606.29640v1
• Date: Sun, 28 Jun 2026 23:15:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.995605
• Title: Fast Wireless Foundation Models with Early-Exits
• Title（参考訳）: アーリーエグゼクトを用いた高速ワイヤレスファンデーションモデル
• Authors: Omar Mashaal, Hatem Abou-Zeid,
• Abstract要約: 無線基礎モデル(FM)は、AI-Native 6Gネットワークを実現する強力な可能性を示している。 高い計算コストは、デプロイメントにとって重要な障壁である。 本稿では,軽量でタスクごとのヘッドを付加する新しいFMフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.437205202864902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While wireless foundation models (FMs) are demonstrating strong potential to enable AI-Native 6G networks, their high computational cost remains a critical barrier to deployment. The large computational cost stems from the rigid, full-depth execution of the FM backbone for every task, a process we show is not only inefficient but can also degrade performance on unseen out-of-distribution (OOD) tasks. In this paper, we propose a novel early-exit FM framework that attaches lightweight, per-task heads, at the most appropriate exit-stage of a frozen wireless FM encoder, enabling variable-depth inference tailored to each task's preferred representation depth. Our results demonstrate that these intermediate-layer features not only speed-up inference significantly (up to 93% fewer FLOPs), but also provide more transferable representations that exceed the full encoder accuracy on unseen tasks. We further demonstrate that a simple fixed-exit strategy per task is more effective than traditional early-exiting policies that route different samples to different exits based on their perceived difficulty levels.
• Abstract（参考訳）: 無線基礎モデル(FM)は、AI-Native 6Gネットワークを実現する強力な可能性を示しているが、その高い計算コストは、デプロイメントにとって重要な障壁である。 大規模な計算コストは、すべてのタスクに対してFMバックボーンを厳密かつ徹底的に実行することに由来するが、このプロセスは非効率であるだけでなく、見当たらないアウト・オブ・ディストリビューション(OOD)タスクのパフォーマンスも劣化させる可能性がある。 本稿では,各タスクの所望の表現深度に合わせて可変深度推論を可能にする,軽量でタスク毎のヘッドを冷凍無線FMエンコーダの最も適切な出口段にアタッチする,新しいアーリーエグジットFMフレームワークを提案する。 これらの中間層の特徴は, 最大93%のFLOPを削減できるだけでなく, 未知のタスクに対して, エンコーダの完全精度を超える変換可能な表現を提供する。 さらに, 課題ごとの簡単な定在戦略は, 異なるサンプルを異なる出口にルートする従来の早期退避方針よりも, 認識される難易度に基づいて効果的であることを示す。

関連論文リスト

• Accelerating Vision Foundation Models with Drop-in Depthwise Convolution [51.50107862675191]
  我々は、注目ヘッドのドロップイン代替として機能する、効率的な奥行き畳み込みベースの層を導入する。 画像分類とセグメンテーションの両方のタスクにおいて,提案手法は性能劣化を最小限に抑えながら17～20%の推論高速化を実現している。
  論文  参考訳（メタデータ） (2026-05-21T08:07:23Z)
• Mastering Massive Multi-Task Reinforcement Learning via Mixture-of-Expert Decision Transformer [56.898822179122476]
  M3DTは、モデルのパラメータのスケーラビリティをさらに開放することで、タスクのスケーラビリティに対処する新しいM3DTフレームワークである。 実験結果から,M3DTは,専門家の数を増やすことにより,一定のタスク数に対するモデル拡張としての性能を継続的に向上するだけでなく,タスクのスケーラビリティも向上し,性能が向上した160タスクにまで拡張できることが示唆された。
  論文  参考訳（メタデータ） (2025-05-30T09:08:52Z)
• 6G WavesFM: A Foundation Model for Sensing, Communication, and Localization [6.70088826174291]
  本稿では,無線基礎モデル(WFM)フレームワークについて紹介する。 提案アーキテクチャでは,共有ビジョントランスフォーマー(ViT)バックボーンとタスク固有の多層パーセプトロンヘッドを組み合わせるとともに,パラメータ効率の良い微調整のためのローランド適応(LoRA)を組み込む。 我々は、統一WFMが多様なタスクをサポートし、性能と効率の両方において大きな利益をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-04-18T22:51:35Z)
• FLARES: Fast and Accurate LiDAR Multi-Range Semantic Segmentation [52.89847760590189]
  3Dシーンの理解は、自動運転における重要な課題である。 近年の手法では、レンジビュー表現を利用して処理効率を向上している。 範囲ビューに基づくLiDARセマンティックセマンティックセグメンテーションのためのワークフローを再設計する。
  論文  参考訳（メタデータ） (2025-02-13T12:39:26Z)
• Mastering Collaborative Multi-modal Data Selection: A Focus on Informativeness, Uniqueness, and Representativeness [63.484378941471114]
  我々は、効果的なデータ選択のために、インフォーマル性、ユニーク性、代表性という3つの重要な原則を活用するコラボレーティブフレームワーク、DataTailorを提案する。 様々なベンチマークの実験により、DataTailorはデータの15%でフルデータの微調整のパフォーマンスの101.3%を達成している。
  論文  参考訳（メタデータ） (2024-12-09T08:36:10Z)
• Elastic Feature Consolidation for Cold Start Exemplar-Free Incremental Learning [17.815956928177638]
  本稿では,従来の課題に強く関連する方向のドリフトを規則化し,特徴表現を統一する,シンプルで効果的な手法を提案する。 EFC(Elastic Feature Consolidation)と呼ばれる我々の手法は、経験的特徴行列(EFM)に基づく2次特徴ドリフトの抽出可能な近似を利用する。 CIFAR-100、Tiny-ImageNet、ImageNet-Subset、ImageNet-1Kの実験結果から、弾性的特徴統合は、モデルの可塑性を維持し、最先端技術を大幅に上回ることによって、新しいタスクを学習できることを示した。
  論文  参考訳（メタデータ） (2024-02-06T11:35:02Z)
• Efficient Stitchable Task Adaptation [47.94819192325723]
  そこで本研究では,高度調整型モデルのパレットを効率よく作成するための新しいフレームワークであるEfficient Stitchable Task Adaptation (ESTA)を提案する。 具体的には、縫合物間で低ランク更新を共有するために、パラメータ効率の高いファインチューニングを第1に調整する。 簡単なが効果的なワンステージデプロイメントパイプラインを合理化し、デプロイすべき重要な縫合を見積もる。
  論文  参考訳（メタデータ） (2023-11-29T04:31:35Z)
• Federated Fine-Tuning of Foundation Models via Probabilistic Masking [11.192113661738764]
  ファンデーションモデル(FM)は、タスク間の適応性とハイパフォーマンスで機械学習に革命をもたらした。 フェデレートラーニング(FL)への統合は、広範囲なパラメータ化による通信オーバーヘッドが大きいため、難しい。 FLのFMを1bpp以下で効率よく微調整する新しい手法であるDeltaMaskを提案する。
  論文  参考訳（メタデータ） (2023-11-29T01:10:39Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。