論文の概要: Scaling of Wireless Foundation Models via Representation Diversity and Multi-Branch Architectures

• arxiv url: http://arxiv.org/abs/2610.04289v1
• Date: Sat, 03 Oct 2026 04:47:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 11:53:52.383739
• Title: Scaling of Wireless Foundation Models via Representation Diversity and Multi-Branch Architectures
• Title（参考訳）: 表現多様性とマルチブランチアーキテクチャによる無線基礎モデルのスケーリング
• Abstract要約: モデルキャパシティのスケーリングは、よりリッチな表現を学び、下流のパフォーマンスを改善するための一般的な戦略である。 代替のスケーリング軸としての客観的多様性について検討する。 我々は,再構成,予測,コントラスト学習によって訓練された独立エンコーダの凍結表現を組み合わせた融合フレームワークを開発する。
• 参考スコア（独自算出の注目度）: 7.728643029778198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wireless foundation models learn representations from unlabeled radio signals for reuse across downstream tasks. Scaling model capacity is a common strategy for learning richer representations and improving downstream performance. However, its gains are less consistent in wireless self-supervised learning when pretraining data are limited. We investigate objective diversity as an alternative scaling axis: different self-supervised objectives emphasize different signal properties, and combining their representations can preserve more information to enable diverse tasks. We develop a fusion framework that combines frozen representations from independent encoders trained through reconstructive, predictive, and contrastive learning. This provides a reference for the benefits of diversity, but requires the maintenance of multiple encoders. To retain these benefits within the parameter budget of a standard single-objective encoder, we introduce a jointly trained multi-branch architecture with a shared trunk and objective-specific branches. We pretrain on a heterogeneous corpus of spectrogram and channel state information data and evaluate six downstream tasks that span communication, sensing, and positioning. At an equal output embedding dimension, fusion outperforms the evaluated single-objective encoders on all six tasks while using roughly one-third of their parameters. The multi-branch architecture retains much of the fusion benefit within a single-encoder parameter budget. Representation analyses indicate complementary contributions across objectives, with much of the added benefit retained in components orthogonal to the reconstruction representation subspace. These findings support objective diversity as an effective strategy for scaling wireless foundation models.
• Abstract（参考訳）: 無線基礎モデルは、下流タスクの再利用のためにラベルのない無線信号から表現を学ぶ。 モデルキャパシティのスケーリングは、よりリッチな表現を学び、下流のパフォーマンスを改善するための一般的な戦略である。 しかし、事前学習データに制限がある場合、その利得は無線による自己教師付き学習では一致しない。 異なる自己監督的目的が異なる信号特性を強調し、それらの表現を組み合わせることで、多様なタスクを可能にするためにより多くの情報を保存することができる。 我々は,再構成,予測,コントラスト学習によって訓練された独立エンコーダの凍結表現を組み合わせた融合フレームワークを開発する。 これは多様性の利点への参照を提供するが、複数のエンコーダのメンテナンスが必要である。 これらの利点を標準単目的エンコーダのパラメータ予算内に保持するために、共有トランクと目的固有分岐を持つ共同訓練型マルチブランチアーキテクチャを導入する。 我々は、スペクトルおよびチャネル状態情報データの異種コーパスを事前訓練し、通信、センシング、位置決めにまたがる6つの下流タスクを評価する。 等出力埋め込み次元では、融合は評価された単目的エンコーダを6つのタスクすべてで上回り、パラメータの約3分の1を使用する。 マルチブランチアーキテクチャは、単一エンコーダパラメータ予算内での融合の利点の大部分を保っている。 表現分析は目的をまたいだ補完的な貢献を示し、追加の利益の多くは再構成表現部分空間に直交する構成要素に残されている。 これらの知見は、無線基礎モデルのスケーリングに有効な戦略として、客観的多様性を支持する。

関連論文リスト

• Unifying Generative Recall and Multi-Objective Ranking in a Single Decoder-Only Sequence [26.231002784432842]
  生成的リコールとランキングのスケーリングは、共通のTransformerベースのモデリング哲学を共有している。 我々は textbfUniR$2$, textbfUnified decoder のみの変換器を提案し, 生成 textbfRecall と Multi-Objective textbfRanking を統一する。
  論文  参考訳（メタデータ） (2026-07-27T13:47:38Z)
• More with Less: a Large Scale Remote Sensing VLM with a Simple Recipe [52.210953881548996]
  遠隔センシングベンチマークに挑戦することで,視覚言語モデルが競争力や最先端のパフォーマンスを達成可能であることを示す。 我々のモデルは、テキストで直接答えるか、セグメント化とグラウンド化のためにローカライズツールを呼び出すことができる単一の言語ポリシーを使用する。 提案手法は,高分解能,マルチテンポラル,マルチモーダル,マルチビュータスクを含む,幅広いベンチマークの競合性を実現する。
  論文  参考訳（メタデータ） (2026-07-17T13:25:44Z)
• Complement Submodular Information Measures for Balanced and Robust Data Selection [0.20305676256390934]
  補足サブモジュール情報(CSI)は補足サブモジュールの新たなクラスである。 CSIの目標は、ロバストな部分集合選択における標準部分モジュラー目標よりも一貫して優れていることを示す。 特にCSIの目的は、コヒーレントなレア/テールの意味構造の保存を著しく改善することである。
  論文  参考訳（メタデータ） (2026-05-23T23:43:24Z)
• A Multitask Deep Learning Model for Classification and Regression of Hyperspectral Images: Application to the large-scale dataset [44.94304541427113]
  ハイパースペクトル画像上で複数の分類タスクと回帰タスクを同時に行うマルチタスク深層学習モデルを提案する。 我々は、TAIGAと呼ばれる大規模なハイパースペクトルデータセットに対するアプローチを検証した。 結果の総合的定性的および定量的分析により,提案手法が他の最先端手法よりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-23T11:14:54Z)
• Unity by Diversity: Improved Representation Learning in Multimodal VAEs [24.85691124169784]
  ハード制約をソフト制約に置き換えることで、より優れた潜伏表現が得られることを示す。 既存の手法と比較して、学習した潜在表現の改善と欠落したデータモダリティの計算結果を示す。
  論文  参考訳（メタデータ） (2024-03-08T13:29:46Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• Multi-scale and Cross-scale Contrastive Learning for Semantic Segmentation [5.281694565226513]
  セグメンテーションネットワークによって抽出されたマルチスケール特徴の識別能力を高めるために,コントラスト学習を適用した。 まず、エンコーダのマルチスケール表現を共通の特徴空間にマッピングすることにより、教師付き局所言語制約の新しい形式をインスタンス化する。
  論文  参考訳（メタデータ） (2022-03-25T01:24:24Z)
• Multi-Source Domain Adaptation for Object Detection [52.87890831055648]
  我々は、Divide-and-Merge Spindle Network (DMSN)と呼ばれる、より高速なR-CNNベースのフレームワークを提案する。 DMSNはドメイン非ネイティブを同時に強化し、識別力を維持することができる。 擬似目標部分集合の最適パラメータを近似する新しい擬似学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-06-30T03:17:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。