論文の概要: Large-Scale Model Enabled Semantic Communication Based on Robust Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2508.02148v1
• Date: Mon, 04 Aug 2025 07:47:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.231642
• Title: Large-Scale Model Enabled Semantic Communication Based on Robust Knowledge Distillation
• Title（参考訳）: ロバストな知識蒸留に基づく意味コミュニケーションが可能な大規模モデル
• Authors: Kuiyuan DIng, Caili Guo, Yang Yang, Zhongtian Du, Walid Saad,
• Abstract要約: 大規模モデル(LSM)は意味表現と理解に有効なフレームワークである。 しかしながら、それらの直接的なデプロイメントは、しばしば高い計算複雑性とリソース要求によって妨げられる。 本稿では,新しい知識蒸留に基づくセマンティックコミュニケーションフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 53.16213723669751
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale models (LSMs) can be an effective framework for semantic representation and understanding, thereby providing a suitable tool for designing semantic communication (SC) systems. However, their direct deployment is often hindered by high computational complexity and resource requirements. In this paper, a novel robust knowledge distillation based semantic communication (RKD-SC) framework is proposed to enable efficient and \textcolor{black}{channel-noise-robust} LSM-powered SC. The framework addresses two key challenges: determining optimal compact model architectures and effectively transferring knowledge while maintaining robustness against channel noise. First, a knowledge distillation-based lightweight differentiable architecture search (KDL-DARTS) algorithm is proposed. This algorithm integrates knowledge distillation loss and a complexity penalty into the neural architecture search process to identify high-performance, lightweight semantic encoder architectures. Second, a novel two-stage robust knowledge distillation (RKD) algorithm is developed to transfer semantic capabilities from an LSM (teacher) to a compact encoder (student) and subsequently enhance system robustness. To further improve resilience to channel impairments, a channel-aware transformer (CAT) block is introduced as the channel codec, trained under diverse channel conditions with variable-length outputs. Extensive simulations on image classification tasks demonstrate that the RKD-SC framework significantly reduces model parameters while preserving a high degree of the teacher model's performance and exhibiting superior robustness compared to existing methods.
• Abstract（参考訳）: 大規模モデル(LSM)は意味表現と理解のための効果的なフレームワークであり,意味コミュニケーション(SC)システムを設計するための適切なツールを提供する。 しかしながら、それらの直接的なデプロイメントは、しばしば高い計算複雑性とリソース要求によって妨げられる。 本稿では,ロバストな知識蒸留に基づくセマンティックコミュニケーション(RKD-SC)フレームワークを提案する。 このフレームワークは、最適なコンパクトモデルアーキテクチャを決定することと、チャネルノイズに対する堅牢性を維持しながら知識を効果的に伝達することの2つの主要な課題に対処する。 まず,知識蒸留に基づく軽量微分可能アーキテクチャ探索 (KDL-DARTS) アルゴリズムを提案する。 このアルゴリズムは、知識蒸留損失と複雑性ペナルティをニューラルネットワーク探索プロセスに統合し、高性能で軽量なセマンティックエンコーダアーキテクチャを同定する。 第2に,LSM (Teacher) からコンパクトエンコーダ (Student) へ意味的能力を伝達し,続いてシステムロバスト性を高めるために,新しい2段階ロバストな知識蒸留 (RKD) アルゴリズムを開発した。 チャネル障害に対するレジリエンスをさらに改善するため、チャネルコーデックとしてチャネル認識トランスフォーマー(CAT)ブロックを導入し、可変長の出力を持つ様々なチャネル条件下で訓練する。 画像分類タスクの広範囲なシミュレーションにより,RKD-SCフレームワークは教師モデルの性能を高く保ちながらモデルパラメータを著しく低減し,既存の手法に比べて頑健であることが示された。

関連論文リスト

• Lightweight Task-Oriented Semantic Communication Empowered by Large-Scale AI Models [66.57755931421285]
  大規模人工知能(LAI)モデルは、リアルタイム通信シナリオにおいて重大な課題を提起する。 本稿では,LAIモデルから知識を抽出・凝縮するために知識蒸留(KD)技術を活用することを提案する。 本稿では,反復推論の必要性を排除したプレストア圧縮機構を備えた高速蒸留法を提案する。
  論文  参考訳（メタデータ） (2025-06-16T08:42:16Z)
• C2D-ISR: Optimizing Attention-based Image Super-resolution from Continuous to Discrete Scales [6.700548615812325]
  我々は、注目に基づく画像超解像モデルの最適化のための新しいフレームワーク、textbfC2D-ISRを提案する。 このアプローチは、2段階のトレーニング手法と階層的なエンコーディング機構に基づいている。 さらに,既存のアテンションベースネットワーク構造を用いて階層符号化機構を一般化する。
  論文  参考訳（メタデータ） (2025-03-17T21:52:18Z)
• Joint Transmit and Pinching Beamforming for Pinching Antenna Systems (PASS): Optimization-Based or Learning-Based? [89.05848771674773]
  MISO (Multiple-input Single-output) フレームワークを提案する。 それは複数の導波路で構成されており、多数の低コストアンテナ(PA)を備えている。 PAの位置は、大規模パスと空間の両方にまたがるように再構成することができる。
  論文  参考訳（メタデータ） (2025-02-12T18:54:10Z)
• IncSAR: A Dual Fusion Incremental Learning Framework for SAR Target Recognition [13.783950035836593]
  IncSARは、ターゲット認識における破滅的な忘れに対処するために設計された漸進的な学習フレームワークである。 SAR画像に固有のスペックルノイズを軽減するため、ニューラルネットワーク近似に基づくデノナイジングモジュールを用いる。 MSTAR、SAR-AIRcraft-1.0、OpenSARShipベンチマークデータセットの実験は、IncSARが最先端のアプローチを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-10-08T08:49:47Z)
• Agent-driven Generative Semantic Communication with Cross-Modality and Prediction [57.335922373309074]
  本稿では,強化学習に基づくエージェント駆動型ジェネリックセマンティックコミュニケーションフレームワークを提案する。 本研究では, エージェント支援型セマンティックエンコーダを開発し, 適応的セマンティック抽出とサンプリングを行う。 設計モデルの有効性をUA-DETRACデータセットを用いて検証し、全体的なA-GSCフレームワークの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-04-10T13:24:27Z)
• Knowledge Distillation Based Semantic Communications For Multiple Users [10.770552656390038]
  本稿では,複数のユーザを対象としたセマンティックコミュニケーション(SemCom)システムについて考察する。 本稿では,トランスフォーマーベースのエンコーダデコーダをセマンティックエンコーダデコーダとして実装し,チャネルエンコーダデコーダとして完全に接続されたニューラルネットワークを実装した知識蒸留(KD)システムを提案する。 数値計算の結果,KDは予期せぬ干渉に適用した場合のロバスト性や一般化能力を大幅に向上し,モデルサイズを圧縮した場合の性能損失を低減できることがわかった。
  論文  参考訳（メタデータ） (2023-11-23T03:28:14Z)
• Causal Semantic Communication for Digital Twins: A Generalizable Imitation Learning Approach [74.25870052841226]
  デジタルツイン(DT)は、物理世界の仮想表現と通信(例えば6G)、コンピュータ、人工知能(AI)技術を活用して、多くの接続されたインテリジェンスサービスを実現する。 無線システムは、厳密な通信制約下での情報意思決定を容易にするために意味コミュニケーション(SC)のパラダイムを利用することができる。 DTベースの無線システムでは,因果意味通信(CSC)と呼ばれる新しいフレームワークが提案されている。
  論文  参考訳（メタデータ） (2023-04-25T00:15:00Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Model-based Deep Learning Receiver Design for Rate-Splitting Multiple Access [65.21117658030235]
  本研究では,モデルベース深層学習(MBDL)に基づく実用的なRSMA受信機の設計を提案する。 MBDL受信機は、符号なしシンボル誤り率(SER)、リンクレベルシミュレーション(LLS)によるスループット性能、平均トレーニングオーバーヘッドの観点から評価される。 その結果,MBDLはCSIRが不完全なSIC受信機よりも優れていた。
  論文  参考訳（メタデータ） (2022-05-02T12:23:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。