論文の概要: Lightweight Task-Oriented Semantic Communication Empowered by Large-Scale AI Models

• arxiv url: http://arxiv.org/abs/2506.13243v1
• Date: Mon, 16 Jun 2025 08:42:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.803023
• Title: Lightweight Task-Oriented Semantic Communication Empowered by Large-Scale AI Models
• Title（参考訳）: 大規模AIモデルを用いた軽量タスク指向セマンティックコミュニケーション
• Authors: Chuanhong Liu, Caili Guo, Yang Yang, Mingzhe Chen, Tony Q. S. Quek,
• Abstract要約: 大規模人工知能(LAI)モデルは、リアルタイム通信シナリオにおいて重大な課題を提起する。 本稿では,LAIモデルから知識を抽出・凝縮するために知識蒸留(KD)技術を活用することを提案する。 本稿では,反復推論の必要性を排除したプレストア圧縮機構を備えた高速蒸留法を提案する。
• 参考スコア（独自算出の注目度）: 66.57755931421285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have focused on leveraging large-scale artificial intelligence (LAI) models to improve semantic representation and compression capabilities. However, the substantial computational demands of LAI models pose significant challenges for real-time communication scenarios. To address this, this paper proposes utilizing knowledge distillation (KD) techniques to extract and condense knowledge from LAI models, effectively reducing model complexity and computation latency. Nevertheless, the inherent complexity of LAI models leads to prolonged inference times during distillation, while their lack of channel awareness compromises the distillation performance. These limitations make standard KD methods unsuitable for task-oriented semantic communication scenarios. To address these issues, we propose a fast distillation method featuring a pre-stored compression mechanism that eliminates the need for repetitive inference, significantly improving efficiency. Furthermore, a channel adaptive module is incorporated to dynamically adjust the transmitted semantic information based on varying channel conditions, enhancing communication reliability and adaptability. In addition, an information bottleneck-based loss function is derived to guide the fast distillation process. Simulation results verify that the proposed scheme outperform baselines in term of task accuracy, model size, computation latency, and training data requirements.
• Abstract（参考訳）: 最近の研究は、意味表現と圧縮能力を改善するために、大規模人工知能(LAI)モデルを活用することに重点を置いている。 しかし、LAIモデルの相当な計算要求は、リアルタイム通信シナリオに重大な課題をもたらす。 そこで本研究では,LAIモデルから知識を抽出・凝縮するために知識蒸留(KD)技術を活用することを提案する。 それでも、LAIモデルの本質的な複雑さは、蒸留中の推論時間の延長につながるが、チャネル認識の欠如は蒸留性能を損なう。 これらの制限により、標準的なKDメソッドはタスク指向のセマンティック通信シナリオには適さない。 これらの問題に対処するために, 繰り返し推論の必要性を排除し, 効率を著しく向上させる, プレストア圧縮機構を備えた高速蒸留法を提案する。 さらに、チャネル適応モジュールを組み込んで、様々なチャネル条件に基づいて送信された意味情報を動的に調整し、通信信頼性と適応性を向上させる。 さらに, 高速蒸留プロセスの導出のために, 情報ボトルネックに基づく損失関数を導出する。 シミュレーションの結果,提案手法は,タスク精度,モデルサイズ,計算遅延,データ要求のトレーニングなどの観点から,ベースラインよりも優れていた。

関連論文リスト

• FlowDistill: Scalable Traffic Flow Prediction via Distillation from LLMs [5.6685153523382015]
  FlowDistillは、大規模言語モデル(LLM)からの知識蒸留に基づく軽量交通予測フレームワークである その単純さにもかかわらず、FlowDistillは、トレーニングデータを大幅に少なくしながら、予測精度で最先端のモデルを一貫して上回る。
  論文  参考訳（メタデータ） (2025-04-02T19:54:54Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• CoSTI: Consistency Models for (a faster) Spatio-Temporal Imputation [0.0]
  CoSTIは、推論時間を劇的に削減しつつ、DDPMに匹敵する計算品質を達成するために一貫性トレーニングを採用している。 複数のデータセットとデータシナリオをまたいだCoSTIを評価し、拡散モデルと同等のパフォーマンスで、計算時間を最大98%削減することを示した。
  論文  参考訳（メタデータ） (2025-01-31T18:14:28Z)
• Causal Context Adjustment Loss for Learned Image Compression [72.7300229848778]
  近年,学習画像圧縮(lic)技術は,特にRD性能の点で従来の手法を上回りつつある。 現在の技術のほとんどは、自己回帰エントロピーモデルを備えたVAEベースで、デコードされた因果コンテキストを利用してRD性能を向上する。 本稿では,提案した因果文脈調整損失を用いて因果文脈を的確に調整する方法を初めて検討する。
  論文  参考訳（メタデータ） (2024-10-07T09:08:32Z)
• Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
  拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。 それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。 モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:19:44Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs [5.488334211013093]
  RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。 また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
  論文  参考訳（メタデータ） (2023-02-14T16:14:39Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Quantized Adaptive Subgradient Algorithms and Their Applications [39.103587572626026]
  本稿では、分散トレーニングのための量子化された複合ミラー降下適応次数 (QCMD adagrad) と量子化された正規化された2次平均適応次数 (QRDA adagrad) を提案する。 量子化勾配に基づく適応学習率行列を構築し、通信コスト、精度、モデル間隔のバランスをとる。
  論文  参考訳（メタデータ） (2022-08-11T04:04:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。