論文の概要: Token Communication in the Era of Large Models: An Information Bottleneck-Based Approach

• arxiv url: http://arxiv.org/abs/2507.01728v1
• Date: Wed, 02 Jul 2025 14:03:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:23:00.276627
• Title: Token Communication in the Era of Large Models: An Information Bottleneck-Based Approach
• Title（参考訳）: 大規模モデル時代におけるトークンコミュニケーション--インフォメーション・ボトルネックによるアプローチ
• Authors: Hao Wei, Wanli Ni, Wen Wang, Wenjun Xu, Dusit Niyato, Ping Zhang,
• Abstract要約: UniToComは、トークンを処理と無線通信の両方の基本的な単位として扱う統一トークン通信パラダイムである。 本稿では,重要な情報を保持するトークンの学習を容易にする生成情報ボトルネック(GenIB)の原理を提案する。 我々は、離散トークンと連続トークンの両方の処理を統合するために、因果変換器に基づくマルチモーダル言語モデル(MLLM)を受信機に採用する。
• 参考スコア（独自算出の注目度）: 55.861432910722186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This letter proposes UniToCom, a unified token communication paradigm that treats tokens as the fundamental units for both processing and wireless transmission. Specifically, to enable efficient token representations, we propose a generative information bottleneck (GenIB) principle, which facilitates the learning of tokens that preserve essential information while supporting reliable generation across multiple modalities. By doing this, GenIB-based tokenization is conducive to improving the communication efficiency and reducing computational complexity. Additionally, we develop $\sigma$-GenIB to address the challenges of variance collapse in autoregressive modeling, maintaining representational diversity and stability. Moreover, we employ a causal Transformer-based multimodal large language model (MLLM) at the receiver to unify the processing of both discrete and continuous tokens under the next-token prediction paradigm. Simulation results validate the effectiveness and superiority of the proposed UniToCom compared to baselines under dynamic channel conditions. By integrating token processing with MLLMs, UniToCom enables scalable and generalizable communication in favor of multimodal understanding and generation, providing a potential solution for next-generation intelligent communications.
• Abstract（参考訳）: この書簡は、トークンを処理と無線通信の両方の基本的な単位として扱う統一トークン通信パラダイムであるUniToComを提案する。 具体的には、効率的なトークン表現を実現するために、複数のモードにわたる信頼できる生成をサポートしながら、必須情報を保持するトークンの学習を容易にする生成情報ボトルネック(GenIB)の原則を提案する。 これにより、GenIBベースのトークン化は通信効率の向上と計算複雑性の低減に寄与する。 さらに,自己回帰モデルにおける分散崩壊の課題に対処し,表現の多様性と安定性を維持するために$\sigma$-GenIBを開発した。 さらに,マルチモーダル多言語モデル (MLLM) を受信機に導入し,次世代の予測パラダイムの下で離散トークンと連続トークンの処理を統一する。 シミュレーションの結果, 動的チャネル条件下でのベースラインと比較して, 提案したUniToComの有効性と優位性を検証した。 トークン処理とMLLMを統合することで、UniToComはマルチモーダルな理解と生成のためにスケーラブルで一般化可能な通信を可能にし、次世代のインテリジェントな通信のための潜在的なソリューションを提供する。

関連論文リスト

• Token Reduction Should Go Beyond Efficiency in Generative Models -- From Vision, Language to Multimodality [29.531450446701175]
  本稿では, トークン削減は, 大規模生成モデルの時代において, 従来の効率重視の役割を超越すべきであると主張する。 トークンの削減は、より深いマルチモーダル統合とアライメントを促進し、長い入力に対するコヒーレンスを維持し、トレーニングの安定性を高めることができると我々は主張する。 我々は、アルゴリズム設計、強化学習誘導トークン削減、文脈内学習のためのトークン最適化、より広範なMLおよび科学領域を含む将来的な方向性について概説する。
  論文  参考訳（メタデータ） (2025-05-23T11:30:30Z)
• Token Communication-Driven Multimodal Large Models in Resource-Constrained Multiuser Networks [7.137830911253685]
  マルチモーダルの大型モデルは インテリジェントなアプリケーションを ワイヤレスエッジに展開する上で これらの制約は、帯域幅、計算能力、および厳格なレイテンシ要件として表される。 本稿では,ユーザデバイスとエッジインフラストラクチャ間の分散的な拡散を促進するトークン通信パラダイムを提案する。
  論文  参考訳（メタデータ） (2025-05-06T14:17:05Z)
• Token Communications: A Unified Framework for Cross-modal Context-aware Semantic Communications [78.80966346820553]
  我々は、生成意味コミュニケーション(GenSC)において、クロスモーダルなコンテキスト情報を活用するための大規模なモデル駆動フレームワークであるトークン通信(TokCom)を紹介する。 本稿では,GFM/MLLMをベースとしたトークン処理をセマンティック通信システムに組み込む方法について検討し,将来無線ネットワークの様々な層において効率的なTokComを実現する上での鍵となる原則について述べる。
  論文  参考訳（メタデータ） (2025-02-17T18:14:18Z)
• Adaptive Semantic Token Selection for AI-native Goal-oriented Communications [11.92172357956248]
  本稿では,AIネイティブな目標指向通信のための新しい設計を提案する。 我々は、帯域幅と計算量に対する動的推論制約の下でトランスフォーマーニューラルネットワークを利用する。 提案手法は,最先端のトークン選択機構よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-25T13:49:50Z)
• Large AI Model Empowered Multimodal Semantic Communications [48.73159237649128]
  本稿では,Large AI Model-based Multimodal SC (LAMMSC) フレームワークを提案する。 まず、条件付きマルチモーダルアライメント(MMA)を提案し、マルチモーダルデータと非モーダルデータ間の変換を可能にする。 次に、パーソナライズされたLLMベースの知識ベース(LKB)を提案し、ユーザがパーソナライズされたセマンティック抽出やリカバリを行うことができる。 最後に,CGE(Generative Adversarial Network-based Channel Estimation)を用いて,無線チャネルの状態情報を推定する。
  論文  参考訳（メタデータ） (2023-09-03T19:24:34Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。