論文の概要: Evolving Token Communication with Parametric Memory Network

• arxiv url: http://arxiv.org/abs/2605.01869v1
• Date: Sun, 03 May 2026 13:29:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.974229
• Title: Evolving Token Communication with Parametric Memory Network
• Title（参考訳）: パラメトリックメモリネットワークによるトークンコミュニケーションの展開
• Authors: Weixuan Chen, Qianqian Yang,
• Abstract要約: パラメトリックメモリネットワークを用いたセマンティックトークン通信システムを提案する。 各意味トークンの同じ長さのプレフィックスだけが送信され、送信コストが削減される。 実験結果から,提案手法は既存のメモリベンチマークより一貫して優れていることが示された。
• 参考スコア（独自算出の注目度）: 4.436062422228445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Token communication has emerged as a promising framework for efficient wireless transmission by representing source data as compact semantic tokens. However, transmitting full semantic tokens still incurs considerable communication overhead. In this paper, we propose an evolving semantic token communication system with a parametric memory network over MIMO fading channels. Specifically, only an equal-length prefix of each semantic token is transmitted, which reduces transmission cost while preserving a consistent token structure for receiver-side recovery. At the receiver, a parametric memory network is introduced to reconstruct the missing suffix information from the received token prefixes, where semantic memory is stored implicitly in the network parameters. To realize this design, full semantic tokens are first organized into a codebook, and truncated tokens are paired with the codeword labels of their corresponding full tokens. Based on these token-label pairs, kNN-based teacher distributions are constructed to fine-tune a pretrained GPT-2-based recovery module, which learns to infer the codeword distribution of each incomplete token and recover the corresponding complete semantic token. In addition, an online evolution strategy is developed to periodically update the parametric memory network and the entire system using newly observed test samples, thereby improving adaptability under distribution shifts. Experimental results demonstrate that the proposed method consistently outperforms the existing evolving memory benchmark under different channel conditions and channel bandwidth ratios, with up to 1.09 dB PSNR improvement.
• Abstract（参考訳）: ソースデータをコンパクトなセマンティックトークンとして表現することで、効率的な無線通信のための有望なフレームワークとして、トークン通信が登場した。 しかし、完全なセマンティックトークンの送信は依然としてかなりの通信オーバーヘッドを引き起こす。 本稿では,MIMOフェージングチャネル上のパラメトリックメモリネットワークを用いたセマンティックトークン通信システムを提案する。 具体的には、各セマンティックトークンの同じ長さのプレフィックスのみを送信し、レシーバ側リカバリのための一貫したトークン構造を保持しながら送信コストを低減する。 受信機において、パラメトリックメモリネットワークを導入し、受信したトークンプレフィックスから欠落した接尾辞情報を再構成し、セマンティックメモリをネットワークパラメータに暗黙的に記憶する。 この設計を実現するために、完全なセマンティックトークンはまずコードブックにまとめられ、切り捨てられたトークンは対応するフルトークンのコードワードラベルとペアリングされる。 これらのトークンラベル対に基づいて、kNNベースの教師分布を構築し、事前訓練されたGPT-2ベースのリカバリモジュールを微調整し、各不完全トークンのコードワード分布を推測し、対応する完全セマンティックトークンを復元する。 さらに、パラメトリックメモリネットワークとシステム全体を、新しく観測されたテストサンプルを用いて定期的に更新し、分散シフトによる適応性を向上させるオンライン進化戦略を開発した。 実験の結果,提案手法は,異なるチャネル条件とチャネル帯域幅比で既存のメモリベンチマークを常に上回り,最大1.09dBPSNRの改善が得られた。

関連論文リスト

• On the Semantic and Syntactic Information Encoded in Proto-Tokens for One-Step Text Reconstruction [0.5097809301149341]
  自己回帰型大言語モデル(LLM)はテキストトークン・バイ・トーケンを生成し、長さnのシーケンスを生成するためにnフォワードパスを必要とする。 最近の研究によると、凍結したLLMは、たった2つの学習されたプロトトケンから数百のトークンを1つの前方パスで再構築できる。 我々は,これらのプロトタイプが符号化した情報と,再構成と制御制約の下でどのように振る舞うかについて検討する。
  論文  参考訳（メタデータ） (2026-02-20T15:54:10Z)
• Wireless TokenCom: RL-Based Tokenizer Agreement for Multi-User Wireless Token Communications [59.84545048095092]
  Token Communications (TokenCom) は、トークンが通信計算の統一単位である効果的な新しいパラダイムとして最近登場した。 基地局が複数のユーザを送信するマルチユーザダウンリンク無線TokenComシナリオについて検討する。
  論文  参考訳（メタデータ） (2026-02-12T19:00:33Z)
• MergeDNA: Context-aware Genome Modeling with Dynamic Tokenization through Token Merging [65.07273789940116]
  本稿では,動的ゲノミクストークンと潜在トランスフォーマーをコンテキスト対応事前学習タスクで協調的に最適化する階層型アーキテクチャを提案する。 MergeDNAは3つの人気のあるDNAベンチマークと、微調整やゼロショット評価を伴う複数のマルチオミクスタスクにおいて優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-11-17T19:27:41Z)
• Training-Free Tokenizer Transplantation via Orthogonal Matching Pursuit [45.18582668677648]
  大規模言語モデルにおいて,トークン化剤を移植するためのトレーニング不要な手法を提案する。 それぞれの語彙外トークンを,共有トークンの疎線形結合として近似する。 我々は,OMPがベースモデルの性能を最良にゼロショット保存できることを示す。
  論文  参考訳（メタデータ） (2025-06-07T00:51:27Z)
• SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [93.94454894142413]
  SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。 SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。 様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
  論文  参考訳（メタデータ） (2024-05-24T13:35:56Z)
• Reasoning with the Theory of Mind for Pragmatic Semantic Communication [62.87895431431273]
  本稿では,実用的な意味コミュニケーションフレームワークを提案する。 2つの知性エージェント間の効果的な目標指向情報共有を可能にする。 数値的な評価は、少ないビット量で効率的な通信を実現するためのフレームワークの能力を示している。
  論文  参考訳（メタデータ） (2023-11-30T03:36:19Z)
• Transformer-based Joint Source Channel Coding for Textual Semantic Communication [23.431590618978948]
  Space-Air-Ground-Sea統合ネットワークコールにより、ジャミングに対するより堅牢でセキュアな送信技術が要求される。 本稿では,文のモデル化とエンコードに先進的な自然言語処理技術を利用する,ロバスト伝送のためのテキスト意味伝達フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-23T08:42:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。