論文の概要: Low-Complexity Semantic Packet Aggregation for Token Communication via Lookahead Search

• arxiv url: http://arxiv.org/abs/2506.19451v1
• Date: Tue, 24 Jun 2025 09:25:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.568567
• Title: Low-Complexity Semantic Packet Aggregation for Token Communication via Lookahead Search
• Title（参考訳）: Lookahead Searchによるトークン通信のための低複雑さセマンティックパケットアグリゲーション
• Authors: Seunghun Lee, Jihong Park, Jinho Choi, Hyuncheol Park,
• Abstract要約: 本稿では,トークンのパケット化に着目し,平均トークン類似度(ATS)を最大化する。 これを解決するために,ルックアヘッド検索(SemPA-Look)を用いたセマンティックアグリゲーションの新しいフレームワークを提案する。 SemPA-Lookは、リプレースせずにパケット内のトークン候補をサンプリングするルックアヘッド検索インスパイアされたアルゴリズムを適用している。
• 参考スコア（独自算出の注目度）: 32.63323958382152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tokens are fundamental processing units of generative AI (GenAI) and large language models (LLMs), and token communication (TC) is essential for enabling remote AI-generate content (AIGC) and wireless LLM applications. Unlike traditional bits, each of which is independently treated, the semantics of each token depends on its surrounding context tokens. This inter-token dependency makes TC vulnerable to outage channels, where the loss of a single token can significantly distort the original message semantics. Motivated by this, this paper focuses on optimizing token packetization to maximize the average token similarity (ATS) between the original and received token messages under outage channels. Due to inter-token dependency, this token grouping problem is combinatorial, with complexity growing exponentially with message length. To address this, we propose a novel framework of semantic packet aggregation with lookahead search (SemPA-Look), built on two core ideas. First, it introduces the residual semantic score (RSS) as a token-level surrogate for the message-level ATS, allowing robust semantic preservation even when a certain token packet is lost. Second, instead of full search, SemPA-Look applies a lookahead search-inspired algorithm that samples intra-packet token candidates without replacement (fixed depth), conditioned on inter-packet token candidates sampled with replacement (fixed width), thereby achieving linear complexity. Experiments on a remote AIGC task with the MS-COCO dataset (text captioned images) demonstrate that SemPA-Look achieves high ATS and LPIPS scores comparable to exhaustive search, while reducing computational complexity by up to 40$\times$. Compared to other linear-complexity algorithms such as the genetic algorithm (GA), SemPA-Look achieves 10$\times$ lower complexity, demonstrating its practicality for remote AIGC and other TC applications.
• Abstract（参考訳）: トークンは生成AI(GenAI)と大規模言語モデル(LLM)の基本処理ユニットであり、リモートAI生成コンテンツ(AIGC)と無線LLMアプリケーションを実現するにはトークン通信(TC)が不可欠である。 それぞれが独立して扱われる伝統的なビットとは異なり、それぞれのトークンの意味は周囲のコンテキストトークンに依存する。 この相互依存により、TCは、単一トークンの損失が元のメッセージセマンティクスを著しく歪めることができる、障害チャネルに対して脆弱になる。 そこで本研究では,トークンのパケット化を最適化して,初期および受信したトークンメッセージ間の平均トークン類似度(ATS)を最大化する。 トークン間の依存関係のため、このトークングループ化問題は組み合わさり、複雑性はメッセージ長とともに指数関数的に増加する。 そこで本研究では,2つの基本概念に基づくルックアヘッド検索(SemPA-Look)を用いたセマンティックパケットアグリゲーション手法を提案する。 まず、メッセージレベルATSのトークンレベルのサロゲートとして残留セマンティックスコア(RSS)を導入し、特定のトークンパケットが失われてもロバストなセマンティック保存を可能にする。 第二に、完全な検索の代わりに、SemPA-Lookはルックアヘッド検索にインスパイアされたアルゴリズムを適用し、交換(固定深さ)なしでパケット内のトークン候補をサンプリングし、置換(固定幅)でサンプリングされたパケット間トークン候補に条件付けし、線形複雑化を実現する。 MS-COCOデータセット(テキストキャプション付き画像)を用いたリモートAIGCタスクの実験では、SemPA-Lookは、抜本的な検索に匹敵する高いATSとLPIPSスコアを達成し、計算複雑性を最大40$\times$に削減している。 遺伝的アルゴリズム(GA)のような他の線形複雑度アルゴリズムと比較して、SemPA-Lookは10$\times$低い複雑さを実現し、リモートAIGCや他のTCアプリケーションに実用性を示す。

関連論文リスト

• Training-Free Tokenizer Transplantation via Orthogonal Matching Pursuit [45.18582668677648]
  大規模言語モデルにおいて,トークン化剤を移植するためのトレーニング不要な手法を提案する。 それぞれの語彙外トークンを,共有トークンの疎線形結合として近似する。 我々は,OMPがベースモデルの性能を最良にゼロショット保存できることを示す。
  論文  参考訳（メタデータ） (2025-06-07T00:51:27Z)
• ToDRE: Visual Token Pruning via Diversity and Task Awareness for Efficient Large Vision-Language Models [59.47738955960352]
  ToDREは、2段階でトレーニング不要なトークン圧縮フレームワークである。 トークンの多様性とトークン-タスク関連性に基づいてトークンをプルーニングすることで、優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-05-24T15:47:49Z)
• TokLIP: Marry Visual Tokens to CLIP for Multimodal Comprehension and Generation [80.90309237362526]
  TokLIPは、ベクトル量子化(VQ)トークンを意味付けることで、理解を深めるビジュアルトークンライザである。 TokLIPは、低レベルの離散VQトークンライザとViTベースのトークンエンコーダを統合して、高レベルの連続的なセマンティクスをキャプチャする。
  論文  参考訳（メタデータ） (2025-05-08T17:12:19Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• A partition cover approach to tokenization [27.78022124795594]
  トークン化とは、文字列を一定の語彙サイズのトークンに符号化するプロセスである。 Byte-Pair corpora (BPE) は、トークン化問題を圧縮問題として定式化し、マージのシーケンスを実行することでそれに取り組む。 GreedTokは圧縮においてBPEやUnigramよりも優れており、GreedWMCに匹敵するカバースコアが得られることを示す。
  論文  参考訳（メタデータ） (2025-01-08T17:07:07Z)
• Token-level Correlation-guided Compression for Efficient Multimodal Document Understanding [54.532578213126065]
  ほとんどの文書理解手法は、サブイメージ内の全てのトークンを保存し、それらを等しく扱う。 これにより、異なる情報性が無視され、画像トークンの数が大幅に増加する。 トークン処理を最適化するためのパラメータフリーかつプラグアンドプレイ手法であるトークンレベルの相関誘導圧縮を提案する。
  論文  参考訳（メタデータ） (2024-07-19T16:11:15Z)
• Semantic Equitable Clustering: A Simple and Effective Strategy for Clustering Vision Tokens [57.37893387775829]
  textbfSemantic textbfEquitable textbfClustering (SEC) という,高速かつバランスの取れたクラスタリング手法を導入する。 SECは、グローバルなセマンティックな関連性に基づいてトークンを効率的かつ直接的な方法でクラスタ化する。 視覚言語コネクタとして機能する汎用視覚バックボーンであるSECViTを提案する。
  論文  参考訳（メタデータ） (2024-05-22T04:49:00Z)
• Token Sparsification for Faster Medical Image Segmentation [37.25161294917211]
  セグメント化をスパース符号化 ->トークン補完 -> 密度復号化(SCD)パイプラインとして再構成する。 STPは軽量なサブネットワークで重要度を予測し、トップKトークンをサンプリングする。 MTAはスパース出力トークンとプルーニングされた多層中間トークンの両方を組み立てることで、完全なトークンシーケンスを復元する。
  論文  参考訳（メタデータ） (2023-03-11T23:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。