論文の概要: Chain-of-Thought Enhanced Shallow Transformers for Wireless Symbol Detection

• arxiv url: http://arxiv.org/abs/2506.21093v1
• Date: Thu, 26 Jun 2025 08:41:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:10.023552
• Title: Chain-of-Thought Enhanced Shallow Transformers for Wireless Symbol Detection
• Title（参考訳）: 無線シンボル検出のためのチェーン・オブ・ソート強化浅部変圧器
• Authors: Li Fan, Peng Wang, Jing Yang, Cong Shen,
• Abstract要約: 無線シンボル検出のためのCoT拡張浅層変圧器フレームワークCHOOSE(CHain Of thOught Symbol dEtection)を提案する。 隠れ空間内に自己回帰潜在推論ステップを導入することで、CHOOSEは浅いモデルの推論能力を大幅に改善する。 実験により,本手法は従来の浅層変圧器よりも優れ,深部変圧器に匹敵する性能が得られることが示された。
• 参考スコア（独自算出の注目度）: 14.363929799618283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have shown potential in solving wireless communication problems, particularly via in-context learning (ICL), where models adapt to new tasks through prompts without requiring model updates. However, prior ICL-based Transformer models rely on deep architectures with many layers to achieve satisfactory performance, resulting in substantial storage and computational costs. In this work, we propose CHain Of thOught Symbol dEtection (CHOOSE), a CoT-enhanced shallow Transformer framework for wireless symbol detection. By introducing autoregressive latent reasoning steps within the hidden space, CHOOSE significantly improves the reasoning capacity of shallow models (1-2 layers) without increasing model depth. This design enables lightweight Transformers to achieve detection performance comparable to much deeper models, making them well-suited for deployment on resource-constrained mobile devices. Experimental results demonstrate that our approach outperforms conventional shallow Transformers and achieves performance comparable to that of deep Transformers, while maintaining storage and computational efficiency. This represents a promising direction for implementing Transformer-based algorithms in wireless receivers with limited computational resources.
• Abstract（参考訳）: トランスフォーマーは、特にICL(In-context Learning)を通じて、モデル更新を必要とせず、プロンプトを通じて新しいタスクに適応する。 しかし、以前のICLベースのTransformerモデルは多くの層を持つディープアーキテクチャに依存しており、十分な性能を実現しているため、かなりのストレージと計算コストがかかる。 本研究では,無線シンボル検出のためのCoT拡張浅層変圧器フレームワークCHOOSEを提案する。 隠れ空間内に自己回帰潜在推論ステップを導入することにより、CHOOSEはモデル深度を増大させることなく、浅いモデル(1-2層)の推論能力を大幅に向上する。 この設計により、軽量トランスフォーマーはより深いモデルに匹敵する検出性能を達成でき、リソース制約のあるモバイルデバイスへのデプロイに適している。 実験結果から,本手法は従来の浅層変圧器より優れ,深部変圧器に匹敵する性能を実現し,ストレージと計算効率の維持を図っている。 これは、限られた計算資源を持つ無線受信機にTransformerベースのアルゴリズムを実装する上で有望な方向を示す。

関連論文リスト

• BHViT: Binarized Hybrid Vision Transformer [53.38894971164072]
  モデルバイナライゼーションは畳み込みニューラルネットワーク(CNN)のリアルタイムおよびエネルギー効率の計算を可能にした。 本稿では,バイナライズフレンドリーなハイブリッドViTアーキテクチャであるBHViTとそのバイナライズモデルを提案する。 提案アルゴリズムは,バイナリ ViT 手法間でSOTA 性能を実現する。
  論文  参考訳（メタデータ） (2025-03-04T08:35:01Z)
• Re-Parameterization of Lightweight Transformer for On-Device Speech Emotion Recognition [10.302458835329539]
  軽量トランスフォーマーモデルの性能向上のための新しい手法であるTransformer Re-パラメータ化を導入する。 実験の結果,提案手法は軽量トランスフォーマーの性能を常に改善し,大規模モデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-11-14T10:36:19Z)
• Shrinking the Giant : Quasi-Weightless Transformers for Low Energy Inference [0.30104001512119216]
  高速でエネルギー効率のよい推論モデルの構築は、様々なトランスフォーマーベースのアプリケーションを実現するために不可欠である。 拡張有限差分法によりLUTネットワークを直接学習する手法を構築した。 これにより、トランスベースのモデルに対する計算的でエネルギー効率の良い推論ソリューションが実現される。
  論文  参考訳（メタデータ） (2024-11-04T05:38:56Z)
• Do Efficient Transformers Really Save Computation? [32.919672616480135]
  我々は、効率的な変換器、特にスパース変換器と線形変換器の機能と限界に焦点を当てる。 以上の結果から,これらのモデルは一般のDPタスクを解くのに十分な表現力を持っているが,期待とは裏腹に,問題のサイズに合わせてスケールするモデルサイズが必要であることが示唆された。 我々は,これらのモデルが標準のTransformerよりも効率的であるようなDP問題のクラスを同定する。
  論文  参考訳（メタデータ） (2024-02-21T17:00:56Z)
• SPION: Layer-Wise Sparse Training of Transformer via Convolutional Flood Filling [1.0128808054306186]
  本稿では,畳み込みフィルタとフラッドフィリング法を統合したトランスフォーマーの新しいスペーサー方式を提案する。 我々のスパーシフィケーションアプローチは、トレーニング中のTransformerの計算複雑性とメモリフットプリントを低減する。 New SPIONは、既存の最先端スパーストランスモデルよりも最大3.08倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-09-22T02:14:46Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• Augmented Shortcuts for Vision Transformers [49.70151144700589]
  視覚変換器モデルにおけるショートカットと特徴の多様性の関係について検討する。 本稿では,元のショートカットに並列に学習可能なパラメータを追加経路を挿入する拡張ショートカット方式を提案する。 ベンチマークデータセットを用いて実験を行い,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-06-30T09:48:30Z)
• Toward Transformer-Based Object Detection [12.704056181392415]
  ビジョントランスフォーマーは、共通の検出タスクヘッドによってバックボーンとして使用することができ、競合するCOCO結果を生成する。 vit-frcnnは、大きな事前訓練能力と高速微調整性能を含むトランスフォーマーに関連するいくつかの既知の特性を示す。 ViT-FRCNNは、オブジェクト検出などの複雑な視覚タスクの純粋なトランスフォーマーソリューションへの重要なステップストーンであると考えています。
  論文  参考訳（メタデータ） (2020-12-17T22:33:14Z)
• Rewiring the Transformer with Depth-Wise LSTMs [55.50278212605607]
  カスケードトランスとサブ層を接続する奥行きLSTMを用いたトランスフォーマーを提案する。 6層トランスを用いた実験では、WMT 14英語/ドイツ語/フランス語タスクとOPUS-100多言語NMTタスクの両方でBLEUが大幅に改善された。
  論文  参考訳（メタデータ） (2020-07-13T09:19:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。