論文の概要: Transformers are Efficient In-Context Estimators for Wireless
Communication
- arxiv url: http://arxiv.org/abs/2311.00226v1
- Date: Wed, 1 Nov 2023 02:16:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 15:24:21.850141
- Title: Transformers are Efficient In-Context Estimators for Wireless
Communication
- Title(参考訳): トランスフォーマーは、無線通信のための効率的なコンテキスト内推定器である
- Authors: Vicram Rajagopalan (1), Vishnu Teja Kunde (2), Chandra Shekhara
Kaushik Valmeekam (2), Krishna Narayanan (2), Srinivas Shakkottai (2), Dileep
Kalathil (2), Jean-Francois Chamberland (2) ((1) Department of Computer
Science and Engineering, Texas A&M University, (2) Department of Electrical
and Computer Engineering, Texas A&M University)
- Abstract要約: 事前学習されたトランスフォーマーはコンテキスト内学習を行い、少数のプロンプトだけを使用して新しいタスクに適応する。
送信シンボルを推定する標準通信問題に対して,インコンテキスト推定と呼ばれる新しい手法を提案する。
- 参考スコア(独自算出の注目度): 0.2778057648635665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pre-trained transformers can perform in-context learning, where they adapt to
a new task using only a small number of prompts without any explicit model
optimization. Inspired by this attribute, we propose a novel approach, called
in-context estimation, for the canonical communication problem of estimating
transmitted symbols from received symbols. A communication channel is
essentially a noisy function that maps transmitted symbols to received symbols,
and this function can be represented by an unknown parameter whose statistics
depend on an (also unknown) latent context. Conventional approaches ignore this
hierarchical structure and simply attempt to use known transmissions, called
pilots, to perform a least-squares estimate of the channel parameter, which is
then used to estimate successive, unknown transmitted symbols. We make the
basic connection that transformers show excellent contextual sequence
completion with a few prompts, and so they should be able to implicitly
determine the latent context from pilot symbols to perform end-to-end
in-context estimation of transmitted symbols. Furthermore, the transformer
should use information efficiently, i.e., it should utilize any pilots received
to attain the best possible symbol estimates. Through extensive simulations, we
show that in-context estimation not only significantly outperforms standard
approaches, but also achieves the same performance as an estimator with perfect
knowledge of the latent context within a few context examples. Thus, we make a
strong case that transformers are efficient in-context estimators in the
communication setting.
- Abstract(参考訳): 事前学習されたトランスフォーマーはコンテキスト内学習を行い、明示的なモデル最適化なしに少数のプロンプトのみを使用して新しいタスクに適応する。
この属性に触発されて、受信シンボルから送信シンボルを推定する標準通信問題に対して、インコンテキスト推定と呼ばれる新しい手法を提案する。
通信チャネルは、送信されたシンボルを受信したシンボルにマッピングするノイズの多い関数であり、この関数は、統計が(未知の)潜在文脈に依存する未知のパラメータで表すことができる。
従来のアプローチでは、この階層構造を無視して、パイロットと呼ばれる既知の送信を使用して、チャネルパラメータの最小二乗推定を行い、その後、連続した未知の送信シンボルを推定する。
そこで我々は,トランスフォーマーがいくつかのプロンプトで優れたコンテクストシーケンス完了を示す基本的接続を構築し,パイロットシンボルから潜在コンテキストを暗黙的に決定し,送信されたシンボルのエンドツーエンドのインコンテキスト推定を行う。
さらに、トランスフォーマーは、最高のシンボル推定を達成するために、受信したパイロットを効率的に利用すべきである。
広範囲なシミュレーションを通じて,文脈内推定が標準手法を著しく上回るだけでなく,いくつかの文脈例において潜在文脈の完全な知識を持つ推定者と同じ性能が得られることを示す。
したがって、トランスフォーマーが通信環境において効率的なインコンテクスト推定器であることを示す。
関連論文リスト
- Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。
この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。
我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
論文 参考訳(メタデータ) (2023-10-23T04:35:58Z) - Trained Transformers Learn Linear Models In-Context [39.56636898650966]
トランスフォーマーとしての注意に基づくニューラルネットワークは、意図的学習(ICL)を示す顕著な能力を示した
線形回帰問題のランダムな例に対する変圧器の訓練において、これらのモデルの予測は通常の正方形の非線形性を模倣することを示した。
論文 参考訳(メタデータ) (2023-06-16T15:50:03Z) - Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。
既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。
本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
論文 参考訳(メタデータ) (2022-11-29T15:33:02Z) - Semantic-Native Communication: A Simplicial Complex Perspective [50.099494681671224]
トポロジカル空間の観点から意味コミュニケーションを研究する。
送信機はまずデータを$k$の単純複素数にマッピングし、その高次相関を学習する。
受信機は構造を復号し、行方不明または歪んだデータを推測する。
論文 参考訳(メタデータ) (2022-10-30T22:33:44Z) - Neuro-Symbolic Causal Reasoning Meets Signaling Game for Emergent
Semantic Communications [71.63189900803623]
創発的SCシステムフレームワークを提案し,創発的言語設計のためのシグナリングゲームと因果推論のためのニューロシンボリック(NeSy)人工知能(AI)アプローチで構成されている。
ESCシステムは、意味情報、信頼性、歪み、類似性の新たな指標を強化するように設計されている。
論文 参考訳(メタデータ) (2022-10-21T15:33:37Z) - Learning Disentangled Textual Representations via Statistical Measures
of Similarity [35.74568888409149]
トレーニングを必要としない不整合表現を学習するための正規化器のファミリーを導入する。
我々の新しい正規化器は、追加のトレーニングを必要とせず、より速く、追加のチューニングを伴わない。
論文 参考訳(メタデータ) (2022-05-07T08:06:22Z) - Context-Aware Transformer Transducer for Speech Recognition [21.916660252023707]
本稿では,この文脈信号を利用して,最先端の変圧器ベースASRシステムを改善する新しい文脈対応変圧器トランスデューサ(CATT)ネットワークを提案する。
BERTベースのコンテキストエンコーダを用いたCATTは、ベースライントランスデューサの単語誤り率を改善し、既存の深層文脈モデルよりも24.2%、19.4%向上することを示す。
論文 参考訳(メタデータ) (2021-11-05T04:14:35Z) - Matching with Transformers in MELT [1.2891210250935146]
我々は、オントロジーと知識グラフマッチングに適したMELTフレームワークで簡単に使える実装を提供する。
変換器をベースとしたフィルタは,ハイリコールアライメントによって適切な対応を選択するのに役立つことを示す。
論文 参考訳(メタデータ) (2021-09-15T16:07:43Z) - Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。
実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
論文 参考訳(メタデータ) (2020-06-25T13:43:11Z) - Information-Theoretic Probing with Minimum Description Length [74.29846942213445]
我々は,最小記述長 (MDL) を持つ情報理論探索法である標準プローブの代替案を提案する。
MDL Probingでは、ラベルを予測するためのプローブのトレーニングが、データを効果的に送信するための教えとして再キャストされる。
これらの手法は結果に一致し、標準プローブよりも情報的かつ安定であることを示す。
論文 参考訳(メタデータ) (2020-03-27T09:35:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。