論文の概要: In-Context Learning for MIMO Equalization Using Transformer-Based
Sequence Models
- arxiv url: http://arxiv.org/abs/2311.06101v2
- Date: Mon, 22 Jan 2024 09:27:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 20:18:18.947580
- Title: In-Context Learning for MIMO Equalization Using Transformer-Based
Sequence Models
- Title(参考訳): 変圧器に基づく系列モデルを用いたMIMO等化のインコンテキスト学習
- Authors: Matteo Zecchin, Kai Yu, Osvaldo Simeone
- Abstract要約: 大規模な事前学習シーケンスモデルには、コンテキスト内学習(ICL)を実行する能力がある
ICLでは、新しい入力に関する決定は、入力の直接マッピングと与えられたタスクからのいくつかの例を通して行われる。
我々は,変圧器をベースとしたICLのしきい値挙動を数値計算により示す。
- 参考スコア(独自算出の注目度): 44.161789477821536
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large pre-trained sequence models, such as transformer-based architectures,
have been recently shown to have the capacity to carry out in-context learning
(ICL). In ICL, a decision on a new input is made via a direct mapping of the
input and of a few examples from the given task, serving as the task's context,
to the output variable. No explicit updates of the model parameters are needed
to tailor the decision to a new task. Pre-training, which amounts to a form of
meta-learning, is based on the observation of examples from several related
tasks. Prior work has shown ICL capabilities for linear regression. In this
study, we leverage ICL to address the inverse problem of multiple-input and
multiple-output (MIMO) equalization based on a context given by pilot symbols.
A task is defined by the unknown fading channel and by the signal-to-noise
ratio (SNR) level, which may be known. To highlight the practical potential of
the approach, we allow the presence of quantization of the received signals. We
demonstrate via numerical results that transformer-based ICL has a threshold
behavior, whereby, as the number of pre-training tasks grows, the performance
switches from that of a minimum mean squared error (MMSE) equalizer with a
prior determined by the pre-trained tasks to that of an MMSE equalizer with the
true data-generating prior.
- Abstract(参考訳): トランスフォーマーベースのアーキテクチャのような大規模な事前学習シーケンスモデルは、最近、コンテキスト内学習(ICL)を実行する能力があることが示されている。
ICLでは、新しい入力に関する決定は、入力の直接マッピングと、タスクのコンテキストとして機能する与えられたタスクから出力変数へのいくつかの例を通して行われる。
新しいタスクに決定を合わせるためにモデルパラメータの明示的な更新は必要ありません。
事前学習はメタラーニングの一形態であり、いくつかの関連するタスクから例を観察することに基づいている。
先行研究では線形回帰のためのicl能力が示されている。
本研究では,パイロットシンボルが与える文脈に基づく多入力・多出力(mimo)等化の逆問題に対処するために icl を利用する。
タスクは未知のフェーディングチャネルと、既知の信号対雑音比(SNR)レベルによって定義される。
提案手法の実用的可能性を強調するため,受信した信号の量子化の存在を許容する。
本研究では, 変圧器をベースとしたICLのしきい値挙動を数値的に示し, 事前学習タスクの数が増加するにつれて, 最小平均二乗誤差(MMSE)等化器から実データ生成前のMMSE等化器に切り替わることを示す。
関連論文リスト
- Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in
Transformer Models [9.340409961107955]
トランスフォーマーモデルには、コンテキスト内学習(ICL)を実行する驚くべき能力がある
本研究は, トランスフォーマーが事前学習データ混合物間の橋渡しを効果的に行う方法について検討する。
以上の結果から,高容量シーケンスモデルの印象的なICL能力は,インダクティブバイアスよりも事前学習データ混合のカバレッジに密接に関係している可能性が示唆された。
論文 参考訳(メタデータ) (2023-11-01T21:41:08Z) - How Many Pretraining Tasks Are Needed for In-Context Learning of Linear
Regression? [98.44739214880573]
様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。
線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
論文 参考訳(メタデータ) (2023-10-12T15:01:43Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [72.2068175246167]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳(メタデータ) (2023-10-04T04:26:33Z) - Instruction Position Matters in Sequence Generation with Large Language
Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。
入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文 参考訳(メタデータ) (2023-08-23T12:36:57Z) - Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
本稿では,意思決定問題における変換器の文脈内学習能力について検討する。
本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。
事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
論文 参考訳(メタデータ) (2023-06-26T17:58:50Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳(メタデータ) (2023-06-07T17:59:31Z) - Meta Learning MDPs with Linear Transition Models [22.508479528847634]
マルコフ決定過程 (MDP) におけるメタラーニングについて, 線形遷移モデルを用いて検討した。
本稿では,UC-Matrix RLアルゴリズムのバージョンであるBUC-MatrixRLを提案する。
BUC-Matrix RLは,タスクを個別に学習するのに比べて,高バイアス低分散タスク分布に対する伝達後悔の大幅な改善を提供する。
論文 参考訳(メタデータ) (2022-01-21T14:57:03Z) - Machine Learning for MU-MIMO Receive Processing in OFDM Systems [14.118477167150143]
従来の線形最小平均二乗誤差(LMMSE)アーキテクチャ上に構築したML強化MU-MIMO受信機を提案する。
cnnはチャネル推定誤差の2次統計量の近似を計算するために用いられる。
CNNベースのデマッパーは、多数の周波数分割多重記号とサブキャリアを共同で処理する。
論文 参考訳(メタデータ) (2020-12-15T09:55:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。