論文の概要: In-Context Learning for MIMO Equalization Using Transformer-Based Sequence Models

• arxiv url: http://arxiv.org/abs/2311.06101v1
• Date: Fri, 10 Nov 2023 15:09:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 14:52:12.783043
• Title: In-Context Learning for MIMO Equalization Using Transformer-Based Sequence Models
• Title（参考訳）: 変圧器に基づく系列モデルを用いたMIMO等化のインコンテキスト学習
• Authors: Matteo Zecchin, Kai Yu, Osvaldo Simeone
• Abstract要約: 大規模な事前学習シーケンスモデルには、コンテキスト内学習(ICL)を実行する能力がある ICLでは、新しい入力に関する決定は、入力の直接マッピングと与えられたタスクからのいくつかの例を通して行われる。 我々は,変圧器をベースとしたICLのしきい値挙動を数値計算により示す。
• 参考スコア（独自算出の注目度）: 44.161789477821536
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large pre-trained sequence models, such as transformer-based architectures, have been recently shown to have the capacity to carry out in-context learning (ICL). In ICL, a decision on a new input is made via a direct mapping of the input and of a few examples from the given task, serving as the task's context, to the output variable. No explicit updates of model parameters are needed to tailor the decision to a new task. Pre-training, which amounts to a form of meta-learning, is based on the observation of examples from several related tasks. Prior work has shown ICL capabilities for linear regression. In this study, we leverage ICL to address the inverse problem of multiple-input and multiple-output (MIMO) equalization based on a context given by pilot symbols. A task is defined by the unknown fading channel and by the signal-to-noise ratio (SNR) level, which may be known. To highlight the practical potential of the approach, we allow for the presence of quantization of the received signals. We demonstrate via numerical results that transformer-based ICL has a threshold behavior, whereby, as the number of pre-training tasks grows, the performance switches from that of a minimum mean squared error (MMSE) equalizer with a prior determined by the pre-trained tasks to that of an MMSE equalizer with the true data-generating prior.
• Abstract（参考訳）: トランスフォーマーベースのアーキテクチャのような大規模な事前学習シーケンスモデルは、最近、コンテキスト内学習(ICL)を実行する能力があることが示されている。 ICLでは、新しい入力に関する決定は、入力の直接マッピングと、タスクのコンテキストとして機能する与えられたタスクから出力変数へのいくつかの例を通して行われる。 決定を新しいタスクに合わせるために、モデルパラメータの明示的な更新は必要ない。 事前学習はメタラーニングの一形態であり、いくつかの関連するタスクから例を観察することに基づいている。 先行研究では線形回帰のためのicl能力が示されている。 本研究では,パイロットシンボルが与える文脈に基づく多入力・多出力(mimo)等化の逆問題に対処するために icl を利用する。 タスクは未知のフェーディングチャネルと、既知の信号対雑音比(SNR)レベルによって定義される。 提案手法の実用的可能性を強調するため,受信した信号の量子化の存在を許容する。 本研究では, 変圧器をベースとしたICLのしきい値挙動を数値的に示し, 事前学習タスクの数が増加するにつれて, 最小平均二乗誤差(MMSE)等化器から実データ生成前のMMSE等化器に切り替わることを示す。

関連論文リスト

• Context-Scaling versus Task-Scaling in In-Context Learning [17.36757113301424]
  In-Context Learning (ICL: In-Context Learning) の2つの重要なコンポーネント、コンテキストスケーリングとタスクスケーリングを分析します。 コンテクストスケーリングとタスクスケーリングの両方が可能であるが、ベクトル化された入力を持つ標準的なマルチ層パーセプトロン(MLP)はタスクスケーリングしかできないことを実証的に示す。
  論文  参考訳（メタデータ） (2024-10-16T17:58:08Z)
• Transformers are Minimax Optimal Nonparametric In-Context Learners [36.291980654891496]
  大規模言語モデルのコンテキスト内学習は、いくつかの実証的な例から新しいタスクを学ぶのに驚くほど効果的な方法であることが証明されている。 我々は,ディープニューラルネットワークと1つの線形アテンション層からなる変圧器の近似および一般化誤差境界を開発する。 十分に訓練されたトランスフォーマーは、文脈における最小推定リスクを達成し、改善できることを示す。
  論文  参考訳（メタデータ） (2024-08-22T08:02:10Z)
• Cell-Free Multi-User MIMO Equalization via In-Context Learning [39.29335165121442]
  In-context Learning (ICL) は、マルチユーザ等化の問題に対処するために用いられる。 本研究では、ICLがマルチユーザ等化の問題に対処するためにも利用できることを示す。
  論文  参考訳（メタデータ） (2024-04-08T14:06:52Z)
• Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in Transformer Models [9.340409961107955]
  トランスフォーマーモデルには、コンテキスト内学習(ICL)を実行する驚くべき能力がある 本研究は, トランスフォーマーが事前学習データ混合物間の橋渡しを効果的に行う方法について検討する。 以上の結果から,高容量シーケンスモデルの印象的なICL能力は,インダクティブバイアスよりも事前学習データ混合のカバレッジに密接に関係している可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-01T21:41:08Z)
• How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
  様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。 線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
  論文  参考訳（メタデータ） (2023-10-12T15:01:43Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
  本稿では,意思決定問題における変換器の文脈内学習能力について検討する。 本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。 事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
  論文  参考訳（メタデータ） (2023-06-26T17:58:50Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。