論文の概要: Transformers are Provably Optimal In-context Estimators for Wireless Communications
- arxiv url: http://arxiv.org/abs/2311.00226v3
- Date: Fri, 14 Jun 2024 18:05:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 12:20:53.106802
- Title: Transformers are Provably Optimal In-context Estimators for Wireless Communications
- Title(参考訳): 変圧器はおそらく無線通信のための最適インコンテキスト推定器である
- Authors: Vishnu Teja Kunde, Vicram Rajagopalan, Chandra Shekhara Kaushik Valmeekam, Krishna Narayanan, Srinivas Shakkottai, Dileep Kalathil, Jean-Francois Chamberland,
- Abstract要約: マルチ層変換器は文脈内推定問題を効率的に解くことができることを示す。
また,このような変圧器の最適構成が,対応するトレーニング損失の最小化要因であることも証明した。
- 参考スコア(独自算出の注目度): 12.756143424752363
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pre-trained transformers exhibit the capability of adapting to new tasks through in-context learning (ICL), where they efficiently utilize a limited set of prompts without explicit model optimization. The canonical communication problem of estimating transmitted symbols from received observations can be modelled as an in-context learning problem: Received observations are essentially a noisy function of transmitted symbols, and this function can be represented by an unknown parameter whose statistics depend on an (also unknown) latent context. This problem, which we term in-context estimation (ICE), has significantly greater complexity than the extensively studied linear regression problem. The optimal solution to the ICE problem is a non-linear function of the underlying context. In this paper, we prove that, for a subclass of such problems, a single layer softmax attention transformer (SAT) computes the optimal solution of the above estimation problem in the limit of large prompt length. We also prove that the optimal configuration of such transformer is indeed the minimizer of the corresponding training loss. Further, we empirically demonstrate the proficiency of multi-layer transformers in efficiently solving broader in-context estimation problems. Through extensive simulations, we show that solving ICE problems using transformers significantly outperforms standard approaches. Moreover, just with a few context examples, it achieves the same performance as an estimator with perfect knowledge of the latent context.
- Abstract(参考訳): 事前学習されたトランスフォーマーは、コンテキスト内学習(ICL)を通じて新しいタスクに適応する能力を示し、モデル最適化を明示することなく、限られたプロンプトの集合を効率的に活用する。
受信された観測から送信されたシンボルを推定する標準的な通信問題は、コンテキスト内学習問題としてモデル化することができる: 受信された観測は、送信されたシンボルのノイズ関数であり、この関数は、統計が(未知の)潜在文脈に依存する未知のパラメータで表すことができる。
この問題は、インコンテキスト推定(ICE)と呼ばれ、広く研究された線形回帰問題よりもはるかに複雑である。
ICE問題の最適解は、基礎となる文脈の非線形関数である。
本稿では,このような問題のサブクラスに対して,単層ソフトマックスアテンショントランスフォーマー(SAT)が,上述した推定問題の最適解を大きなプロンプト長の極限で計算することを証明する。
また,このような変圧器の最適構成が,対応するトレーニング損失の最小化要因であることも証明した。
さらに,より広いコンテキスト内推定問題を効率的に解くために,多層トランスフォーマーの有効性を実証的に示す。
大規模なシミュレーションにより, 変圧器を用いたICE問題の解法は, 標準手法よりも大幅に優れていることを示す。
さらに、いくつかのコンテキストの例と同様に、潜在コンテキストの完全な知識を持つ推定器と同じパフォーマンスを達成する。
関連論文リスト
- Does learning the right latent variables necessarily improve in-context learning? [13.828665019247444]
Transformersのような大規模な自己回帰モデルは、新しい重みを学習することなく、コンテキスト内学習(ICL)によってタスクを解決できる。
本稿では,タスクラテントを明示的に推論する効果について検討する。
タスク関連潜伏変数への偏りは、分配性能を向上させるには至らない。
論文 参考訳(メタデータ) (2024-05-29T15:06:10Z) - Linear Transformers are Versatile In-Context Learners [21.444440482020994]
任意の線形変圧器が暗黙の線形モデルを維持していることを証明し、事前条件付き勾配勾配の変種として解釈できる。
また、異なるレベルのノイズでトレーニングデータが破損する難易度シナリオにおける線形変圧器の使用についても検討する。
論文 参考訳(メタデータ) (2024-02-21T23:45:57Z) - Learning Optimal Power Flow Value Functions with Input-Convex Neural
Networks [15.791200937436837]
最適電力流(OPF)問題は電力システムに不可欠な問題であり、分散制約に固執しながら発電を最適化することを目的としている。
本研究は、他の凸依存決定問題と結合しながら、オンライン環境でより高速な分析を学習するための機械学習(ML)について検討する。
論文 参考訳(メタデータ) (2023-10-06T21:48:39Z) - Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
本稿では,意思決定問題における変換器の文脈内学習能力について検討する。
本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。
事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
論文 参考訳(メタデータ) (2023-06-26T17:58:50Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳(メタデータ) (2023-06-07T17:59:31Z) - What and How does In-Context Learning Learn? Bayesian Model Averaging,
Parameterization, and Generalization [111.55277952086155]
In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。
ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。
事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
論文 参考訳(メタデータ) (2023-05-30T21:23:47Z) - Offline Model-Based Optimization via Normalized Maximum Likelihood
Estimation [101.22379613810881]
データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。
この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。
我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
論文 参考訳(メタデータ) (2021-02-16T06:04:27Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳(メタデータ) (2020-11-30T21:47:38Z) - Consistency analysis of bilevel data-driven learning in inverse problems [1.0705399532413618]
本稿では,データからの正規化パラメータの適応学習を最適化により検討する。
線形逆問題に対する我々のフレームワークの実装方法を示す。
勾配降下法を用いてオンライン数値スキームを導出する。
論文 参考訳(メタデータ) (2020-07-06T12:23:29Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳(メタデータ) (2020-06-18T19:11:54Z) - Unsupervised Deep Learning for Optimizing Wireless Systems with
Instantaneous and Statistic Constraints [29.823814915538463]
我々は、教師なしのディープラーニングを用いて、瞬時的制約と統計的制約の両方で、双方の問題を解決する統一的な枠組みを確立する。
教師なし学習は、最適政策の違反確率と近似精度の観点から教師あり学習より優れていることを示す。
論文 参考訳(メタデータ) (2020-05-30T13:37:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。