論文の概要: Understanding the Training and Generalization of Pretrained Transformer for Sequential Decision Making
- arxiv url: http://arxiv.org/abs/2405.14219v1
- Date: Thu, 23 May 2024 06:28:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 18:45:29.199555
- Title: Understanding the Training and Generalization of Pretrained Transformer for Sequential Decision Making
- Title（参考訳）: シーケンス決定のための事前学習型変圧器の訓練と一般化の理解
- Authors: Hanzhao Wang, Yu Pan, Fupeng Sun, Shang Liu, Kalyan Talluri, Guanting Chen, Xiaocheng Li,
- Abstract要約: 逐次的意思決定問題に対する教師付き事前学習型変換器について検討する。
このような構造は、事前学習フェーズにおける最適なアクション/決定の使用を可能にする。
- 参考スコア（独自算出の注目度）: 7.8816327398541635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we consider the supervised pretrained transformer for a class of sequential decision-making problems. The class of considered problems is a subset of the general formulation of reinforcement learning in that there is no transition probability matrix, and the class of problems covers bandits, dynamic pricing, and newsvendor problems as special cases. Such a structure enables the use of optimal actions/decisions in the pretraining phase, and the usage also provides new insights for the training and generalization of the pretrained transformer. We first note that the training of the transformer model can be viewed as a performative prediction problem, and the existing methods and theories largely ignore or cannot resolve the arisen out-of-distribution issue. We propose a natural solution that includes the transformer-generated action sequences in the training procedure, and it enjoys better properties both numerically and theoretically. The availability of the optimal actions in the considered tasks also allows us to analyze the properties of the pretrained transformer as an algorithm and explains why it may lack exploration and how this can be automatically resolved. Numerically, we categorize the advantages of the pretrained transformer over the structured algorithms such as UCB and Thompson sampling into three cases: (i) it better utilizes the prior knowledge in the pretraining data; (ii) it can elegantly handle the misspecification issue suffered by the structured algorithms; (iii) for short time horizon such as $T\le50$, it behaves more greedy and enjoys much better regret than the structured algorithms which are designed for asymptotic optimality.
- Abstract（参考訳）: 本稿では,逐次的意思決定問題に対する教師付き事前学習型変圧器について考察する。
考察された問題のクラスは、遷移確率行列が存在しないという、強化学習の一般的な定式化のサブセットであり、問題のクラスは特別なケースとして帯域幅、動的価格、ニュースベンダーの問題をカバーする。
このような構造により、事前学習フェーズにおける最適な動作/決定が可能となり、事前訓練されたトランスフォーマーのトレーニングと一般化のための新たな洞察も得られる。
まず, 変圧器モデルのトレーニングを性能予測問題とみなすことができ, 既存の手法や理論は, 発生したアウト・オブ・ディストリビューション問題を無視したり, 解決できない点に注意する。
本稿では, 学習手順にトランスフォーマー生成動作列を含む自然な解を提案し, 数値的および理論的に良好な特性を享受する。
検討課題における最適動作の可用性は,事前学習したトランスフォーマーの特性をアルゴリズムとして解析し,探索に欠ける理由と,それが自動的に解決される方法を説明する。
数値的には、UPBやトンプソンサンプリングのような構造化アルゴリズムに対する事前学習変換器の利点を3つのケースに分類する。
(i)事前学習データに事前知識を活用すべきである。
二 構造化アルゴリズムが抱える誤特定問題に優雅に対処することができること。
(iii)$T\le50$のような短時間の地平線では、漸近的最適性のために設計された構造化アルゴリズムよりも、より欲求的であり、後悔に満ちている。
関連論文リスト
- Transformers to Predict the Applicability of Symbolic Integration Routines [0.0]
我々は、このタスクをコンピュータシステムで最適化するために機械学習がどのように使われるかを検討する。
我々は、特定の統合手法が成功するかどうかを予測するトランスフォーマーを訓練し、既存の人造アルジェブラと比較する。
変換器はこれらのガードより優れており、最大30%の精度と70%の精度が得られる。
論文 参考訳（メタデータ） (2024-10-31T14:03:37Z) - Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。
本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。
実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
論文 参考訳（メタデータ） (2024-10-22T21:30:01Z) - Algorithmic Capabilities of Random Transformers [49.73113518329544]
埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。
これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。
以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
論文 参考訳（メタデータ） (2024-10-06T06:04:23Z) - Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining [25.669038513039357]
本稿では,テキスト内強化学習のための教師付き事前学習を理論的に分析する枠組みを提案する。
ReLUに着目した変換器は、最適に近いオンライン強化学習アルゴリズムを効率的に近似できることを示す。
論文 参考訳（メタデータ） (2023-10-12T17:55:02Z) - In-Context Convergence of Transformers [63.04956160537308]
勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。
不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
論文 参考訳（メタデータ） (2023-10-08T17:55:33Z) - Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。
我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。
本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
論文 参考訳（メタデータ） (2023-09-11T22:42:50Z) - Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
本稿では,意思決定問題における変換器の文脈内学習能力について検討する。
本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。
事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
論文 参考訳（メタデータ） (2023-06-26T17:58:50Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳（メタデータ） (2023-06-07T17:59:31Z) - Transformers as Algorithms: Generalization and Implicit Model Selection
in In-context Learning [23.677503557659705]
In-context Learning (ICL) は、トランスフォーマーモデルが一連の例で動作し、オンザフライで推論を行うプロンプトの一種である。
我々は,このトランスモデルを学習アルゴリズムとして扱い,推論時別のターゲットアルゴリズムを実装するためのトレーニングを通じて専門化することができる。
変換器は適応学習アルゴリズムとして機能し、異なる仮説クラス間でモデル選択を行うことができることを示す。
論文 参考訳（メタデータ） (2023-01-17T18:31:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。