論文の概要: In-Context Learning through the Bayesian Prism

• arxiv url: http://arxiv.org/abs/2306.04891v2
• Date: Sun, 14 Apr 2024 05:12:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 00:07:07.225112
• Title: In-Context Learning through the Bayesian Prism
• Title（参考訳）: ベイジアン・プリズムによるインテクスト学習
• Authors: Madhur Panwar, Kabir Ahuja, Navin Goyal,
• Abstract要約: In-context Learning (ICL) は、大きな言語モデルの驚くべき特徴の1つである。 本稿では,このベイズ的視点がICLの理解にどの程度役立つのかを実証的に検討する。
• 参考スコア（独自算出の注目度）: 16.058624485018207
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) is one of the surprising and useful features of large language models and subject of intense research. Recently, stylized meta-learning-like ICL setups have been devised that train transformers on sequences of input-output pairs $(x, f(x))$. The function $f$ comes from a function class and generalization is checked by evaluating on sequences generated from unseen functions from the same class. One of the main discoveries in this line of research has been that for several function classes, such as linear regression, transformers successfully generalize to new functions in the class. However, the inductive biases of these models resulting in this behavior are not clearly understood. A model with unlimited training data and compute is a Bayesian predictor: it learns the pretraining distribution. In this paper we empirically examine how far this Bayesian perspective can help us understand ICL. To this end, we generalize the previous meta-ICL setup to hierarchical meta-ICL setup which involve unions of multiple task families. We instantiate this setup on a diverse range of linear and nonlinear function families and find that transformers can do ICL in this setting as well. Where Bayesian inference is tractable, we find evidence that high-capacity transformers mimic the Bayesian predictor. The Bayesian perspective provides insights into the inductive bias of ICL and how transformers perform a particular task when they are trained on multiple tasks. We also find that transformers can learn to generalize to new function classes that were not seen during pretraining. This involves deviation from the Bayesian predictor. We examine these deviations in more depth offering new insights and hypotheses.
• Abstract（参考訳）: In-context Learning (ICL) は、大きな言語モデルの驚きと有用な特徴の1つであり、激しい研究の対象となっている。 近年,入力出力対の列上の変換器を$(x, f(x))$で訓練する方式が考案されている。 関数$f$は関数クラスから来て、同じクラスから見えない関数から生成されたシーケンスを評価することで一般化をチェックする。 この研究の行の主な発見の1つは、線形回帰のようないくつかの関数クラスにおいて、変換器がクラス内の新しい関数に一般化することに成功したことである。 しかし、これらのモデルがこのような振る舞いをもたらす誘導バイアスは明確には理解されていない。 無制限のトレーニングデータと計算能力を持つモデルはベイズ予測器であり、事前学習分布を学習する。 本稿では,このベイズ的視点がICLの理解にどの程度役立つのかを実証的に検討する。 この目的のために,従来のメタICLセットアップを複数のタスクファミリの結合を含む階層的なメタICLセットアップに一般化する。 我々は、この設定を多種多様な線形および非線形関数列でインスタンス化し、変換器がこの設定でICLを実行できることを発見した。 ベイズ予想が導出可能な場合、大容量変圧器がベイズ予測器を模倣している証拠が見つかる。 ベイズ的視点は、ICLの帰納的バイアスと、トランスフォーマーが複数のタスクでトレーニングされたときの特定のタスクの実行方法に関する洞察を提供する。 また、トランスフォーマーは事前トレーニング中に見られなかった新しい関数クラスに一般化することを学ぶことができる。 これはベイズ予測器からの偏差を伴う。 我々はこれらの偏差をより深く検討し、新たな洞察と仮説を提供する。

関連論文リスト

• On the Role of Depth and Looping for In-Context Learning with Task Diversity [69.4145579827826]
  多様なタスクを伴う線形回帰のための文脈内学習について検討する。 We show that multilayer Transformer is not robust to even distributional shifts as $O(e-L)$ in Wasserstein distance。
  論文  参考訳（メタデータ） (2024-10-29T03:27:56Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• In-Context Learning with Representations: Contextual Generalization of Trained Transformers [66.78052387054593]
  In-context Learning (ICL) は、事前訓練された大規模言語モデルの能力を指し、推論中にいくつか例を挙げると、新しいタスクを学習できる。 本稿では,非線形回帰タスクのレンズによる勾配降下による変圧器のトレーニングダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2024-08-19T16:47:46Z)
• Towards Better Understanding of In-Context Learning Ability from In-Context Uncertainty Quantification [7.869708570399577]
  条件付き期待値 $mathbbE[Y|X]$ と条件付き分散 Var$(Y|X)$ の両方を予測する双目的予測タスクを考える。 理論的には、トレーニングされたトランスフォーマーがベイズ最適付近に到達し、トレーニング分布の情報の利用が示唆される。
  論文  参考訳（メタデータ） (2024-05-24T00:08:55Z)
• Can Transformers Learn Sequential Function Classes In Context? [0.0]
  インコンテキスト学習(ICL)は、NLPにおけるトランスフォーマーモデルの能力に革命をもたらした。 我々は,新しいスライディングウィンドウシーケンシャル関数クラスを導入し,GPT-2アーキテクチャを用いた玩具サイズのトランスフォーマーを用いて実験を行った。 解析により,これらのモデルが非テキストシーケンシャル関数クラスでトレーニングされた場合,実際にICLを活用できることが示唆された。
  論文  参考訳（メタデータ） (2023-12-19T22:57:13Z)
• How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
  本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。 合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。 理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:40:49Z)
• Pretraining task diversity and the emergence of non-Bayesian in-context learning for regression [31.950737940558984]
  事前訓練されたトランスフォーマーは、文脈内学習(ICL)の顕著な能力を示す ICLは、事前トレーニング中に見られるタスクとは大きく異なる、基本的に$textitnew$タスクを解決できますか?
  論文  参考訳（メタデータ） (2023-06-26T21:05:20Z)
• Trained Transformers Learn Linear Models In-Context [39.56636898650966]
  トランスフォーマーとしての注意に基づくニューラルネットワークは、意図的学習(ICL)を示す顕著な能力を示した 線形回帰問題のランダムな例に対する変圧器の訓練において、これらのモデルの予測は通常の正方形の非線形性を模倣することを示した。
  論文  参考訳（メタデータ） (2023-06-16T15:50:03Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。