論文の概要: Transformers learn variable-order Markov chains in-context

• arxiv url: http://arxiv.org/abs/2410.05493v1
• Date: Mon, 7 Oct 2024 21:04:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 18:18:05.079696
• Title: Transformers learn variable-order Markov chains in-context
• Title（参考訳）: 変換器は可変次マルコフ連鎖を文脈で学習する
• Authors: Ruida Zhou, Chao Tian, Suhas Diggavi,
• Abstract要約: 可変次マルコフ連鎖(VOMC)のICLを,データ圧縮の一形態として言語モデルを用いて検討する。 そこで本研究では, 2層変圧器は変圧器のICL性能に適合することを示した。
• 参考スコア（独自算出の注目度）: 10.210508887119643
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models have demonstrated impressive in-context learning (ICL) capability. However, it is still unclear how the underlying transformers accomplish it, especially in more complex scenarios. Toward this goal, several recent works studied how transformers learn fixed-order Markov chains (FOMC) in context, yet natural languages are more suitably modeled by variable-order Markov chains (VOMC), i.e., context trees (CTs). In this work, we study the ICL of VOMC by viewing language modeling as a form of data compression and focus on small alphabets and low-order VOMCs. This perspective allows us to leverage mature compression algorithms, such as context-tree weighting (CTW) and prediction by partial matching (PPM) algorithms as baselines, the former of which is Bayesian optimal for a class of CTW priors. We empirically observe a few phenomena: 1) Transformers can indeed learn to compress VOMC in-context, while PPM suffers significantly; 2) The performance of transformers is not very sensitive to the number of layers, and even a two-layer transformer can learn in-context quite well; and 3) Transformers trained and tested on non-CTW priors can significantly outperform the CTW algorithm. To explain these phenomena, we analyze the attention map of the transformers and extract two mechanisms, on which we provide two transformer constructions: 1) A construction with $D+2$ layers that can mimic the CTW algorithm accurately for CTs of maximum order $D$, 2) A 2-layer transformer that utilizes the feed-forward network for probability blending. One distinction from the FOMC setting is that a counting mechanism appears to play an important role. We implement these synthetic transformer layers and show that such hybrid transformers can match the ICL performance of transformers, and more interestingly, some of them can perform even better despite the much-reduced parameter sets.
• Abstract（参考訳）: 大規模言語モデルは、印象的なインコンテキスト学習(ICL)能力を示している。 しかし、基盤となるトランスフォーマーがどうやって実現したのか、特により複雑なシナリオではまだ不明である。 この目的に向けて、最近のいくつかの研究は、変換者が文脈において不定階マルコフ連鎖(FOMC)を学習する方法を研究しているが、自然言語は変数次マルコフ連鎖(VOMC)、すなわち文脈木(CT)によりより適切にモデル化されている。 本研究では,データ圧縮の形式として言語モデルを用いてVOMCのICLを調査し,小文字と低階VOMCに着目した。 この観点から、文脈木重み付け(CTW)や部分マッチング(PPM)アルゴリズムによる予測などの成熟した圧縮アルゴリズムをベースラインとして活用することができる。 私たちはいくつかの現象を経験的に観察します。 1) トランスフォーマーは、実際にVOMCをインコンテキストで圧縮することを学ぶことができるが、PPMは、かなり苦しむ。 2) 変圧器の性能は層数にはあまり敏感ではなく, 2層変圧器でさえ, 文脈内で十分に学習することができる。 3)CTW以前に訓練・試験したトランスフォーマーはCTWアルゴリズムよりも優れていた。 これらの現象を説明するために、トランスの注意マップを分析し、2つのメカニズムを抽出し、2つのトランス構造を提供する。 1)最大位$D$のCTに対してCTWアルゴリズムを正確に模倣できる$D+2$の層による構築 2) フィードフォワードネットワークを利用して確率ブレンディングを行う2層トランス。 FOMC設定との違いの1つは、カウント機構が重要な役割を果たすように見えることである。 我々はこれらの合成変圧器層を実装し、そのようなハイブリッド変圧器が変圧器のICL性能に適合できることを示す。

関連論文リスト

• Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
  2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。 例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
  論文  参考訳（メタデータ） (2024-10-03T21:21:02Z)
• Beyond Scaling Laws: Understanding Transformer Performance with Associative Memory [11.3128832831327]
  Transformerモデルのサイズが大きくなると、パフォーマンスが向上するとは限らない。 モデルがトレーニングサンプルを記憶するにつれて、一般化能力が向上する。 本稿では,変圧器に基づく言語モデルの記憶過程と性能動態に光を当てる理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-14T15:48:36Z)
• Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
  コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。 CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。 多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
  論文  参考訳（メタデータ） (2023-08-13T06:12:00Z)
• Dual-path Adaptation from Image to Video Transformers [62.056751480114784]
  ViTやSwinのような視覚基盤モデルの超越する表現力を、トレーニング可能なパラメータ数だけでビデオ理解するために効率的に転送する。 本稿では,空間的および時間的適応経路に分離した新しいDualPath適応法を提案する。
  論文  参考訳（メタデータ） (2023-03-17T09:37:07Z)
• Towards Lightweight Transformer via Group-wise Transformation for Vision-and-Language Tasks [126.33843752332139]
  本稿では,LW-Transformerと呼ばれる視覚・言語タスクのための,普遍的で軽量なトランスフォーマーに対するグループワイズ変換を提案する。 LW-Transformerを一組のTransformerベースのネットワークに適用し、3つの視覚・言語タスクと6つのベンチマークデータセットで定量的に測定する。 実験の結果,LW-Transformerは多数のパラメータや計算を節約しながら,視覚・言語タスクのためのトランスフォーマーネットワークと非常に競合する性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2022-04-16T11:30:26Z)
• Transformer with a Mixture of Gaussian Keys [31.91701434633319]
  マルチヘッドアテンションは最先端のトランスフォーマーの背後にある原動力である。 Transformer-MGKは、トランスフォーマーの冗長なヘッドを、各ヘッドにキーの混合で置き換える。 従来のトランスフォーマーと比較して、Transformer-MGKはトレーニングと推論を加速し、パラメータが少なく、計算するFLOPも少ない。
  論文  参考訳（メタデータ） (2021-10-16T23:43:24Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• Glance-and-Gaze Vision Transformer [13.77016463781053]
  我々は Glance-and-Gaze Transformer (GG-Transformer) という新しい視覚変換器を提案する。 自然の場面で物体を認識するとき、人間のGlance and Gazeの行動によって動機付けられている。 提案手法は,従来の最先端変圧器よりも一貫した性能を実現することを実証的に実証する。
  論文  参考訳（メタデータ） (2021-06-04T06:13:47Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。