論文の概要: In-context learning of solution to simple linear regression task using transformer with masked linear self-attention
- arxiv url: http://arxiv.org/abs/2611.02817v1
- Date: Mon, 02 Nov 2026 09:19:47 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:40:13.507324
- Title: In-context learning of solution to simple linear regression task using transformer with masked linear self-attention
- Title（参考訳）: マスク付き線形自己注意型変圧器を用いた単純線形回帰問題に対する解の文脈内学習
- Abstract要約: 本稿では,単純な回帰タスクにおいて最小二乗推定を文脈内で学習する,マスク付き線形自己アテンションをもつ変圧器を構築する。
本稿では, 変圧器表現の非特異性を考慮に入れ, 閉形式解の実装を, l1正則化で訓練した変圧器に適用する実験例を示す。
- 参考スコア（独自算出の注目度）: 0.5076419064097734
- License:
- Abstract: In-context learning is a remarkable property of transformers and has recently received a lot of interest. In many studies of in-context learning, it has been shown that transformers are capable of implementing solvers for linear and non-linear regression problems, in which the most of them implement gradient descent algorithm. However, it is still unclear whether those implementations have actually been acquired through training. In this paper, we constructed a transformer with masked linear self-attention, which in-context learns the least squares estimate in a simple regression task. The point here is that the closed form (analytical) solution is obtained by using layer normalization rather than an approximate solution based on the gradient descent algorithm. Then, we showed an experimental example, in which, by taking the non-uniqueness of the transformer representation into account, our implementation for a closed form solution is used in the transformer trained with the l1 regularization when the target output is the least squares estimate.
- Abstract（参考訳）: インコンテキスト学習はトランスフォーマーの顕著な特性であり、最近多くの関心を集めている。
文脈内学習における多くの研究において、変圧器は線形および非線形回帰問題に対する解法を実装できることが示されている。
しかし、これらの実装が実際にトレーニングによって獲得されたかどうかはまだ不明である。
本稿では,単純な回帰タスクにおいて最小二乗推定を文脈内で学習する,マスク付き線形自己アテンションをもつ変圧器を構築した。
ここでのポイントは、勾配降下アルゴリズムに基づく近似解ではなく、層正規化を用いて閉形式(解析的)解が得られることである。
そこで,本研究では,変圧器表現の非特異性を考慮に入れ,目標出力が最小二乗推定値である場合に,l1正則化を訓練した変圧器において,閉形式解の実装を行う実験例を示した。
関連論文リスト
- In-context learning of closed form solution to simple linear regression task using transformer with linear self-attention [0.5076419064097734]
本稿では,線形自己アテンションを持つ変圧器を構築し,簡単な回帰作業において最小二乗推定を文脈内で学習する。
我々の実装は主に、目標出力が最小二乗推定値である場合、l1正規化で訓練された変換器で使用される。
論文 参考訳（メタデータ） (2026-07-17T10:28:27Z) - Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。
この設定における多層トランスの理論的解析はこれが初めてである。
論文 参考訳（メタデータ） (2024-10-10T18:29:05Z) - Linear Transformers are Versatile In-Context Learners [19.988368693379087]
線形変圧器の各層が負の線形回帰問題に対する重みベクトルを維持していることを示す。
また、異なるレベルのノイズでトレーニングデータが破損する難易度シナリオにおける線形変圧器の使用についても検討する。
ここでは,線形変圧器が複雑かつ高効率な最適化アルゴリズムを発見することを実証する。
論文 参考訳（メタデータ） (2024-02-21T23:45:57Z) - Transformers Implement Functional Gradient Descent to Learn Non-Linear Functions In Context [44.949726166566236]
非線形変換器は自然に関数空間の勾配降下を実装することを学習する。
また、非線形活性化の最適選択は、学習すべき関数のクラスに自然に依存していることも示している。
論文 参考訳（メタデータ） (2023-12-11T17:05:25Z) - Transformers learn to implement preconditioned gradient descent for
in-context learning [41.74394657009037]
いくつかの最近の研究は、変圧器が勾配降下のようなアルゴリズムを実装できることを実証している。
トランスフォーマーは、ランダムな問題インスタンスをトレーニングすることで、そのようなアルゴリズムの実装を学べますか?
注意層が$L$の変圧器では,事前条件付き勾配勾配の反復として$L$を具現化する訓練対象の臨界点が証明される。
論文 参考訳（メタデータ） (2023-06-01T02:35:57Z) - Transformers learn in-context by gradient descent [58.24152335931036]
自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。
トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
論文 参考訳（メタデータ） (2022-12-15T09:21:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。