論文の概要: In-context learning of closed form solution to simple linear regression task using transformer with linear self-attention

• arxiv url: http://arxiv.org/abs/2607.15819v1
• Date: Fri, 17 Jul 2026 10:28:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.820321
• Title: In-context learning of closed form solution to simple linear regression task using transformer with linear self-attention
• Title（参考訳）: 線形自己注意型変圧器を用いた簡易線形回帰課題に対する閉形解の文脈内学習
• Abstract要約: 本稿では,線形自己アテンションを持つ変圧器を構築し,簡単な回帰作業において最小二乗推定を文脈内で学習する。 我々の実装は主に、目標出力が最小二乗推定値である場合、l1正規化で訓練された変換器で使用される。
• 参考スコア（独自算出の注目度）: 0.5076419064097734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning is a remarkable property of transformers and has recently received a lot of interest. In many studies of in-context learning, it has been shown that transformers are capable of implementing solver for linear and non-linear regression problems, in which the most of them implement gradient descent algorithm. However, it is still unclear whether those implementations have actually been acquired through training. In this paper, we construct a transformer with linear self-attention, which in-context learns the least squares estimate in a simple regression task. The point here is that the closed form (analytical) solution is approximately obtained by using layer normalization rather than an approximate solution based on gradient descent algorithm. Then, we show an experimental example, in which our implementation is mainly used in the transformer trained with l1 regularization when the target output is the least squares estimate.
• Abstract（参考訳）: インコンテキスト学習はトランスフォーマーの顕著な特性であり、最近多くの関心を集めている。 文脈内学習における多くの研究において、変圧器は線形および非線形回帰問題に対する解法を実装できることが示されている。 しかし、これらの実装が実際にトレーニングによって獲得されたかどうかはまだ不明である。 本稿では,線形自己アテンションを持つ変圧器を構築し,簡単な回帰作業において最小二乗推定を文脈内で学習する。 ここでのポイントは、閉形式(解析的)解は、勾配降下アルゴリズムに基づく近似解ではなく、層正規化を用いてほぼ得られるということである。 次に, 目標出力が最小二乗推定値である場合, L1正則化を訓練した変圧器において, 本実装が主に使用される実験例を示す。

関連論文リスト

• Graph Transformers Dream of Electric Flow [72.06286909236827]
  グラフデータに適用された線形変換器は、正準問題を解くアルゴリズムを実装可能であることを示す。 提案手法は,各アルゴリズムを実装するための明示的な重み設定を示し,基礎となるアルゴリズムの誤差によって構築したトランスフォーマーの誤差を限定する。 我々の研究は、グラフデータのためのTransformerの内部処理を解明するための最初のステップです。
  論文  参考訳（メタデータ） (2024-10-22T05:11:45Z)
• Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
  収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。 この設定における多層トランスの理論的解析はこれが初めてである。
  論文  参考訳（メタデータ） (2024-10-10T18:29:05Z)
• On Mesa-Optimization in Autoregressively Trained Transformers: Emergence and Capability [34.43255978863601]
  いくつかの説では、トランスフォーマーはオートレアトレーニング中にmesa-optimizerを学習する。 データモーメントに関する強い仮定は、学習されたメザ最適化器が実行可能な十分な必要条件であることを示す。
  論文  参考訳（メタデータ） (2024-05-27T05:41:06Z)
• How Well Can Transformers Emulate In-context Newton's Method? [46.08521978754298]
  線形回帰以外の高次最適化手法をトランスフォーマーで行うことができるかどうかを考察する。 2層のみの行列逆転に対するニュートンの反復の単一ステップの実装において、線形注意のみの変換器が可能であることを実証する。
  論文  参考訳（メタデータ） (2024-03-05T18:20:10Z)
• Linear Transformers are Versatile In-Context Learners [19.988368693379087]
  線形変圧器の各層が負の線形回帰問題に対する重みベクトルを維持していることを示す。 また、異なるレベルのノイズでトレーニングデータが破損する難易度シナリオにおける線形変圧器の使用についても検討する。 ここでは,線形変圧器が複雑かつ高効率な最適化アルゴリズムを発見することを実証する。
  論文  参考訳（メタデータ） (2024-02-21T23:45:57Z)
• How do Transformers perform In-Context Autoregressive Learning? [76.18489638049545]
  簡単な次のトークン予測タスクでTransformerモデルをトレーニングする。 トレーニングされたTransformerが、まず$W$ in-contextを学習し、次に予測マッピングを適用することで、次のトークンを予測する方法を示す。
  論文  参考訳（メタデータ） (2024-02-08T16:24:44Z)
• One Step of Gradient Descent is Provably the Optimal In-Context Learner with One Layer of Linear Self-Attention [31.522320487765878]
  最近の研究は、文脈内学習を実証的に分析している。 線形自己アテンションを持つ一層変圧器は勾配降下の一段階を実装することを学習する。
  論文  参考訳（メタデータ） (2023-07-07T13:09:18Z)
• Transformers learn to implement preconditioned gradient descent for in-context learning [41.74394657009037]
  いくつかの最近の研究は、変圧器が勾配降下のようなアルゴリズムを実装できることを実証している。 トランスフォーマーは、ランダムな問題インスタンスをトレーニングすることで、そのようなアルゴリズムの実装を学べますか? 注意層が$L$の変圧器では,事前条件付き勾配勾配の反復として$L$を具現化する訓練対象の臨界点が証明される。
  論文  参考訳（メタデータ） (2023-06-01T02:35:57Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
  本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。 訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。 文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
  論文  参考訳（メタデータ） (2022-11-28T18:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。