Fugu-MT 論文翻訳(概要): Learning Linear Regression with Low-Rank Tasks in-Context

論文の概要: Learning Linear Regression with Low-Rank Tasks in-Context

arxiv url: http://arxiv.org/abs/2510.04548v1
Date: Mon, 06 Oct 2025 07:27:49 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-07 16:52:59.727695
Title: Learning Linear Regression with Low-Rank Tasks in-Context
Title（参考訳）: 低ランクタスクを用いた文脈での線形回帰学習
Authors: Kaito Takanami, Takashi Takahashi, Yoshiyuki Kabashima,
Abstract要約: In-context Learning (ICL)は、現代の大規模言語モデルの鍵となる構成要素である。低ランク回帰タスクで訓練された線形アテンションモデルを分析する。有限事前学習データの統計的変動は暗黙の正則化を引き起こす。
参考スコア（独自算出の注目度）: 8.347662730632047
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In-context learning (ICL) is a key building block of modern large language models, yet its theoretical mechanisms remain poorly understood. It is particularly mysterious how ICL operates in real-world applications where tasks have a common structure. In this work, we address this problem by analyzing a linear attention model trained on low-rank regression tasks. Within this setting, we precisely characterize the distribution of predictions and the generalization error in the high-dimensional limit. Moreover, we find that statistical fluctuations in finite pre-training data induce an implicit regularization. Finally, we identify a sharp phase transition of the generalization error governed by task structure. These results provide a framework for understanding how transformers learn to learn the task structure.
Abstract（参考訳）: In-context Learning (ICL) は、現代の大規模言語モデルの鍵となる構成要素であるが、その理論的メカニズムはよく分かっていない。タスクが共通構造を持つ実世界のアプリケーションにおいて、ICLがどのように動作するかは特に謎である。本研究では、低ランク回帰タスクで訓練された線形アテンションモデルを分析することにより、この問題に対処する。この設定では,高次元極限における予測の分布と一般化誤差を正確に特徴づける。さらに,有限事前学習データの統計的揺らぎは暗黙の正規化を引き起こすことがわかった。最後に,タスク構造が支配する一般化誤差の急激な位相遷移を同定する。これらの結果は、トランスフォーマーがタスク構造を学習する方法を理解するためのフレームワークを提供する。

関連論文リスト

Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning [50.99796659680724]
本研究では,GSM8Kスタイルのモジュラー演算をテストベッドとして用いたTransformerネットワークにおけるアウト・オブ・ディストリビューション(OOD)の一般化について検討する。我々は,OOD一般化の強化を目的とした4つのアーキテクチャ機構のセットを紹介し,検討する。我々はこれらの実験結果を詳細な機械論的解釈可能性分析で補完し、これらのメカニズムがOOD一般化能力をいかに高めるかを明らかにする。
論文参考訳（メタデータ） (2025-10-15T21:03:59Z)
Pretrain-Test Task Alignment Governs Generalization in In-Context Learning [39.98824138502169]
本研究は,ICLにおける事前学習タスクの構造が一般化をどのように支配するかを考察する。線形回帰によるICLの可解モデルを用いて、高次元でのICL一般化誤差の正確な式を導出する。本手法は解法モデルだけでなく非線形変換器においても直接ICL性能を予測する。
論文参考訳（メタデータ） (2025-09-30T17:19:58Z)
Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
論文参考訳（メタデータ） (2025-07-28T00:09:28Z)
Understanding In-Context Learning on Structured Manifolds: Bridging Attention to Kernel Methods [48.038668788625465]
In-context Learning (ICL) は自然言語と視覚領域において顕著な成功を収めた。本研究では、多様体上のH"古い関数の回帰に対するICCの理論的研究を開始する。本研究は, ICLにおける幾何学の役割に関する基礎的な知見と, 非線形モデルのICLを研究するためのノベルティクスツールを提供する。
論文参考訳（メタデータ） (2025-06-12T17:56:26Z)
Illusion or Algorithm? Investigating Memorization, Emergence, and Symbolic Processing in In-Context Learning [50.53703102032562]
大規模トランスフォーマー言語モデル(LM)は、Webスケールデータによる次世代の予測のみを訓練することで、幅広いタスクを解決できる。この能力の背後にあるメカニズムは、ICL(In-context Learning)と呼ばれ、議論の余地があり、理解が不十分なままである。
論文参考訳（メタデータ） (2025-05-16T08:50:42Z)
Memory-Statistics Tradeoff in Continual Learning with Structural Regularization [27.154013172469853]
本研究では,2つの線形回帰課題を伴う連続学習問題の統計的性能を,適切に特定されたランダムな設計条件下で検証する。本稿では,前処理のヘシアンに合わせた一般化された$ell$-regularizationを組み込んだ構造正則化アルゴリズムについて考察する。
論文参考訳（メタデータ） (2025-04-05T03:14:10Z)
Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
論文参考訳（メタデータ） (2025-03-31T10:16:03Z)
Transformers are Minimax Optimal Nonparametric In-Context Learners [36.291980654891496]
大規模言語モデルのコンテキスト内学習は、いくつかの実証的な例から新しいタスクを学ぶのに驚くほど効果的な方法であることが証明されている。我々は,ディープニューラルネットワークと1つの線形アテンション層からなる変圧器の近似および一般化誤差境界を開発する。十分に訓練されたトランスフォーマーは、文脈における最小推定リスクを達成し、改善できることを示す。
論文参考訳（メタデータ） (2024-08-22T08:02:10Z)
Information Guided Regularization for Fine-tuning Language Models [11.831883526217942]
我々は、よりスムーズな転写学習のために、より外科的な正規化アプローチが存在する必要があると論じる。モデル正規化の改善と下流一般化のための新しい手法を考案する。
論文参考訳（メタデータ） (2024-06-20T05:18:37Z)
Asymptotic theory of in-context learning by linear attention [37.3817914656799]
インコンテキスト学習はトランスフォーマーの成功の土台である。 ICLを成功させるためには、必要なサンプルの複雑さ、事前学習タスクの多様性、コンテキストの長さに関する質問は未解決のままである。
論文参考訳（メタデータ） (2024-05-20T03:24:24Z)
What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
論文参考訳（メタデータ） (2023-05-30T21:23:47Z)
Learning Trajectories are Generalization Indicators [44.53518627207067]
本稿では,Deep Neural Networks (DNN) の学習軌跡と一般化能力との関係について検討する。本稿では,各更新ステップの一般化誤差の変化に対する寄与を調査し,一般化誤差を解析するための新しい視点を提案する。また,学習率やラベルのノイズレベルに対する調整を行う場合,一般化誤差の変化も追跡できる。
論文参考訳（メタデータ） (2023-04-25T05:08:57Z)
Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文参考訳（メタデータ） (2021-06-24T05:19:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。