論文の概要: Learning Linear Regression with Low-Rank Tasks in-Context

• arxiv url: http://arxiv.org/abs/2510.04548v1
• Date: Mon, 06 Oct 2025 07:27:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.727695
• Title: Learning Linear Regression with Low-Rank Tasks in-Context
• Title（参考訳）: 低ランクタスクを用いた文脈での線形回帰学習
• Authors: Kaito Takanami, Takashi Takahashi, Yoshiyuki Kabashima,
• Abstract要約: In-context Learning (ICL)は、現代の大規模言語モデルの鍵となる構成要素である。 低ランク回帰タスクで訓練された線形アテンションモデルを分析する。 有限事前学習データの統計的変動は暗黙の正則化を引き起こす。
• 参考スコア（独自算出の注目度）: 8.347662730632047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) is a key building block of modern large language models, yet its theoretical mechanisms remain poorly understood. It is particularly mysterious how ICL operates in real-world applications where tasks have a common structure. In this work, we address this problem by analyzing a linear attention model trained on low-rank regression tasks. Within this setting, we precisely characterize the distribution of predictions and the generalization error in the high-dimensional limit. Moreover, we find that statistical fluctuations in finite pre-training data induce an implicit regularization. Finally, we identify a sharp phase transition of the generalization error governed by task structure. These results provide a framework for understanding how transformers learn to learn the task structure.
• Abstract（参考訳）: In-context Learning (ICL) は、現代の大規模言語モデルの鍵となる構成要素であるが、その理論的メカニズムはよく分かっていない。 タスクが共通構造を持つ実世界のアプリケーションにおいて、ICLがどのように動作するかは特に謎である。 本研究では、低ランク回帰タスクで訓練された線形アテンションモデルを分析することにより、この問題に対処する。 この設定では,高次元極限における予測の分布と一般化誤差を正確に特徴づける。 さらに,有限事前学習データの統計的揺らぎは暗黙の正規化を引き起こすことがわかった。 最後に,タスク構造が支配する一般化誤差の急激な位相遷移を同定する。 これらの結果は、トランスフォーマーがタスク構造を学習する方法を理解するためのフレームワークを提供する。

関連論文リスト

• Pretrain-Test Task Alignment Governs Generalization in In-Context Learning [39.98824138502169]
  本研究は,ICLにおける事前学習タスクの構造が一般化をどのように支配するかを考察する。 線形回帰によるICLの可解モデルを用いて、高次元でのICL一般化誤差の正確な式を導出する。 本手法は解法モデルだけでなく非線形変換器においても直接ICL性能を予測する。
  論文  参考訳（メタデータ） (2025-09-30T17:19:58Z)
• Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• Understanding In-Context Learning on Structured Manifolds: Bridging Attention to Kernel Methods [48.038668788625465]
  In-context Learning (ICL) は自然言語と視覚領域において顕著な成功を収めた。 本研究では、多様体上のH"古い関数の回帰に対するICCの理論的研究を開始する。 本研究は, ICLにおける幾何学の役割に関する基礎的な知見と, 非線形モデルのICLを研究するためのノベルティクスツールを提供する。
  論文  参考訳（メタデータ） (2025-06-12T17:56:26Z)
• Memory-Statistics Tradeoff in Continual Learning with Structural Regularization [27.154013172469853]
  本研究では,2つの線形回帰課題を伴う連続学習問題の統計的性能を,適切に特定されたランダムな設計条件下で検証する。 本稿では,前処理のヘシアンに合わせた一般化された$ell$-regularizationを組み込んだ構造正則化アルゴリズムについて考察する。
  論文  参考訳（メタデータ） (2025-04-05T03:14:10Z)
• Information Guided Regularization for Fine-tuning Language Models [11.831883526217942]
  我々は、よりスムーズな転写学習のために、より外科的な正規化アプローチが存在する必要があると論じる。 モデル正規化の改善と下流一般化のための新しい手法を考案する。
  論文  参考訳（メタデータ） (2024-06-20T05:18:37Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• Learning Trajectories are Generalization Indicators [44.53518627207067]
  本稿では,Deep Neural Networks (DNN) の学習軌跡と一般化能力との関係について検討する。 本稿では,各更新ステップの一般化誤差の変化に対する寄与を調査し,一般化誤差を解析するための新しい視点を提案する。 また,学習率やラベルのノイズレベルに対する調整を行う場合,一般化誤差の変化も追跡できる。
  論文  参考訳（メタデータ） (2023-04-25T05:08:57Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。