論文の概要: In-Context Function Learning in Large Language Models

• arxiv url: http://arxiv.org/abs/2602.11863v1
• Date: Thu, 12 Feb 2026 12:09:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.798756
• Title: In-Context Function Learning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける文脈内関数学習
• Authors: Elif Akata, Konstantinos Voudouris, Vincent Fortuin, Eric Schulz,
• Abstract要約: 大規模言語モデル(LLM)は、推論時に提供されるいくつかのデモから学ぶことができる。 我々は、ガウス過程(GP)のレンズを通して、この文脈内学習現象を研究する。 その結果,LLM学習曲線は関数生成カーネルの影響を強く受けており,実演数が増えるにつれてGP下界に接近することがわかった。
• 参考スコア（独自算出の注目度）: 19.618773481188626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) can learn from a few demonstrations provided at inference time. We study this in-context learning phenomenon through the lens of Gaussian Processes (GPs). We build controlled experiments where models observe sequences of multivariate scalar-valued function samples drawn from known GP priors. We evaluate prediction error in relation to the number of demonstrations and compare against two principled references: (i) an empirical GP-regression learner that gives a lower bound on achievable error, and (ii) the expected error of a 1-nearest-neighbor (1-NN) rule, which gives a data-driven upper bound. Across model sizes, we find that LLM learning curves are strongly influenced by the function-generating kernels and approach the GP lower bound as the number of demonstrations increases. We then study the inductive biases of these models using a likelihood-based analysis. We find that LLM predictions are most likely under less smooth GP kernels. Finally, we explore whether post-training can shift these inductive biases and improve sample-efficiency on functions sampled from GPs with smoother kernels. We find that both reinforcement learning and supervised fine-tuning can effectively shift inductive biases in the direction of the training data. Together, our framework quantifies the extent to which LLMs behave like GP learners and provides tools for steering their inductive biases for continuous function learning tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、推論時に提供されるいくつかのデモから学ぶことができる。 本稿では,ガウス過程(GP)のレンズを用いて,この文脈内学習現象について検討する。 GPプリエントから抽出された多変量スカラー値関数のシーケンスをモデルで観測する制御実験を構築した。 実演数に関する予測誤差を評価し,2つの基本基準との比較を行った。 (i)達成可能な誤りに下限を与える経験的GP回帰学習者 (ii) 1-nearest-neighbor (1-NN) ルールの予測誤差は、データ駆動上界を与える。 モデルサイズ全体にわたって,LLM学習曲線は関数生成カーネルの影響を強く受けており,実演数の増加とともにGP下界に近づく。 次に、確率に基づく分析を用いて、これらのモデルの帰納バイアスを研究する。 LLM予測はよりスムーズなGPカーネル以下である可能性が最も高い。 最後に,これらのインダクティブバイアスを緩和し,よりスムーズなカーネルを持つGPからサンプリングした関数のサンプリング効率を向上させることができるかを検討する。 強化学習と教師付き微調整の両方が、トレーニングデータの方向の帰納バイアスを効果的にシフトできることがわかった。 本フレームワークは,LLMがGP学習者のように振る舞う程度を定量化し,連続関数学習タスクの帰納バイアスを制御するためのツールを提供する。

関連論文リスト

• Empirical Gaussian Processes [18.40952262882312]
  経験的GPは、柔軟でデータ駆動のGPプリエントを構築するための原則化されたフレームワークである。 本研究では,経験的GPが学習曲線外挿と時系列予測ベンチマークの競合性能を達成することを示す。
  論文  参考訳（メタデータ） (2026-02-12T15:39:08Z)
• Self-Supervised Learning with Gaussian Processes [0.9058737915650011]
  自己教師付き学習(SSL)は、ラベル付きサンプルからの明確な監督なしに、モデルが基礎となるデータ構造を理解することを学ぶ機械学習パラダイムである。 表現空間の滑らかさを確保するため、ほとんどのSSLメソッドは、与えられたインスタンスに類似した観測ペアを生成する能力に依存している。 我々は、GPSSLが、人気のあるニューラルネットワークベースのSSL手法であるカーネルPCAとVICRegの両方と密接に関連していることを示すが、どちらも下流タスクに伝播可能な後続の不確かさを許容している。
  論文  参考訳（メタデータ） (2025-12-10T05:10:40Z)
• Approaching Maximal Information Extraction in Low-Signal Regimes via Multiple Instance Learning [0.0]
  より正確な予測を得るために,機械学習(ML)手法を提案する。 提案手法では,データセットに潜伏する理論上の最大漁獲量の抽出が可能である可能性が示唆された。
  論文  参考訳（メタデータ） (2025-08-09T22:46:55Z)
• Understanding Emergent In-Context Learning from a Kernel Regression Perspective [55.95455089638838]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,LLMのICLバハビエータの理解におけるカーネル-回帰的視点を提案する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)
• Locally Interpretable Model Agnostic Explanations using Gaussian Processes [2.9189409618561966]
  LIME(Local Interpretable Model-Agnostic Explanations)は、単一インスタンスの予測を説明する一般的なテクニックである。 局所的解釈可能なモデルのガウス過程(GP)に基づくバリエーションを提案する。 提案手法は,LIMEに比べてはるかに少ないサンプルを用いて忠実な説明を生成可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-16T05:49:01Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。