Fugu-MT 論文翻訳(概要): A Theoretical Interpretation of In-Context Learning via Probabilistic Modeling

論文の概要: A Theoretical Interpretation of In-Context Learning via Probabilistic Modeling

arxiv url: http://arxiv.org/abs/2606.28926v1
Date: Sat, 27 Jun 2026 14:01:48 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:15.732608
Title: A Theoretical Interpretation of In-Context Learning via Probabilistic Modeling
Title（参考訳）: 確率論的モデリングによるインテクスト学習の理論的解釈
Abstract要約: In-context Learning(ICL)は、ユーザクエリに対する回答を生成するために、大規模言語モデルに固有の意味情報を利用する新興パラダイムである。本研究は、ICCの確率モデルを示し、一般パラメトリック分布と指数族の両方に対するICCの性能を導出する。
参考スコア（独自算出の注目度）: 20.181729745308377
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In-context learning (ICL) is an emerging paradigm that employs the semantic information inherent in large language models (LLMs) for generating answers to user queries. While the remarkable performance of ICL has been widely known, a general modeling and a rigorous theoretical analysis of this paradigm are still lacking. This work presents a probabilistic model for ICL and derives the performance of ICL for both general parametric distributions and exponential families. Based on the derived results, the work explains the impact of multiple factors such as the number of demonstrations, the sensitivity of the probabilistic model to the variation of its parameters, as well as the similarity between the demonstrations and the query on the performance of ICL.
Abstract（参考訳）: In-context Learning(ICL)は,大規模言語モデル(LLM)に固有の意味情報を用いて,ユーザクエリに対する回答を生成する,新たなパラダイムである。 ICLの顕著な性能は広く知られているが、このパラダイムの一般的なモデリングと厳密な理論的分析はいまだに不足している。本研究は、ICCの確率モデルを示し、一般パラメトリック分布と指数族の両方に対するICCの性能を導出する。本研究は,実演数,確率モデルのパラメータの変動に対する感度,および実演と問合せの類似性がICLの性能に与える影響について解説する。

関連論文リスト

Demonstrations, CoT, and Prompting: A Theoretical Analysis of ICL [9.83462430479849]
In-Context Learning (ICL)により、事前訓練されたLLMは、入力出力のデモの小さなセットを条件にすることで、下流タスクに適応できる。 ICLの性能は, (i) 選択された実演の質, (ii) 事前学習モデルの本質的なICL能力, (iii) 分布シフトの程度によってどのように制御されるかを分析する。
論文参考訳（メタデータ） (2026-03-20T03:33:04Z)
Learning Compact Representations of LLM Abilities via Item Response Theory [35.74367665390977]
大規模言語モデル(LLM)のコンパクト表現の学習方法について検討する。この問題は、与えられたモデルが特定のクエリに正しく答える確率を推定するものである。これらのパラメータを共同で学習するために、モデルとクエリレベルの埋め込みを結合するMixture-of-Experts(MoE)ネットワークを導入する。
論文参考訳（メタデータ） (2025-10-01T12:55:34Z)
From Compression to Expression: A Layerwise Analysis of In-Context Learning [24.45948310980883]
In-context Learning (ICL)は、大規模な言語モデルで、デモシーケンスから学習することで、重み付けなしで新しいタスクに適応することができる。 ICL表現の統計的幾何学的解析を行い,各層にまたがるタスク固有情報の取得方法について検討する。この結果から,ILC の階層的ダイナミックな構造的表現が LLM 内でどのように現れるかが明らかとなり,内部表現の分析がモデル行動のより深い理解を促進することが示唆された。
論文参考訳（メタデータ） (2025-05-22T22:22:03Z)
The Curse of CoT: On the Limitations of Chain-of-Thought in In-Context Learning [56.574829311863446]
CoT(Chain-of-Thought)プロンプトは,大規模言語モデル(LLM)における推論能力の向上によって広く認識されている。我々は、CoTとその推論変異が、様々なモデルスケールやベンチマークの複雑さに対して、直接応答を一貫して過小評価していることを実証する。パターンベースICLにおけるCoTの性能を駆動する明示的単純推論の基本的なハイブリッド機構を明らかにする。
論文参考訳（メタデータ） (2025-04-07T13:51:06Z)
Investigating the Zone of Proximal Development of Language Models for In-Context Learning [59.91708683601029]
大規模言語モデル(LLM)の文脈内学習(ICL)の振る舞いを分析するための学習分析フレームワークを提案する。我々は,各例のモデル性能に基づいて,LLMのZPDを測定することにより,ZPD理論をICLに適用する。本研究はICLの複雑な多面的動作を明らかにし,この手法の理解と活用に関する新たな知見を提供する。
論文参考訳（メタデータ） (2025-02-10T19:36:21Z)
Competition Dynamics Shape Algorithmic Phases of In-Context Learning [10.974593590868533]
In-Context Learning (ICL) は、大規模言語モデルの汎用性を大きく拡張した。マルコフ連鎖の有限混合をシミュレートする学習を含む合成シーケンスモデリングタスクを提案する。ファジィ検索と推論のアプローチをユニグラムあるいはビッグラムの統計量と組み合わせた4つの広いアルゴリズムに分解することで、モデルの振る舞いを説明できることを示す。
論文参考訳（メタデータ） (2024-12-01T23:35:53Z)
The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
トークン化は、NLPパイプラインにおける重要なステップである。 NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
論文参考訳（メタデータ） (2024-07-16T11:12:28Z)
Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
論文参考訳（メタデータ） (2024-01-22T16:25:27Z)
What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
論文参考訳（メタデータ） (2023-05-30T21:23:47Z)
Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文参考訳（メタデータ） (2021-06-07T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。