論文の概要: In-context classification: Calibration and noise in linear attention with softmax readout
- arxiv url: http://arxiv.org/abs/2610.17061v1
- Date: Mon, 12 Oct 2026 16:28:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 03:32:50.607501
- Title: In-context classification: Calibration and noise in linear attention with softmax readout
- Title（参考訳）: 文脈内分類:ソフトマックス読み出しによる線形注意における校正と雑音
- Abstract要約: 本稿では,ロジスティック損失を最小限に抑えるための簡単な注意モデルを用いて,文脈内二項分類について検討する。
我々は、トークン次元に比例した文脈長を持つ高次元状態におけるテストロジットの文脈予測を導出し、総トレーニングは2乗に比例する。
本分析では, リッジレス分離性機構を同定し, 文脈長, 事前学習セットサイズ, 正規化, サンプリング温度が文脈内分類性能に及ぼす影響について検討した。
- 参考スコア（独自算出の注目度）: 32.3470829692391
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study in-context binary classification in a simple attention model trained to minimise a logistic loss. Each prompt has a latent logistic teacher, and the learner must infer its direction from Bernoulli-labeled context examples. We derive an asymptotic prediction for the test logit in a high-dimensional regime with context length proportional to token dimension, and total training prompts proportional to dimension squared. Our formula cleanly separates calibration, test-time context noise, and non-isotropic parameter-estimation noise as interpretable effects on in-context performance. Our analysis also identifies the ridgeless separability regime and addresses the effects of context length, pretraining-set size, regularisation, and sampling temperature on in-context classification performance. The theory's predictions closely agree with finite-dimensional simulations and fully trained linear-attention models, while experiments with standard softmax attention show qualitatively related behaviour beyond the regime assumed by our analysis.
- Abstract（参考訳）: 本稿では,ロジスティック損失を最小限に抑えるための簡単な注意モデルを用いて,文脈内二項分類について検討する。
各プロンプトには潜在ロジスティックな教師がおり、学習者はベルヌーイラベルの文脈例からその方向性を推測しなければならない。
我々は,トークン次元に比例した文脈長を持つ高次元状態におけるテストロジットの漸近予測を導出し,全トレーニングは2乗に比例する。
本定式では, キャリブレーション, テスト時間コンテキストノイズ, 非等方性パラメータ推定ノイズを, 文脈内性能に対する解釈可能な効果として, きれいに分離する。
また, リッジレス分離性機構を同定し, 文脈長, 事前学習セットサイズ, 正規化, サンプリング温度が文脈内分類性能に及ぼす影響について検討した。
理論の予測は有限次元シミュレーションや完全に訓練された線形アテンションモデルと密接に一致し、標準的なソフトマックスアテンションを用いた実験は、我々の分析によって仮定された状態を超えた質的な振る舞いを示す。
関連論文リスト
- Information-Theoretic Analysis of Next-Token Prediction under Markovian Data [19.072179047924973]
時間依存データに基づく次点予測における一般化のための情報理論フレームワークを開発する。
クロスエントロピー損失に対しては、マルコフ連鎖に対するドンスカー-バラダン変分表現とマクダイアルミード型濃度不等式を用いて期待される一般化を導出する。
マージンに基づく予測では、雑音の多い低次元圧縮により線形および自己注意の次トーケン予測に対する明示的な境界を導出する。
論文 参考訳（メタデータ） (2026-09-28T09:30:47Z) - From Atoms to Entropy: Optimal Noise Allocation for Diffusion Training in the Convex Regime [52.459513910242485]
拡散訓練における最適な雑音レベルアロケーションを研究するための一般統計フレームワークを開発する。
最適化されたトレーニングスケジュールは、有限個のノイズレベルに集中した原子最小値を持つことを示す。
次に,大規模実験におけるエントロピック・スケジュールの評価を行った。
論文 参考訳（メタデータ） (2026-07-10T20:59:06Z) - Gradient-Flow Optimization as Dynamic Random-Effects Inference: Testing and Early Stopping with Applications to Deep Learning [16.158545640309438]
我々は勾配流学習のための統計的推論フレームワークを開発した。
トレーニング時間は、分散が再配置される方法を決定する分散成分パラメータになる。
固定勾配系における深層学習モデルは、理論の現代AIインスタンス化を提供する。
論文 参考訳（メタデータ） (2026-05-27T05:32:24Z) - Investigation into In-Context Learning Capabilities of Transformers [14.14937947207076]
トランスフォーマーは、文脈内学習(ICL)の強力な能力を示した
本研究では,二項分類タスクにおける文脈内学習の体系的研究を行う。
本結果は,文脈内学習がいつ成功し,いつ失敗するかを決定する上で,次元性,信号強度,文脈情報の重要性を強調した。
論文 参考訳（メタデータ） (2026-04-28T16:57:55Z) - On the Role of Batch Size in Stochastic Conditional Gradient Methods [51.97510367368799]
条件勾配法におけるバッチサイズの役割を,$-KL条件下で検討した。
バッチサイズの増加は、当初は最適化の精度を向上するが、重要なしきい値を超えると、固定トークン予算の下でのメリットと飽和度は、パフォーマンスを劣化させる可能性がある。
論文 参考訳（メタデータ） (2026-03-22T12:23:41Z) - In-Context Learning Is Provably Bayesian Inference: A Generalization Theory for Meta-Learning [51.56484100374058]
本稿では,ICLリスクをベイズギャップとポストリアバリアンスの2つのコンポーネントに分割する基本的リスク分解を導入する。
一様アテンション変換器の場合、このギャップの非漸近上界を導出し、事前学習プロンプトの数への依存を明確にする。
後方変動は本質的なタスクの不確実性を表すモデルに依存しないリスクである。
論文 参考訳（メタデータ） (2025-10-13T03:42:31Z) - In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。
この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
論文 参考訳（メタデータ） (2025-03-17T02:00:49Z) - On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds [11.30047438005394]
本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。
我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
論文 参考訳（メタデータ） (2024-10-21T14:53:12Z) - Temporal-spatial model via Trend Filtering [12.875863572064986]
本研究は、時間と空間の同時依存性を持つデータを対象とした非パラメトリック回帰関数の推定に焦点をあてる。
トレンド・フィルタの研究で以前は知られていなかった一意の相転移現象が、我々の分析を通して現れる。
論文 参考訳（メタデータ） (2023-08-30T17:50:00Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。