論文の概要: Theoretical Bounds for Stable In-Context Learning

• arxiv url: http://arxiv.org/abs/2509.20677v1
• Date: Thu, 25 Sep 2025 02:25:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.658578
• Title: Theoretical Bounds for Stable In-Context Learning
• Title（参考訳）: 安定なインコンテキスト学習のための理論的境界
• Authors: Tongxi Wang, Zhuoyang Xia,
• Abstract要約: In-context Learning (ICL) は柔軟性があるが、その信頼性は迅速な長さに敏感である。 本稿では、最小数の実証とICL安定性を結びつける非漸近的下界を確立する。 本稿では,1ショットキャリブレーションを施した2段階観測可能推定器を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) is flexible but its reliability is highly sensitive to prompt length. This paper establishes a non-asymptotic lower bound that links the minimal number of demonstrations to ICL stability under fixed high-dimensional sub-Gaussian representations. The bound gives explicit sufficient conditions in terms of spectral properties of the covariance, providing a computable criterion for practice. Building on this analysis, we propose a two-stage observable estimator with a one-shot calibration that produces practitioner-ready prompt-length estimates without distributional priors. Experiments across diverse datasets, encoders, and generators show close alignment between the predicted thresholds and empirical knee-points, with the theory acting as a conservative but reliable upper bound; the calibrated variant further tightens this gap. These results connect spectral coverage to stable ICL, bridge theory and deployment, and improve the interpretability and reliability of large-scale prompting in realistic finite-sample regimes.
• Abstract（参考訳）: In-context Learning (ICL) は柔軟性があるが、その信頼性は高速な長さに非常に敏感である。 固定された高次元ガウス表現の下で、最小数の実演とICL安定性を結び付ける非漸近的下界を確立する。 境界は共分散のスペクトル特性の観点で明らかな十分条件を与え、実際は計算可能な基準を与える。 そこで本研究では,一括キャリブレーションを施した2段階観測可能推定器を提案する。 様々なデータセット、エンコーダ、ジェネレータにわたる実験は、予測しきい値と経験的な膝点の間に密接な整合性を示し、理論は保守的だが信頼性の高い上界として作用する。 これらの結果は、安定なICL、橋梁理論、展開にスペクトルカバレッジを結びつけ、現実的な有限サンプル状態における大規模プロンプトの解釈可能性と信頼性を向上させる。

関連論文リスト

• Assessing One-Dimensional Cluster Stability by Extreme-Point Trimming [0.0]
  本研究では, 一次元試料のテール挙動と幾何学的安定性を評価するための確率的手法を開発した。 有限サンプル補正を含む解析式は、一様仮説とガウス仮説の両方の下で期待される縮退について導出する。 我々はさらにクラスタリングパイプライン(DBSCANなど)に統合し、密度推定やパラメータチューニングなしに1次元のクラスタを検証する能力を示す。
  論文  参考訳（メタデータ） (2025-08-29T21:52:15Z)
• A New Formulation of Lipschitz Constrained With Functional Gradient Learning for GANs [52.55025869932486]
  本稿では,大規模データセット上でGAN(Generative Adversarial Networks)のトレーニングを行うための有望な代替手法を提案する。 本稿では,GANの学習を安定させるために,Lipschitz-Constrained Functional Gradient GANs Learning (Li-CFG)法を提案する。 判別器勾配のノルムを増大させることにより、潜在ベクトルの近傍サイズを小さくすることができることを示す。
  論文  参考訳（メタデータ） (2025-01-20T02:48:07Z)
• Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
  The statistics properties of Temporal difference learning with Polyak-Ruppert averaging。 現在の最先端の成果を改善するために,3つの重要なコントリビューションを行います。
  論文  参考訳（メタデータ） (2024-10-21T15:34:44Z)
• General bounds on the quality of Bayesian coresets [13.497835690074151]
  この研究は、KL(Kulback-Leibler)上の一般上界と下界を示す。 下限は、コアセット近似の質に関する基本的な制限を得るために適用される。 上界は最近のサブサンプル最適化手法の性能解析に使用される。
  論文  参考訳（メタデータ） (2024-05-20T04:46:14Z)
• Understanding Contrastive Learning via Distributionally Robust Optimization [29.202594242468678]
  本研究は,類似のセマンティクス(ラベルなど)を負のサンプルとして含むサンプリングバイアスに対するコントラッシブラーニング(CL)の固有の耐性を明らかにする。 本研究は,分散ロバスト最適化 (DRO) のレンズを用いてCLを解析することにより,この研究ギャップを橋渡しし,いくつかの重要な知見を得る。 また, CLの過保守性や異常値に対する感受性などの潜在的な欠点を同定し, これらの問題を緩和するための新しいAdjusted InfoNCE損失(ADNCE)を導入する。
  論文  参考訳（メタデータ） (2023-10-17T07:32:59Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Can convolutional ResNets approximately preserve input distances? A frequency analysis perspective [31.897568775099558]
  正規化スキームとbi-Lipschitznessの理論的関係は、実際には成り立たない条件下でのみ有効であることを示す。 距離保存条件に対する逆例を探索する簡単な構成的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-04T13:12:42Z)
• Finite Sample Analysis of Minimax Offline Reinforcement Learning: Completeness, Fast Rates and First-Order Efficiency [83.02999769628593]
  強化学習におけるオフ・ポリティィ・アセスメント(OPE)の理論的特徴について述べる。 ミニマックス法により、重みと品質関数の高速収束を実現することができることを示す。 非タブラル環境における1次効率を持つ最初の有限サンプル結果を示す。
  論文  参考訳（メタデータ） (2021-02-05T03:20:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。