論文の概要: Handover of In-Context Learning State Across Session Boundaries
- arxiv url: http://arxiv.org/abs/2608.14528v1
- Date: Fri, 14 Aug 2026 17:47:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.460773
- Title: Handover of In-Context Learning State Across Session Boundaries
- Title(参考訳): セッション境界を越えた文脈内学習状態のハンドオーバ
- Abstract要約: 我々は、タスク相対的なインコンテキスト学習状態の転送としてハンドオーバを定式化する。
均一性条件の下では、予測等価性は、最も粗い決定論的に十分なハンドオーバを特徴付ける。
決定と制約を正確に保存し、繰り返し証拠としてタスク正当統計を使い、元の観察を継続する三部記録を提案する。
- 参考スコア(独自算出の注目度): 5.457279006229211
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This study investigates the methodological and theoretical properties of session handover in applications that use large language models. A task may continue in a new session when the context reaches the model's input limit, when the application restarts, or when another agent is asked to finish the task. The application must then decide which information from the earlier session to pass on. We formulate handover as the transfer of a task-relative in-context learning (ICL) state and distinguish exact recovery of earlier material from preservation of the target distribution. Under an exogeneity condition, predictive equivalence characterizes the coarsest deterministic sufficient handover and gives a fixed-length bit requirement. The analysis isolates the effects of the memory constraint, the writer, and the continuation procedure, and quantifies the cost of writing before the realized downstream query is known. We propose a three-part record that stores decisions and constraints exactly, uses task-justified statistics for repeated evidence, and retains original observations whose effect is not preserved by those statistics. Gaussian linear regression gives an exact finite-dimensional handover and finite-bit perturbation bounds, while nonparametric regression gives upper and lower bounds that relate memory to squared prediction error. These results provide a theory and method for deciding what a handover must retain and how its memory requirement depends on the continuation task.
- Abstract(参考訳): 本研究では,大規模言語モデルを用いたアプリケーションにおけるセッションハンドオーバの方法論的および理論的特性について検討する。
タスクは、コンテキストがモデルの入力限界に達するとき、アプリケーションが再起動したとき、または他のエージェントがタスクを終了するよう要求されたとき、新しいセッションで継続することができる。
その後、アプリケーションは、前回のセッションからどの情報を渡すかを決定する必要がある。
我々は,タスク相対的インコンテキスト学習(ICL)状態の転送としてハンドオーバを定式化し,目標分布の保存から,以前の素材の正確な回収を区別する。
等質性条件の下では、予測等価性は、最も粗い決定論的に十分なハンドオーバを特徴付け、固定長ビット要求を与える。
この分析は、メモリ制約、ライター、継続手順の影響を分離し、実際のダウンストリームクエリが知られる前に書き込みコストを定量化する。
決定と制約を正確に保存し、繰り返し証拠としてタスク正当統計を使い、それらの統計によって効果が保存されていない元の観測を継続する3部記録を提案する。
ガウス線型回帰は、正確な有限次元のハンドオーバと有限ビットの摂動境界を与えるが、非パラメトリック回帰は、メモリと2乗予測誤差に関連する上と下の境界を与える。
これらの結果は、ハンドオーバが保持しなければならないものとそのメモリ要求がどのように継続タスクに依存するかを決定するための理論と方法を提供する。
関連論文リスト
- Measuring Semantic Progress in Multi-turn Dialogue via Information Gain [7.146946575593476]
我々は,情報探索対話における重要な側面であるセマンティック・プログレスに焦点を当てた。
埋め込み空間に近似する情報理論計量を導入する。
実験の結果,提案指標は人間の判断と競合する一致を示した。
論文 参考訳(メタデータ) (2026-06-10T17:04:59Z) - Finite Certificates for In-Context Determinacy and a Threshold Theory of Emergence in Language Models [0.2864713389096699]
本稿では,文脈条件付き言語モデル行動を検証するためのモデル理論フレームワークを開発する。
有限コンテキスト証明書、ペアセパレータのヒットセット、クエリ教育のディメンション、プロンプト保存基準、スケール制限証人を提供する。
論文 参考訳(メタデータ) (2026-05-30T14:07:58Z) - When Is Next-Token Prediction Useful? Marginalization, Ergodicity, Mixture Identifiability, Local Sufficiency, RAG, Tools, and Programming [0.0]
モデルトレーニングを限界テキストのみの法則の推定と解釈するには、定常性、代表性、エルゴディダリティの強い仮定が必要である、と論文は主張する。
本論文は、検索拡張生成(RAG)と、条件付き充足装置としてのツールの使用を解釈する。
論文 参考訳(メタデータ) (2026-05-22T06:34:17Z) - Non-Parametric Rehearsal Learning via Conditional Mean Embeddings [88.89267783967263]
本研究では,不必要な未来(AUF)問題をテキスト化するための非パラメトリックリハーサル学習手法を提案する。
具体的には、カーネル機械を用いてAUFの目的を、動作誘起分布変化から所望性モデリングを遠ざける統一表現に再構成する。
論文 参考訳(メタデータ) (2026-05-09T15:30:52Z) - Unified Precision-Guaranteed Stopping Rules for Contextual Learning [8.604741134620559]
文脈学習は、個人の特徴をデータ収集を通じて行動にマッピングする決定ポリシーを学習しようとする。
本研究は,文脈的基準と政策価値基準の総合的基準の2つの精度基準の下で検討する。
我々は、未知のサンプリング分散を伴う文脈学習のための統一的な停止規則を、非構造化と構造化の両方の線形設定で開発する。
論文 参考訳(メタデータ) (2026-04-09T07:30:15Z) - Uncertainty Quantification for Regression using Proper Scoring Rules [76.24649098854219]
CRPS,対数,2乗誤差,2次スコアなど,適切なスコアリングルールに基づく回帰のための統一的UQフレームワークを提案する。
実測パラメトリックな仮定に基づく不確実性尺度に対する閉形式式を導出し、モデルのアンサンブルを用いてそれらを推定する方法を示す。
合成および実世界の回帰データセットに対する広範な評価は、信頼性の高いUQ尺度を選択するためのガイダンスを提供する。
論文 参考訳(メタデータ) (2025-09-30T17:52:12Z) - Maximally-Informative Retrieval for State Space Model Generation [59.954191072042526]
テスト時に特定のクエリに対するモデル不確実性を最小化するために、Retrieval In-Context Optimization (RICO)を導入する。
文書検索に外部に依存した従来の検索強化生成(RAG)とは異なり,本手法はモデルから直接のフィードバックを利用する。
モデル勾配を用いた標準のトップ$kの検索は、最適化手順を近似し、残余損失への接続を提供することを示す。
論文 参考訳(メタデータ) (2025-06-13T18:08:54Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳(メタデータ) (2023-05-20T19:22:40Z) - Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。
記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
論文 参考訳(メタデータ) (2020-02-21T19:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。