論文の概要: Knowing When Not to Reuse: Conditional Experience Transfer in Autonomous LLM Post-Training

• arxiv url: http://arxiv.org/abs/2608.26730v1
• Date: Thu, 27 Aug 2026 07:22:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.286632
• Title: Knowing When Not to Reuse: Conditional Experience Transfer in Autonomous LLM Post-Training
• Title（参考訳）: 再使用すべきでないことを知る:自律的LCMポストトライニングにおける条件付き体験伝達
• Abstract要約: バウンダリ・キャリブレーション・インターベンション・トランスファー(BCIT)は、重量変化トレーニングの前に経験的再利用を認可する手法である。 BCITは、観測された効果をソースのコンテキストに結び付け、適用性条件をチェックし、名前付きハードコンフリクトで候補者を拒否し、制限付きトレーニングトライアルを通じて現在の証拠を取得する。 完全に訓練された候補者は、まだ共有採用ルールに直面しており、観察されたイベントだけがメモリを拡張します。
• 参考スコア（独自算出の注目度）: 9.956488020809491
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models offer broad capabilities, but adapting them to evolving domains, tools, and requirements often entails repeated post-training. Autonomous systems automate parts of this process by proposing updates, training candidates, and using evaluation feedback to select subsequent proposals. As evidence accumulates, a central problem emerges: which past update evidence remains actionable after subsequent training has changed the parent model? An update's effect depends on its parent, data, and training stage. Treating past success as context-free permission can waste compute. If the resulting child is promoted, it can also degrade the subsequent training trajectory. We formulate this problem as conditional experience transfer and introduce Boundary-Calibrated Intervention Transfer (BCIT), a method that authorizes experience reuse before weight-changing training. BCIT binds an observed effect to its source context, checks applicability conditions, vetoes candidates with named hard conflicts, and obtains current-state evidence through a bounded training trial when needed. Fully trained candidates still face a shared adoption rule, and only observed events extend memory. On one 4B model adapted across finance reasoning, text-to-SQL, and function calling, candidate updates exhibit heterogeneous target and retention effects across the evaluated contexts. Under matched candidates, evidence, and compute, BCIT authorizes fewer harmful updates and attains higher equal-budget final-model quality than the evaluated alternatives. These results support treating experience authorization as a distinct problem in autonomous post-training.
• Abstract（参考訳）: 大きな言語モデルは幅広い機能を提供しますが、進化しているドメイン、ツール、要求にそれらを適用するには、しばしば反復的なポストトレーニングが必要です。 自動システムは、更新を提案し、候補を訓練し、評価フィードバックを使用してその後の提案を選択することで、このプロセスの一部を自動化する。 証拠が蓄積されるにつれて、中心的な問題が浮かび上がる: 後続のトレーニングが親モデルを変えた後、どの過去の更新証拠が実行可能か? 更新の効果は、親、データ、およびトレーニングステージに依存する。 過去の成功を文脈のないパーミッションとして扱うことは、計算を無駄にする。 結果として生まれた子供が昇進すると、その後の訓練軌跡も劣化する。 本稿では、この問題を条件付き体験伝達として定式化し、ウェイトチェンジトレーニング前に経験再利用を認可するBCIT(Boundary-Calibrated Intervention Transfer)を導入する。 BCITは、観測された効果をソースのコンテキストに結び付け、適用性条件をチェックし、名前の付いたハードコンフリクトで候補者を拒否し、必要に応じて制限付きトレーニングトライアルを通じて現在の証拠を取得する。 完全に訓練された候補はまだ共有採用ルールに直面しており、観察されたイベントだけがメモリを拡張している。 ファイナンス推論、テキスト・トゥ・SQL、関数呼び出しに適応した1つの4Bモデルでは、候補更新は評価されたコンテキスト全体で異質なターゲットと保持効果を示す。 一致した候補、証拠、計算の下で、BCITは有害な更新を減らし、評価された代替案よりも高い等予算の最終モデル品質を達成する。 これらの結果は、自律的なポストトレーニングにおいて、経験認可を別の問題として扱うことを支援する。

関連論文リスト

• Self-Improving Large Language Models via Progressive Experience Evolution [52.03479747358687]
  textbfSPEE(textbfSelf-textbfProgressive textbfExperience textbfEvolution)を提案する。 5つの数学的推論ベンチマークの実験は、SPEEが3つのモデルスケールでテスト時間とトレーニング時間の両方の自己進化ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-08-03T12:27:32Z)
• Rethinking Self-Evolution: A Constrained Exploration-Exploitation Process for Mitigating Skill Overfitting [20.811638832981178]
  大規模言語モデル(LLM)エージェントは、過去のインタラクションからの経験を蓄積し再利用する必要がある。 データ駆動のスキル最適化は、実際の環境から収集された限られた軌道に過度に適合する傾向がある。 リスクを緩和する3段階フレームワークであるSkillBoostを提案する。
  論文  参考訳（メタデータ） (2026-07-29T09:05:40Z)
• In-Context Reinforcement Learning under Non-Stationarity: A Survey [7.522032549330931]
  インコンテキスト強化学習(In-context reinforcement learning)は、訓練済みまたは微調整された決定モデルが潜在タスクルールを推論する能力である。 環境の変化において、蓄積されたコンテキストは、固定されたタスクに関する単なる証拠ではない。 我々は、非定常ICRLを、配置されたポリシーパラメータが固定されたまま、コンテキストを通した適応の問題として調査する。
  論文  参考訳（メタデータ） (2026-07-01T12:55:17Z)
• CLaaS: Continual learning as a service for sample efficient online learning [1.7646568737734192]
  エージェントが一連のシナリオから学習するオンライン連続学習環境について検討する。 本稿では、エージェントがデプロイ中に改善できるシステムである継続的学習・アズ・ア・サービス(CL)を提案する。 対向課題におけるCLの評価を行い,パラメトリックな更新によって前向き転送の精度が向上し,文脈内学習よりも忘れられることが実証された。
  論文  参考訳（メタデータ） (2026-06-04T01:14:19Z)
• Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition [53.005382593686356]
  エンゲージメント認識データセットは典型的には主観的インデクシングであり、しばしば騒々しく主観的な監督を含んでいる。 本研究では、この設定を、エンゲージメント認識のためのポストホック衛生機構として、主観レベルマシンアンラーニングを通して研究する。
  論文  参考訳（メタデータ） (2026-05-06T10:03:06Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• RL Grokking Recipe: How Does RL Unlock and Transfer New Algorithms in LLMs? [92.4931695205957]
  DELTA-Codeは、学習可能性と伝達可能性という2つの基本的な側面を探索するために設計された、合成符号問題ファミリーのベンチマークである。 実験の結果, ほぼゼロ報酬の期間が延長された後, RL訓練モデルが突然, ほぼ完全な精度に上昇した。 従来未解決であった問題ファミリの学習性を確保するため,深い報酬を伴うウォームアップ,経験リプレイ,カリキュラムトレーニング,ループ内検証などの重要なトレーニング項目を探索する。
  論文  参考訳（メタデータ） (2025-09-25T11:20:56Z)
• FAST: Similarity-based Knowledge Transfer for Efficient Policy Learning [57.4737157531239]
  Transfer Learningは、タスク間で知識を伝達することで学習を加速する能力を提供する。 これは、負の転送、ドメイン適応、ソリッドソースポリシーの選択における非効率といった重要な課題に直面します。 本研究では,知識伝達の改善,タスク間のパフォーマンスの促進,計算コストの削減など,TLの課題に挑戦する。
  論文  参考訳（メタデータ） (2025-07-27T22:21:53Z)
• Who Gets Credit or Blame? Attributing Accountability in Modern AI Systems [31.897288482449003]
  AIシステムは、通常、複数のステージ事前訓練、微調整ラウンド、そしてその後の適応またはアライメントによって開発される。 これは、デプロイされたモデルが成功したり失敗したり、どのステージが責任を負い、どの程度まで責任を負うかという、説明責任に関する重要な疑問を提起する。 モデル開発プロセスの特定の段階に遡って、モデルの振る舞いをトレースするために、説明責任が問題となる。
  論文  参考訳（メタデータ） (2025-05-30T19:27:39Z)
• Beyond Anti-Forgetting: Multimodal Continual Instruction Tuning with Positive Forward Transfer [21.57847333976567]
  MCIT(Multimodal Continual Instruction Tuning)は、Multimodal Large Language Models(MLLM)が、高価なリトレーニングなしで継続的な要求を満たすことを可能にする。 MCITは、破滅的な忘れ(古い知識が忘れられている)と負の転送という2つの大きな障害に直面している。 本稿では,これらの問題に対処するため,Pwd-Prompt Forward Transfer(Pwd-Prompt)を用いたPrompt Tuningを提案する。
  論文  参考訳（メタデータ） (2024-01-17T12:44:17Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。