論文の概要: AI Training Manager: Bounded Closed-Loop Control of Adaptive Training Recipes

• arxiv url: http://arxiv.org/abs/2606.29871v1
• Date: Mon, 29 Jun 2026 07:07:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.089453
• Title: AI Training Manager: Bounded Closed-Loop Control of Adaptive Training Recipes
• Title（参考訳）: AIトレーニングマネージャ:適応トレーニングレシピのクローズドループコントロールの境界
• Abstract要約: Managerはアクティブな実行から構造化されたテレメトリスナップショットを読み、制約されたアクション空間を監査し、トレーニングパラメータに検証された更新を返す。 TinyStoriesでは、マネージャがオーバーフィッティングを検出し修正し、ベースラインよりも60%低い検証損失を達成する。 ロボット操作強化学習タスクでは,評価やチェックポイント境界においてマネージャの更新を適用したエピソード閉ループ設定において,同じ境界決定インタフェースを使用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the AI Training Manager, a bounded LLM-based supervisory controller for adaptive machine learning training. Standard training pipelines often rely on fixed recipes or single-axis schedulers, which can struggle with mid-run failures such as severe overfitting, loss imbalance, exploration collapse, or unsafe exploration. Rather than replacing mathematical optimizers or acting as an unconstrained coding agent, the manager operates through a schema-conditioned interface: it reads structured telemetry snapshots from an active run, audits a constrained action space, and returns validated updates to training parameters such as learning rate, regularization strength, loss-weight coefficients, and exploration settings. We evaluate this architecture across supervised language modeling and reinforcement learning. On TinyStories, the manager detects and corrects overfitting, achieving a validation loss 60% lower than the baseline while producing auditable intervention logs. In this supervised setting, we additionally show that manager inference does not need to block the training loop: training can continue while a manager response is pending, and validated updates can be applied asynchronously once available. In a robotic manipulation reinforcement-learning task, we use the same bounded decision interface in an episodic closed-loop setting, where manager updates are applied at evaluation or checkpoint boundaries. The manager mitigates both conservative and unsafe exploration regimes. These results suggest that schema-conditioned LLMs can serve as bounded supervisory managers for live training runs, complementing conventional optimizers and schedulers with interpretable, multi-axis intervention capabilities
• Abstract（参考訳）: 本稿では,適応型機械学習トレーニングのためのLLMベースの制御系であるAI Training Managerを提案する。 標準的なトレーニングパイプラインは、しばしば固定されたレシピや単一軸スケジューラに依存しており、過度なオーバーフィッティング、損失の不均衡、探索の崩壊、安全でない探索といった中途半端な失敗に苦しむことがある。 アクティブランから構造化されたテレメトリスナップショットを読み出し、制約されたアクション空間を監査し、学習率、正規化強度、損失重み付け係数、探索設定などのトレーニングパラメータに対する検証済みのアップデートを返す。 我々はこのアーキテクチャを教師付き言語モデリングと強化学習で評価する。 TinyStoriesでは、マネージャがオーバーフィッティングを検出して修正し、監査可能な介入ログを生成しながら、ベースラインよりも60%低い検証損失を達成する。 この教師付き設定では、マネージャの推論がトレーニングループをブロックする必要がないことも示しています。 ロボット操作強化学習タスクでは,評価やチェックポイント境界においてマネージャの更新を適用したエピソード閉ループ設定において,同じ境界決定インタフェースを使用する。 管理者は保守的かつ安全でない探査体制を緩和する。 これらの結果から,スキーマ条件付きLCMは,従来のオプティマイザやスケジューラを補完し,解釈可能な多軸介入機能を備えた実時間トレーニングのバウンダリ管理者として機能する可能性が示唆された。

関連論文リスト

• Training Language Models to Cooperate with Inference-Time Controllers [25.4633535418324]
  CALM(Controller-Aware Language Models)は、トレーニングループにコントローラを明示的に配置するポストトレーニングフレームワークである。 コントローラによるインタラクションプロトコル上でのマルチタスク強化学習として,コントローラに意識したポストトレーニングを定式化する。 制御器構成とより広い制御器シフトに対するCALMの評価を行い、制御器認識後学習が単一制御器最適化を超えた推論時間における一般化を改善することを示した。
  論文  参考訳（メタデータ） (2026-07-26T17:44:33Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• Learning to Control LLM Agent Harnesses with Offline Reinforcement Learning [0.05371337604556311]
  大規模言語モデル(LLM)エージェントは通常、プロンプト、キャリブレーションされたモデル、手書きで改善される。 LLMエグゼキュータが凍結状態にある間、軽量コントローラが構造実行動作を選択する有限水平ハーネスMDPとしてハーネス演算を形式化する。
  論文  参考訳（メタデータ） (2026-07-05T22:11:18Z)
• Why Multi-Step Tool-Use Reinforcement Learning Collapses and How Supervisory Signals Fix It [23.538941671680806]
  ツールの使用により、大きな言語モデルで複雑なタスクを実行できる。 近年のエージェント強化学習法では, モデル能力の向上が期待できる。 いくつかのモデルは破滅的な崩壊を示し、パフォーマンスが突然低下し、ツール呼び出し構造が失敗する。
  論文  参考訳（メタデータ） (2026-06-24T16:55:56Z)
• PACT: Privileged Trace Co-Training for Multi-Turn Tool-Use Agents [57.69188221227875]
  マルチターンツール利用エージェントのためのPrivileged trAce Co-Trainingフレームワークを提案する。 キーとなる考え方は、専門家のトレースをロールアウト時間ヒントではなく、トレーニング時の最適化信号としてのみ使用することだ。 PACT は強い SFT および RL ベースのベースラインよりも一貫して改善されていることを示す。
  論文  参考訳（メタデータ） (2026-06-15T04:46:23Z)
• Harnessing LLM Agents with Skill Programs [58.356514745548026]
  HASPは、実行可能なプログラム関数(PF)にスキルをアップグレードする新しいフレームワークです。 PFは障害が発生しやすい状態を起動し、次のアクションを変更したり、修正コンテキストを注入する実行可能なガードレールとして機能する。 HASPは、Web検索、数学推論、コーディングタスクにおいて、トレーニング不要とトレーニングベースの両方の手法と比較して、大幅に向上している。
  論文  参考訳（メタデータ） (2026-05-18T01:35:11Z)
• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)
• SWE-Shepherd: Advancing PRMs for Reinforcing Code Agents [0.31034395048547575]
  既存のアプローチは、コード編集、ファイルナビゲーション、テスト実行などのアクションを選択するための静的なプロンプト戦略や手作業に依存している。 本稿では,プロセス・リワード・モデル(Process Reward Models,PRM)を導入するフレームワークであるSWE-Shepherdを提案する。 SWE-Bench Verifiedの実験では、インタラクション効率とアクション品質の改善に加えて、中間報酬と最終タスク成功の整合性の課題も強調されている。
  論文  参考訳（メタデータ） (2026-04-12T06:51:47Z)
• Open-Ended Instruction Realization with LLM-Enabled Multi-Planner Scheduling in Autonomous Vehicles [40.195332742819865]
  本研究では,大規模言語モデル(LLM)を利用して命令を解釈する命令実現フレームワークを提案する。 リアルタイムフィードバックに基づいて、複数のモデル予測制御(MPC)ベースのモーションプランナをスケジュールする実行可能なスクリプトを生成し、計画されたトラジェクトリを制御信号に変換する。
  論文  参考訳（メタデータ） (2026-04-09T09:32:21Z)
• Double Check My Desired Return: Transformer with Target Alignment for Offline Reinforcement Learning [64.6334337560557]
  教師付き学習(RvS)による強化学習は、シーケンスモデリングタスクとしてオフラインRLをフレーム化する。 決定変換器(DT)は、実際の完了したリターンを特定のターゲットリターンと確実に整合させるのに苦労する。 そこで我々は,Offline RLの目標アライメントによる変換器の二重チェックを行う新しいアプローチであるDoctorを提案する。
  論文  参考訳（メタデータ） (2025-08-22T14:30:53Z)
• Unsupervised Continual Anomaly Detection with Contrastively-learned Prompt [80.43623986759691]
  UCADと呼ばれる新しい非教師付き連続異常検出フレームワークを提案する。 このフレームワークは、対照的に学習したプロンプトを通じて、UDAに継続的な学習能力を持たせる。 我々は総合的な実験を行い、教師なし連続異常検出とセグメンテーションのベンチマークを設定した。
  論文  参考訳（メタデータ） (2024-01-02T03:37:11Z)
• SMART: Self-supervised Multi-task pretrAining with contRol Transformers [34.604339091596884]
  自己指導型事前訓練は言語と視覚領域で広く研究されている。 シーケンシャルな意思決定タスクのための事前学習アプローチを適切に設計することは困難である。 逐次意思決定のための一般的な事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-24T05:01:23Z)
• URLB: Unsupervised Reinforcement Learning Benchmark [82.36060735454647]
  教師なし強化学習ベンチマーク(URLB)を紹介する。 URLBは2つのフェーズで構成されている。 評価のために3つのドメインから12の連続制御タスクを提供し、8つの主要な教師なしRLメソッドに対してオープンソースコードを提供する。
  論文  参考訳（メタデータ） (2021-10-28T15:07:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。