論文の概要: Reactive Optimizers

• arxiv url: http://arxiv.org/abs/2610.33826v1
• Date: Sat, 24 Oct 2026 17:51:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.455494
• Title: Reactive Optimizers
• Title（参考訳）: リアクティブオプティマイザ
• Abstract要約: 本研究では、事前訓練された言語モデルエージェントを用いて、トレーニングダイナミクスを検査し、単一のトレーニング実行中に実行可能なコードを書き換えるリアクティブについて検討する。 本稿では,エージェントの計算コストと実装要件とともに,これらの挙動を報告する。
• 参考スコア（独自算出の注目度）: 20.04379012470048
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study a reactive optimizer that uses a pretrained language-model agent to inspect training dynamics and rewrite executable optimizer code during a single training run. The agent can change update rules and schedules for individual parameter groups, without optimizer-specific meta-training or memory transferred from other runs. We evaluate this approach, OPAL, on language modeling and image generation when a recipe has not been tuned for the target setting. Across the evaluated settings, it matches or improves on selected fixed recipes. Analysis of its decisions shows changes to learning-rate schedules, optimizer structure, numerical precision, and momentum. Controlled experiments also show adaptation to repeated data corruption and reduced overfitting. We report these behaviors together with the agent's computational cost and implementation requirements.
• Abstract（参考訳）: 本研究では、事前訓練された言語モデルエージェントを用いて、トレーニングダイナミクスを検査し、単一のトレーニング実行中に実行可能なオプティマイザコードを書き換えるリアクティブオプティマイザについて検討する。 エージェントは、オプティマイザ固有のメタトレーニングや他の実行から転送されるメモリなしで、個々のパラメータグループの更新ルールやスケジュールを変更することができる。 提案手法は,目標設定に対してレシピを調整していない場合,言語モデルと画像生成に基づいてOPALを評価する。 評価された設定全体において、選択された固定されたレシピにマッチまたは改善される。 その決定の分析は、学習速度スケジュール、オプティマイザ構造、数値精度、運動量の変化を示している。 制御された実験は、繰り返しデータ破損への適応と過剰適合の低減も示している。 本稿では,エージェントの計算コストと実装要件とともに,これらの挙動を報告する。

関連論文リスト

• Active Learning for Communication Structure Optimization in LLM-Based Multi-Agent Systems [1.8605423959642353]
  コミュニケーション構造最適化のためのアンサンブルに基づく情報理論タスク選択フレームワークを提案する。 提案手法は,候補タスクがグラフパラメータ上の分布をどの程度変化させるかによって,タスクのインフォメーション性を推定する。 本手法をエージェント攻撃による良質な設定と設定の両方で検証し、制約された計算予算下での通信構造最適化の有効性を実証する。
  論文  参考訳（メタデータ） (2026-05-07T05:48:43Z)
• Improving Language Agents through BREW [7.098644778864677]
  大規模言語モデル(LLM)ベースのエージェントは、構造化推論、ツールの使用、環境適応を必要とするタスクにますます適用される。 PPOやGRPOのようなモデルウェイト最適化手法の現在の訓練パラダイムは、ロールアウト収束の計算オーバーヘッドが高いため、比較的実用的ではない。 本稿では,下流タスクのエージェント最適化のためのフレームワークであるBREWを紹介する。
  論文  参考訳（メタデータ） (2025-11-25T13:34:54Z)
• Human in the Loop Adaptive Optimization for Improved Time Series Forecasting [13.892998105460862]
  時系列予測モデルは、エネルギー、金融、医療といった重要な領域においても、体系的で予測可能なエラーを生み出すことが多い。 トレーニングやアーキテクチャの変更を伴わずに予測精度を向上する,新たなトレーニング適応最適化フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-21T10:30:02Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)
• Dynamic Scale Training for Object Detection [111.33112051962514]
  本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。 提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。 推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
  論文  参考訳（メタデータ） (2020-04-26T16:48:17Z)
• On-the-Fly Adaptation of Source Code Models using Meta-Learning [28.98699307030983]
  文脈適応の問題はメタラーニングの問題である。 我々は、欠落したトークンの予測を改善するために、ファイル内の情報から最もよく学習できるベースソースコードモデルを訓練する。 大規模なJava GitHubコーパスの実験において、パフォーマンスの改善を実証した。
  論文  参考訳（メタデータ） (2020-03-26T07:11:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。