論文の概要: Detecting Silent Faults at the Environment-Trainer Boundary in Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2611.08144v1
- Date: Thu, 05 Nov 2026 15:05:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.555471
- Title: Detecting Silent Faults at the Environment-Trainer Boundary in Reinforcement Learning
- Title（参考訳）: 強化学習における環境学習境界における無声断層の検出
- Abstract要約: 境界をワイヤプロトコルとし、その欠陥に何があるのかを問う。
Pendulum, HalfCheetah, Hopper と 7-joint arm (Pusher) では、最大23の障害を、ワイヤーと2がトレーナーのログに注入した。
結果ではなく、実行自体のチェックは、すべての失敗を見ました。
- 参考スコア（独自算出の注目度）: 2.3490649790592935
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robot reinforcement learning increasingly runs environments outside the trainer: in another process, on another machine, in another language. Many faults at this boundary raise no error. We make the boundary a wire protocol and ask what notices a fault in it. On Pendulum, HalfCheetah, Hopper and a 7-joint arm (Pusher), we injected up to 23 faults into what crosses the wire and 2 into the trainer's log, from one value to every value. Unless every value was wrong, a learning-curve threshold caught at most one run in ten, and a comparison with ten fault-free seeds at most 21%. A clean evaluation of all 1,060 final policies agreed with the curves: of the 728 boundary-fault runs both curve checks passed, 723 scored no more than three standard deviations below fault-free seeds, though nearly all ended on other weights and, for reward faults, logged other returns. Checks of the run itself, not of its outcome, saw every fault. A step ledger kept on both sides and compared step by step caught and located every fault that crossed, on Pendulum, Hopper and Pusher on one machine and on Pendulum across two, with no fault-free run and, on Pendulum, a median 3% more training time. An episode record kept at the environment caught the faults in the trainer's log. We list such faults found in practice, in Gymnasium 1.3 and our own code and, reported by others, in five multi-agent libraries, and recommend a step ledger and episode counts kept at the environment.
- Abstract（参考訳）: ロボット強化学習は、トレーナーの外で、別のプロセスで、別のマシンで、別の言語で、ますます環境を走らせています。
この境界の多くの断層は誤りを起こさない。
境界をワイヤプロトコルとし、その欠陥に何があるのかを問う。
Pendulum, HalfCheetah, Hopper, and a 7-joint arm (Pusher)では、最大23の障害を、ワイヤーと2がトレーナーのログに、ある値からすべての値に注入しました。
すべての値が間違っていなければ、学習曲線しきい値が10回に1回、フォールトフリーシードが21%で比較される。
728のバウンダリ・フォールトは2回のカーブチェックをパスし、723はフォールトフリーシード以下で標準偏差を3回も記録しなかったが、ほぼ全てが他の重みで終了し、報償故障のために他のリターンを記録した。
結果ではなく、実行自体のチェックは、すべての失敗を見ました。
ステップ台帳は両サイドに留まり、Pendulum、Hopper、Pusherの各故障点をステップごとに比較し、PendulumとPendulumの故障点を2つに分けて比較した。
トレーナーの丸太の故障は環境に記録されていた。
Gymnasium 1.3と私たちのコードで実際に見つかった欠陥をリストアップし、5つのマルチエージェントライブラリで報告し、環境に保持されているステップ台帳とエピソードカウントを推奨する。
関連論文リスト
- Does Validation Loss Predict Real-Robot Success? Evidence from Four Imitation-Learning Policies on a Low-Cost Arm [0.0]
ヘルドアウト検証損失は、チェックポイントを選択するための標準的なオフライン信号である。
ACT、拡散政策、SmolVLA、および$_0.5$(アクションエキスパートのみ)について測定する。
25のホールトアウトデモで82のチェックポイントを記録し、各ポリシのトレーニング損失と、出力するアクションのエラーを判定する。
論文 参考訳（メタデータ） (2026-10-30T19:05:01Z) - Which Rollout Taught It That? BehaviorTrace and the Limits of Training-Data Attribution in Online RL [0.0]
GRPOを用いたオンラインRL微調整について, 既知原因のある植林行動を用いて検討した。
我々は、フルグレートなスケッチ、植樹行動設定、勾配等級、流水度、ヘッドルーム、種と発生図間の変動の制御を組み合わせたオープンな評価ハーネスであるBehavimentTraceをリリースする。
論文 参考訳（メタデータ） (2026-10-07T17:01:37Z) - DreamingGoose: Staged Distillation from Autoregressive Transformers to Bidirectional Recurrent Diffusion Language Models [41.99844472131922]
我々はQwen3の教師を1.7Bと8Bで3段階に分けて、注意なし、双方向、ゲート・デルタ・ルール拡散学習者に変換する。
言語モデリングは部分的および非分配のみを転送する。
検索を学習するすべてのモデルは、検索エピソードに現れないトークンに対して0.000のスコアを獲得します。
論文 参考訳（メタデータ） (2026-09-28T03:57:11Z) - Offline Reinforcement Learning for Distribution-Grid Protection [42.05746375597851]
我々は,CIGRE中電圧ネットワークの静的軌跡からの線選択的トリップについて検討した。
畳み込みQネットワークは、因果電圧電流ファサーおよび見かけインピーダンス特徴を受信する。
その結果,密度予測性能と終端保護挙動がモデルランキングに影響を及ぼす可能性が示唆された。
論文 参考訳（メタデータ） (2026-09-21T14:49:04Z) - Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。
我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。
52,988件の要求を監査し、スピアマン0.400で0.90と一致した。
証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
論文 参考訳（メタデータ） (2026-09-03T17:59:43Z) - WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。
アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。
凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
論文 参考訳（メタデータ） (2026-08-10T11:22:53Z) - Outcome-Confounded Local Supervision in On-Policy Distillation [0.5937989874256571]
オンライン蒸留は生徒を自身の軌道で訓練し、教師は生徒が訪問する接頭辞に密集したトークンレベルを供給している。
いずれの読解も、完成した軌跡の結果によって構築されていることを示す。
最終回答の正しさを両立させた結果解決診断法を提案する。
論文 参考訳（メタデータ） (2026-07-26T16:03:33Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳（メタデータ） (2026-06-09T02:11:01Z) - What Makes Interaction Trajectories Effective for Training Terminal Agents? [55.62817294510983]
Terminal-Legoは、現実世界の問題を環境検証されたエージェントタスクに変換するスケーラブルなパイプラインである。
下着剤であるDeepSeek-V3.2の軌跡を微調整した学生は、はるかに強力な一般化を示している。
Qwen3-32Bは15.3kの終端レゴ軌道しか持たず、終端ベンチ2.0で24.3%のスコアを獲得し、データボリュームの30倍以上で確立された以前のSOTAのパフォーマンスと競合する。
論文 参考訳（メタデータ） (2026-06-02T10:37:47Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。