論文の概要: CODS: Iterative Bellman-Residual Data Selection for Reusable Offline Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.07719v1
- Date: Fri, 07 Aug 2026 19:11:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.484917
- Title: CODS: Iterative Bellman-Residual Data Selection for Reusable Offline Reinforcement Learning
- Title（参考訳）: CODS: 再利用可能なオフライン強化学習のための反復ベルマン残差データ選択
- Abstract要約: 我々は,アルゴリズムに適合した批評家の適合と高レジデンシャル・トランジションの獲得を交互に行う,批評家誘導のセレクタであるCODSを紹介する。
10%の予算で、CODSは20の有効なD4RLタスク-アルゴリズム細胞に対して96.6%の許容プール性能を維持している。
- 参考スコア（独自算出の注目度）: 5.894992157122175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Offline reinforcement learning repeatedly trains policies from a fixed transition pool, making redundant data costly across seeds and hyperparameters, while naive subsampling can remove rare transitions needed for long-horizon credit assignment. We introduce CODS, a critic-guided selector that alternates between fitting an algorithm-matched critic and acquiring high-residual transitions before freezing a reusable subset. Unlike prioritized replay, CODS produces a static artifact; unlike one-shot residual selection, it refreshes scores as the critic changes. At a 10\% budget, CODS retains 96.6\% of eligible-pool performance across 20 valid D4RL task--algorithm cells. It exceeds ReDOR and OPER on 19/20 cells and every other subset baseline on 20/20; all six subset advantages remain significant under predeclared hierarchical inference with Holm correction. Holding total selector updates fixed, five acquisition rounds improve four representative cells by 11.23 points over one round and saturate thereafter. Equal-pass and equal-hour evaluations clarify that reuse, rather than a single-run speedup, creates the compute advantage. Mechanism and corruption interventions expose both useful sparse-reward enrichment and sensitivity to outliers. Finally, a whole-trace extension retains 95.4\% of pooled ALFWorld success and 96.5\% of pooled GSM8K exact match. CODS is therefore a reusable selection procedure, not a formal coreset guarantee.
- Abstract（参考訳）: オフライン強化学習は、固定されたトランジションプールからポリシーを繰り返し訓練し、種子やハイパーパラメータにわたって冗長なデータをコストで作成する。
我々は,再利用可能なサブセットを凍結する前に,アルゴリズムマッチングされた批評家の適合と高残留遷移の獲得を交互に行う,批評家誘導セレクタであるCODSを紹介する。
優先順位付けされたリプレイとは異なり、CODSは静的なアーティファクトを生成する。
10 %の予算で、CODSは、有効な20のD4RLタスク-アルゴリズム細胞に対して96.6 %の資格プール性能を維持している。
19/20細胞と20/20細胞でReDORとOPERを上回り、6つのサブセットのアドバンテージは、ホルム補正による事前の階層的推論の下で重要なままである。
総セレクタ更新を固定し、5回の買収ラウンドで4つの代表セルを1ラウンドで11.23ポイント改善し、その後飽和させる。
平等パスと等時評価は、単一実行速度ではなく、再利用が計算上の優位性を生み出すことを明らかにしている。
メカニズムと腐敗の介入は、スパース・リワード・エンリッチメントとインセンティブの両方をアウトレイアに露出させる。
最後に、全トラック延長は95.4 %のALFWorld成功と96.5 %のGSM8K正確な試合を維持している。
したがって、CODSは再利用可能な選択手順であり、正式なコアセット保証ではない。
関連論文リスト
- ReNFT: Repairing Mode Collapse in Reward Post-Training via Internal Probability-Mass Recalibration [84.10540890311843]
再学習後、必然的に確率質量をいくつかの報奨モード、即時多様性を消去するモード崩壊に集中させる。
本稿では、内部の確率質量再校正により、高逆低ダイバーシティアダプタを修復するReNFTを提案する。
PickScoreとGenEvalでは、ReNFTはNFTの報酬の98.9%と99.0%を保持し、DreamSim-Divは58.8%、55.0%改善している。
論文 参考訳（メタデータ） (2026-08-30T14:13:50Z) - Efficient GPU Retrieval for Semantic Search [11.631441668563802]
本稿では、LinkedInのポリシー整合型検索フレームワークを提案する。
軽量のシングルスロットStage-1スコアラは、ハイリコール候補を生成する。
21Kのホールドアウトクエリでは、この表現は一致した容量ベースラインに対するオフラインの関連性を改善する。
論文 参考訳（メタデータ） (2026-08-29T00:38:27Z) - RecGPT-Mobile-V2 Technical Report [22.10290138930905]
RecGPT-Mobile-V2は、意図的品質と実行効率をステージド設計の目的として扱うエンドツーエンドフレームワークである。
このフレームワークは異種間相互作用をエビデンス保存軌道に変換し、ドメイン適応と教師付きアライメントを通じてレコメンデーションネイティブ基盤を確立する。
オンライン検索分析では、クエリリコールチャネルは、確立されたリコールチャネルによってサーフェスされたインベントリに補完されるインベントリを検索することを示している。
論文 参考訳（メタデータ） (2026-08-25T09:23:17Z) - DG-FedReuse: Proxy-Gradient-Gated Cached-Update Reuse with Matched Sparse Uplink Accounting [0.0]
DG-FedReuseは、選択したクライアントがキャッシュされた更新にコントリビュートできるようにするシミュレータレベルのメカニズムである。
実験には、6つのイメージ分類データセット、50の仮想クライアント、Dirichletラベルクライアント、3つのシードが含まれている。
DG-FedReuseは83.36-85.42%のモデルで更新データフィールドのアップリンクを節約したが、Top-K FedAvgは76.88%だった。
論文 参考訳（メタデータ） (2026-08-05T19:30:04Z) - ISO: An RLVR-Native Optimization Stack [50.40395312897848]
アイソスペクトル最適化(ISO)としてスペクトル継承を運用する
オフラインでは、ISO-Mergerは共有ベーススペシャリストのフレーム変更を単一の固定スペクトルモデルに統合する。
オンラインのISO-Mergerは、AdamWやMuonを含む選択されたベースをフレーム変数に適用し、ベーススペクトルを固定する。
論文 参考訳（メタデータ） (2026-07-21T17:51:36Z) - Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0 [53.71882250666667]
エージェント最適化法で報告されているほとんどの利得はワンショットである。
これは、デプロイされたエージェントにとって重要な設定をテストするものではない。
エージェントハーネス最適化に対する3つのアプローチを比較する。
論文 参考訳（メタデータ） (2026-07-15T16:36:04Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。
楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。
本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
論文 参考訳（メタデータ） (2026-05-27T03:41:11Z) - ReacTOD: Bounded Neuro-Symbolic Agentic NLU for Zero-Shot Dialogue State Tracking [2.2573512203799626]
本稿では,NLUを独立したツールコールとして再構成する有界神経シンボルアーキテクチャであるReacTODを提案する。
有界ReActループは反復自己補正を可能にし、MultiWOZ上のシングルパス推論よりも最大9.3ポイント精度を向上させる。
論文 参考訳（メタデータ） (2026-05-18T20:06:04Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。
本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
論文 参考訳（メタデータ） (2026-05-07T06:31:34Z) - Perturbation Dose Responses in Recursive LLM Loops: Raw Switching, Stochastic Floors, and Persistent Escape under Append, Replace, and Dialog Updates [0.0]
我々は、他のどこかで落ち着いたループを動かすのに、注入されたテキストがどれだけ必要か、そしてそれが継続するかどうかを調査する。
12,000文字の尾クリップの下では、目的地とコヒーレントな持続性台地が16%近く、ソースとバスンの脱出は36%近くで400。
4段階のファルシフィケーション・バッテリは、高線量のデスティネーションコヒーレントディップを有限水平、エンドポイント定義感度の特徴として再キャストする。
論文 参考訳（メタデータ） (2026-05-04T05:16:43Z) - Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。
シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
論文 参考訳（メタデータ） (2026-04-11T10:47:22Z) - Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。
顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。
EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文 参考訳（メタデータ） (2021-01-20T06:18:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。