論文の概要: SHORE: Stability-Hybrid On-Policy Reinforcement Learning for Online Bin Packing
- arxiv url: http://arxiv.org/abs/2611.08364v1
- Date: Thu, 05 Nov 2026 17:42:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.605595
- Title: SHORE: Stability-Hybrid On-Policy Reinforcement Learning for Online Bin Packing
- Title(参考訳): SHORE: オンラインビンパッキングのための安定なハイブリッド型オンライン強化学習
- Abstract要約: オンライン3Dビンを処理バッファでパッケージングするには、どのボックスをパックするか、その方向、配置を選択し、スタックを未知の将来の到着時に安定させる必要がある。
既存の手法では、幾何学的な規則や硬い安定マスクを使用しており、ボックス、方向、配置の合体選択にどのようにリスクが影響するかを制限している。
本研究では, 安定度に対する回帰条件のオンライン推定と, 位置の学習された安定性確率を組み合わせた安定性・ハイブリッド・オン・ポリティクス学習を提案する。
- 参考スコア(独自算出の注目度): 1.552482071116354
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Online 3D bin packing with a processing buffer requires choosing which box to pack, its orientation, and its placement while keeping the stack stable under unknown future arrivals. A collapse ends the episode and forfeits the remaining volume. Existing methods use geometric rules or hard stability masks, limiting how risk can influence the joint choice of box, orientation, and placement. We propose Stability-Hybrid On-Policy Reinforcement Learning (SHORE), which combines a learned stability probability of a placement with an on-policy estimate of its return conditional on stability. A 3D U-Net learns stability from executed outcomes and simulated alternatives, revealing outcomes of actions underrepresented in early rollouts. A discrete on-policy actor--critic uses stability predictions in both its action values and policy prior, with gates that limit the effect of an untrained or changing model. In deployment, SHORE does not require additional search or simulation overhead. In Isaac Gym, SHORE reaches 73\% space utilization by 0.4M environment steps, while the same learner without stability modeling reaches that level at about 1M. On the expanded 60-box set, SHORE achieves 0.734 space utilization versus 0.588 for the GOPT state-of-the-art baseline, with a higher placement-failure frequency (1.03\% vs. 0.63\%), trading more risk for greater packed volume. The results show faster learning and higher utilization on the more demanding realistic box arrival set. Ablations suggest that simulated alternatives provide useful early supervision, while executed outcomes alone sustain later performance. We also demonstrate the method on a real robot to verify the simplicity of integrating the method to real bin packing pipelines.
- Abstract(参考訳): オンライン3Dビンを処理バッファでパッケージングするには、どのボックスをパックするか、その方向、配置を選択し、スタックを未知の将来の到着時に安定させる必要がある。
崩壊はエピソードを終わらせ、残りの巻を没収する。
既存の手法では、幾何学的な規則や硬い安定マスクを使用しており、ボックス、方向、配置の合体選択にどのようにリスクが影響するかを制限している。
本研究では, 安定度に対する回帰条件のオンライン推定と, 配置の学習された安定性確率を組み合わせ, 安定度の高いオンライン強化学習(SHORE)を提案する。
3D U-Netは、実行された結果から安定性を学び、代替案をシミュレートし、初期のロールアウトで表現されていないアクションの結果を明らかにする。
個別のオンラインアクターは、そのアクション値とポリシー事前の両方で安定性の予測を使い、ゲートはトレーニングされていないモデルや変更されていないモデルの効果を制限する。
デプロイメントでは、SHOREは追加の検索やシミュレーションのオーバーヘッドを必要としない。
アイザック・ギム(Isaac Gym)では、SHOREは0.4Mの環境ステップで73\%の空間利用を実現し、安定性モデリングのない同じ学習者が約100Mに達する。
拡張60ボックスセットにおいて、SHOREはGOPTベースラインの0.588に対して0.734の空間利用を達成し、より高い配置不良周波数(1.03\% vs. 0.63\%)を達成し、より大きな充填体積のリスクを負う。
その結果,より要求の多い現実的なボックス到着セットにおいて,学習の迅速化と利用率の向上が示された。
アブレーションは、シミュレーションされた代替手段が早期監視に役立ち、実行された結果だけがその後のパフォーマンスを維持することを示唆している。
また,本手法を実ビンパッキングパイプラインに組み込むことの単純さを検証するために,実ロボット上で本手法を実証する。
関連論文リスト
- Trust-Calibrated VLA Policy Post-Training with Evolving Imagination [60.998903003181006]
既存の改善パラダイムは信頼性と効率性の緊張を露呈する。
本稿では,モデル進化強化学習(MERL, Model-Evolving Reinforcement Learning)を提案する。
摂動型LIBERO-PROタスクでは、MERLは平均79.7%の成功を達成し、マッチしたモデルフリー制御よりも10.9%の高閾値学習速度を向上し、同じプロトコール外部ベースラインを上回っている。
論文 参考訳(メタデータ) (2026-10-12T10:08:28Z) - Discrete Action Space as a Prerequisite for GRPO Convergence in Small-Model Continuous Control [0.0]
グループ相対ポリシー最適化は、シミュレートされた四重項連続制御タスクのための小さな言語モデルを微調整することができる。
このベンチマークでは、25Hzの4乗子速度制御のためのQwen-0.5BのバニラGRPO微調整が、自明なゼロ作用に崩壊する。
Crazyflie 2.1 ダイナミックスを用いた高忠実度シミュレーションは、ホバー領域のトレーニングと分配のギャップを表面化する。
論文 参考訳(メタデータ) (2026-07-07T17:14:19Z) - Rendering-Aware Bayesian 3D Gaussian Splatting with Native Uncertainty and Adaptive Complexity Control [20.917423573702127]
3DGSはリアルタイムノベルビューの強力な表現であるが、標準的なトレーニングパイプラインは点推定と手作業による合成に依存している。
本稿では,ベイズ幾何学を標準逆ウィッシュアートの手法と共分散を用いて追従するレンダリング対応3DGSフレームワークを提案する。
固定予算の16対32のアクティブビュータスクでは、ネイティブNIWはPSNRを+0.453dB、LPIPSを-0.0146で改善し、スコアのみの3つの標準アンサンブルベースラインを上回ります。
論文 参考訳(メタデータ) (2026-07-06T18:01:08Z) - The Geometric Canary: Predicting Steerability and Detecting Drift via Representational Stability [0.0]
表現の対距離構造の整合性である幾何学的安定性は、2つの関数に対処することを示す。
教師なしの安定性は、現実のタスクを操るために完全に失敗します。
ドリフト検出に優れ、トレーニング後のアライメントでCKAよりも2倍近い幾何変化を計測する。
論文 参考訳(メタデータ) (2026-04-20T01:24:45Z) - Evaluating Model-Free Policy Optimization in Masked-Action Environments via an Exact Blackjack Oracle [0.40611352512781873]
正確な動的プログラミング(DP)のオラクルは4600以上の標準決定セルから導出された。
この実験では、地上信頼行動値、最適ポリシーラベル、理論期待値(EV)が1人あたり0.00161である。
いずれの方法も重大な細胞条件の後悔を示し、ポリシーレベルのエラーを持続的に示していた。
論文 参考訳(メタデータ) (2026-03-19T09:08:59Z) - ProAct: Agentic Lookahead in Interactive Environments [56.50613398808361]
ProActは、2段階のトレーニングパラダイムを通じて、エージェントが正確なルックアヘッド推論を内部化することを可能にするフレームワークである。
そこでは,環境に基づく探索から得られたトラジェクトリの微調整をエージェントが行うGLAD(Grounded LookAhead Distillation)を紹介する。
また,政策段階のアルゴリズムを改良する補助値推定器であるモンテカルロ批判(MC-Critic)を提案する。
論文 参考訳(メタデータ) (2026-02-05T05:45:16Z) - Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model [56.92219181993453]
本稿では,PPOやGRPOなどのオンラインRFT手法をオフ・ポリティクスデータに活用するために,Reincarnating Mix-policy Proximal Policy Gradient (ReMix)を提案する。
ReMix は,(1) 効率的なトレーニングのための更新データ(UTD)比が増大した混成政策勾配,(2) 安定性と柔軟性のトレードオフのバランスをとるためのKL-Convex 政策制約,(3) 効率的な早期学習から安定した改善へのシームレスな移行を実現するための政策再編成の3つの主要な構成要素から構成される。
論文 参考訳(メタデータ) (2025-07-09T14:29:45Z) - Towards Stable 3D Object Detection [64.49059005467817]
安定度指数(SI)は3次元検出器の安定性を信頼度、ボックスの定位、範囲、方向で総合的に評価できる新しい指標である。
モデルの安定性向上を支援するため,予測一貫性学習(PCL)と呼ばれる,汎用的で効果的なトレーニング戦略を導入する。
PCLは本質的に、異なるタイムスタンプと拡張の下で同じオブジェクトの予測一貫性を促進し、検出安定性を向上させる。
論文 参考訳(メタデータ) (2024-07-05T07:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。