論文の概要: Interpretable Deep Reinforcement Learning for Element-level Bridge Life-cycle Optimization

• arxiv url: http://arxiv.org/abs/2604.02528v1
• Date: Thu, 02 Apr 2026 21:27:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.212567
• Title: Interpretable Deep Reinforcement Learning for Element-level Bridge Life-cycle Optimization
• Title（参考訳）: 要素レベルブリッジライフサイクル最適化のための解釈可能な深部強化学習
• Authors: Seyyed Amirhossein Moayyedi, David Y. Yang,
• Abstract要約: 本研究は, 最適ライフサイクルポリシーを求めるための新しい解釈型強化学習(RL)手法を提案する。 提案アルゴリズムは,適切なノード数と深さを持つ斜め決定木の形でライフサイクルポリシーを生成する。 この枠組みは鋼桁橋のライフサイクル最適化問題として説明される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The new Specifications for the National Bridge Inventory (SNBI), in effect from 2022, emphasize the use of element-level condition states (CS) for risk-based bridge management. Instead of a general component rating, element-level condition data use an array of relative CS quantities (i.e., CS proportions) to represent the condition of a bridge. Although this greatly increases the granularity of bridge condition data, it introduces challenges to set up optimal life-cycle policies due to the expanded state space from one single categorical integer to four-dimensional probability arrays. This study proposes a new interpretable reinforcement learning (RL) approach to seek optimal life-cycle policies based on element-level state representations. Compared to existing RL methods, the proposed algorithm yields life-cycle policies in the form of oblique decision trees with reasonable amounts of nodes and depth, making them directly understandable and auditable by humans and easily implementable into current bridge management systems. To achieve near-optimal policies, the proposed approach introduces three major improvements to existing RL methods: (a) the use of differentiable soft tree models as actor function approximators, (b) a temperature annealing process during training, and (c) regularization paired with pruning rules to limit policy complexity. Collectively, these improvements can yield interpretable life-cycle policies in the form of deterministic oblique decision trees. The benefits and trade-offs from these techniques are demonstrated in both supervised and reinforcement learning settings. The resulting framework is illustrated in a life-cycle optimization problem for steel girder bridges.
• Abstract（参考訳）: 2022年以降のSNBI(National Bridge Inventory)の新しい仕様では、リスクベースのブリッジ管理における要素レベル状態(CS)の使用が強調されている。 一般的なコンポーネント評価の代わりに、要素レベルの条件データは、相対的なCS量(CS比)の配列を使ってブリッジの状態を表す。 これはブリッジ条件データの粒度を大幅に高めるが、一つのカテゴリーの整数から4次元の確率アレイへの拡張状態空間による最適ライフサイクルポリシーの設定が課題となる。 本研究では,要素レベルの状態表現に基づく最適なライフサイクルポリシーを求めるために,新しい解釈可能な強化学習(RL)手法を提案する。 既存のRL法と比較すると,提案アルゴリズムは適切なノード数と深さを持つ斜め決定木という形でライフサイクルポリシーを導出し,人間による直接的理解と監査が可能であり,現在の橋梁管理システムに容易に実装可能である。 ほぼ最適ポリシーを実現するため,提案手法は既存のRL法に3つの大きな改良を加えた。 (a)アクター関数近似器としての差別化可能なソフトツリーモデルの使用 (b)トレーニング中の温度アニール工程、及び (c)規則化とプルーニング規則を組み合わせ、政策の複雑さを制限した。 これらの改善により、決定論的斜め決定木の形で解釈可能なライフサイクルポリシーが得られる。 これらの手法の利点とトレードオフは、教師付きおよび強化学習設定の両方で示される。 結果として得られる枠組みは, 鋼桁橋のライフサイクル最適化問題において説明される。

関連論文リスト

• SymCircuit: Bayesian Structure Inference for Tractable Probabilistic Circuits via Entropy-Regularized Reinforcement Learning [0.0]
  確率回路(PC)構造学習は、非可逆的、局所的最適決定を行う欲求アルゴリズムによって妨げられる。 本研究では,強欲探索をエントロピー正規化強化学習を通じて学習した学習的生成ポリシーに置き換えるSymCircuitを提案する。
  論文  参考訳（メタデータ） (2026-03-20T18:11:15Z)
• Learning Policy Representations for Steerable Behavior Synthesis [80.4542176039074]
  マルコフ決定プロセス(MDP)を前提として,テスト時の行動ステアリングを促進するために,さまざまなポリシーの表現を学習する。 これらの表現は、セットベースアーキテクチャを用いて、様々なポリシーに対して均一に近似できることを示す。 変動生成法を用いてスムーズな潜伏空間を導出し,さらにコントラスト学習により、潜伏距離が値関数の差と一致するように形成する。
  論文  参考訳（メタデータ） (2026-01-29T21:52:06Z)
• Latent Spherical Flow Policy for Reinforcement Learning with Combinatorial Actions [31.697208397735395]
  既存のアプローチでは、タスク固有の値関数を制約付き最適化プログラムに組み込むか、決定論的構造化ポリシーを学習し、汎用性とポリシー表現性を犠牲にする。 本稿では, 設計による実現性を確保しつつ, 近代的な生成ポリシーの表現性をRLにもたらす, 解法による球面フローポリシーを提案する。 我々のアプローチは、さまざまな課題RLタスクにおいて、最先端のベースラインを平均20.6%上回る。
  論文  参考訳（メタデータ） (2026-01-29T18:49:07Z)
• Learning General Policies with Policy Gradient Methods [11.393603788068775]
  特定のドメインの全インスタンスを一般化する証明可能な正しいポリシーは、メソッドを使って学習されている。 この研究の目的は、これらの2つの研究スレッドをまとめて、(深い)強化学習アプローチが利用できる条件を照らすことである。 従来およびディープラーニングアプローチから学んだ教訓を引き合いに出し、それらを便利な方法で拡張します。
  論文  参考訳（メタデータ） (2025-12-22T13:08:58Z)
• Random Policy Valuation is Enough for LLM Reasoning with Verifiable Rewards [47.557539197058496]
  逆推論のためのランダムポリシー評価(ROVER)について紹介する。 ROVERは、一様政体Q値上のソフトマックスから作用をサンプリングする最小限だが高効率なRL法である。 textbfquality(textbf+8.2 on pass@1, textbf+16.8 on pass@256)と textbfdiversity(textbf+17.6%)の両方で優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-09-29T16:09:07Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Probabilistic Reach-Avoid for Bayesian Neural Networks [71.67052234622781]
  最適合成アルゴリズムは、証明された状態の数を4倍以上に増やすことができることを示す。 このアルゴリズムは、平均的な到達回避確率を3倍以上に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-03T10:52:21Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
  オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。 フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。 D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
  論文  参考訳（メタデータ） (2022-02-19T20:22:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。