論文の概要: Reinfier and Reintrainer: Verification and Interpretation-Driven Safe Deep Reinforcement Learning Frameworks

• arxiv url: http://arxiv.org/abs/2410.15127v1
• Date: Sat, 19 Oct 2024 15:03:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:18.816935
• Title: Reinfier and Reintrainer: Verification and Interpretation-Driven Safe Deep Reinforcement Learning Frameworks
• Title（参考訳）: ReinfierとReintrainer: 検証と解釈駆動型安全な深層強化学習フレームワーク
• Authors: Zixuan Yang, Jiaqi Zheng, Guihai Chen,
• Abstract要約: 本稿では,信頼性の高いDRLモデルを開発するために,検証駆動型ループ内解釈フレームワークReintrainerを提案する。 各イテレーションにおいて、このフレームワークは、トレーニング中のモデルと事前定義されたプロパティの間のギャップをフォーマルな検証を使って測定する。 Reinfierは、簡潔な制約エンコーディング言語DRLPに関連する、ブレークポイント検索と検証駆動型解釈を備えている。
• 参考スコア（独自算出の注目度）: 36.730973051834376
• License:
• Abstract: Ensuring verifiable and interpretable safety of deep reinforcement learning (DRL) is crucial for its deployment in real-world applications. Existing approaches like verification-in-the-loop training, however, face challenges such as difficulty in deployment, inefficient training, lack of interpretability, and suboptimal performance in property satisfaction and reward performance. In this work, we propose a novel verification-driven interpretation-in-the-loop framework Reintrainer to develop trustworthy DRL models, which are guaranteed to meet the expected constraint properties. Specifically, in each iteration, this framework measures the gap between the on-training model and predefined properties using formal verification, interprets the contribution of each input feature to the model's output, and then generates the training strategy derived from the on-the-fly measure results, until all predefined properties are proven. Additionally, the low reusability of existing verifiers and interpreters motivates us to develop Reinfier, a general and fundamental tool within Reintrainer for DRL verification and interpretation. Reinfier features breakpoints searching and verification-driven interpretation, associated with a concise constraint-encoding language DRLP. Evaluations demonstrate that Reintrainer outperforms the state-of-the-art on six public benchmarks in both performance and property guarantees. Our framework can be accessed at https://github.com/Kurayuri/Reinfier.
• Abstract（参考訳）: 深部強化学習(DRL)の検証および解釈可能な安全性の確保は、実世界のアプリケーションへの展開に不可欠である。 しかし、ループ内の検証トレーニングのような既存のアプローチでは、デプロイの難しさ、非効率なトレーニング、解釈可能性の欠如、プロパティ満足度と報酬パフォーマンスにおける最適以下のパフォーマンスといった課題に直面している。 そこで本研究では,信頼できるDRLモデルを開発するための,新たな検証駆動型解釈・ループ型フレームワークReintrainerを提案する。 具体的には、各反復において、オントレーニングモデルと事前定義されたプロパティ間のギャップをフォーマルな検証を用いて測定し、各入力特徴のモデル出力への寄与を解釈し、すべての事前定義されたプロパティが証明されるまで、オンザフライ測定結果から導かれるトレーニング戦略を生成する。 さらに、既存の検証器とインタプリタの低再利用性は、DRL検証と解釈のためのReintrainerの汎用的で基本的なツールであるReinfierを開発する動機となっている。 Reinfierは、簡潔な制約エンコーディング言語DRLPに関連する、ブレークポイント検索と検証駆動型解釈を備えている。 評価の結果、Reintrainerはパフォーマンス保証とプロパティ保証の両方で6つの公開ベンチマークで最先端のベンチマークを上回ります。 私たちのフレームワークはhttps://github.com/Kurayuri/Reinfier.comでアクセスできます。

関連論文リスト

• VERA: Validation and Enhancement for Retrieval Augmented systems [0.0]
  textbfValidation and textbfEnhancement for textbfRetrieval textbfAugmented system を提案する。 VERAは、外部検索が必要なかどうかを最初にチェックし、検索したコンテキストの関連性と冗長性を評価し、非必要情報の除去のために精査する評価器-既存のLCMを使用している。
  論文  参考訳（メタデータ） (2024-09-18T16:10:47Z)
• InstructRAG: Instructing Retrieval-Augmented Generation via Self-Synthesized Rationales [14.655518998487237]
  InstructRAGを提案する。そこでは、LMが自己合成的理性を通して認知過程を明示的に学習する。 インストラクションRAGは追加の監視を必要としないため、予測された回答の検証が容易になる。 実験によると、InstructRAGはトレーニング不要とトレーニング可能な両方のシナリオにおいて、既存のRAGメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-06-19T15:25:29Z)
• RLeXplore: Accelerating Research in Intrinsically-Motivated Reinforcement Learning [50.55776190278426]
  外部報酬は、特定のタスクにおける強化学習(RL)エージェントを効果的に導くことができる。 RLeXploreは,8つの最先端固有の報酬アルゴリズムの信頼性を実現する,統一的で高度にモジュール化されたプラグイン・アンド・プレイフレームワークである。
  論文  参考訳（メタデータ） (2024-05-29T22:23:20Z)
• Towards Faithful Explanations for Text Classification with Robustness Improvement and Explanation Guided Training [30.626080706755822]
  特徴属性法は、重要な入力トークンをモデル予測の説明として強調する。 近年の研究では、これらの手法による説明は、忠実で堅牢であるという課題に直面している。 本稿では,テキスト分類のためのロバスト性向上と説明指導による,より忠実な説明(REGEX)への指導手法を提案する。
  論文  参考訳（メタデータ） (2023-12-29T13:07:07Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Online Safety Property Collection and Refinement for Safe Deep Reinforcement Learning in Mapless Navigation [79.89605349842569]
  オンラインプロパティのコレクション・リファインメント(CROP)フレームワークをトレーニング時にプロパティを設計するために導入する。 CROPは、安全でない相互作用を識別し、安全特性を形成するためにコストシグナルを使用する。 本手法をいくつかのロボットマップレスナビゲーションタスクで評価し,CROPで計算した違反量によって,従来のSafe DRL手法よりも高いリターンと低いリターンが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-13T21:19:36Z)
• Holistic Deep Learning [3.718942345103135]
  本稿では、入力摂動、過度なパラメータ化、性能不安定といった脆弱性の課題に対処する、新しい総合的なディープラーニングフレームワークを提案する。 提案したフレームワークは、標準的なディープラーニングモデルよりも正確性、堅牢性、疎性、安定性を全面的に改善する。
  論文  参考訳（メタデータ） (2021-10-29T14:46:32Z)
• BERT as a Teacher: Contextual Embeddings for Sequence-Level Reward [23.176481887478634]
  単語を数えたり、比較したりした操作は、単語を埋め込んだり、埋め込みを比較したりすることができる。 BERT埋め込みの詳細な分析は、必要な依存関係をキャプチャするためにコンテキスト埋め込みを使用できることを実証的に示している。 我々は、無条件生成を強化学習問題とみなし、この挑戦的な環境では、報酬関数がn-gramの報酬よりも効果的な学習信号を提供することを示した。
  論文  参考訳（メタデータ） (2020-03-05T16:06:37Z)
• Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
  本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。 我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。