論文の概要: Analyzing Symbolic Properties for DRL Agents in Systems and Networking

• arxiv url: http://arxiv.org/abs/2604.04914v1
• Date: Mon, 06 Apr 2026 17:55:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.32759
• Title: Analyzing Symbolic Properties for DRL Agents in Systems and Networking
• Title（参考訳）: DRLエージェントのシステム・ネットワークにおけるシンボル特性の解析
• Authors: Mohammad Zangooei, Jannis Weil, Amr Rizk, Mina Tahmasbi Arashloo, Raouf Boutaba,
• Abstract要約: システムやネットワークにおけるDRLエージェントに対して,入力状態の範囲を越えて期待される動作を規定するシンボリック特性について検討する。 シンボリックな特性の一般的な定式化を単調性および具体例として提示し、その解析方法を示す。 DRLをベースとした3つの制御システム,適応型ビデオストリーミング,無線リソース管理,渋滞制御に関する広範な実証的研究を行った。
• 参考スコア（独自算出の注目度）: 5.89003416695616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep reinforcement learning (DRL) has shown remarkable performance on complex control problems in systems and networking, including adaptive video streaming, wireless resource management, and congestion control. For safe deployment, however, it is critical to reason about how agents behave across the range of system states they encounter in practice. Existing verification-based methods in this domain primarily focus on point properties, defined around fixed input states, which offer limited coverage and require substantial manual effort to identify relevant input-output pairs for analysis. In this paper, we study symbolic properties, that specify expected behavior over ranges of input states, for DRL agents in systems and networking. We present a generic formulation for symbolic properties, with monotonicity and robustness as concrete examples, and show how they can be analyzed using existing DNN verification engines. Our approach encodes symbolic properties as comparisons between related executions of the same policy and decomposes them into practically tractable sub-properties. These techniques serve as practical enablers for applying existing verification tools to symbolic analysis. Using our framework, diffRL, we conduct an extensive empirical study across three DRL-based control systems, adaptive video streaming, wireless resource management, and congestion control. Through these case studies, we analyze symbolic properties over broad input ranges, examine how property satisfaction evolves during training, study the impact of model size on verifiability, and compare multiple verification backends. Our results show that symbolic properties provide substantially broader coverage than point properties and can uncover non-obvious, operationally meaningful counterexamples, while also revealing practical solver trade-offs and limitations.
• Abstract（参考訳）: 深部強化学習(DRL)は、適応的なビデオストリーミング、無線リソース管理、混雑制御を含む、システムやネットワークにおける複雑な制御問題において、顕著な性能を示している。 しかし、安全なデプロイメントのためには、エージェントが実際に遭遇するシステム状態の範囲内でどのように振る舞うかを判断することが重要です。 この領域の既存の検証ベースのメソッドは、主に、特定の入力状態を中心に定義された点特性に焦点を当て、限られたカバレッジを提供し、分析のために関連する入出力ペアを特定するためにかなりの手作業を必要とする。 本稿では,システムやネットワークにおけるDRLエージェントに対して,入力状態の範囲を越えて期待される動作を規定するシンボリック特性について検討する。 本稿では, 実例としてモノトニック性とロバスト性を備えた記号特性の汎用的定式化を行い, 既存のDNN検証エンジンを用いてその解析方法を示す。 提案手法は, 同一ポリシーの関連実行の比較としてシンボル特性を符号化し, 事実上のトラクタブルなサブプロパティに分解する。 これらの技術は、既存の検証ツールを記号解析に適用するための実用的な実現手段として機能する。 我々のフレームワークであるdiffRLを用いて、DRLベースの3つの制御システム、適応型ビデオストリーミング、無線リソース管理、渋滞制御の広範な実験を行った。 これらのケーススタディを通じて、幅広い入力範囲のシンボル特性を分析し、トレーニング中に特性満足度がどのように進化するかを調べ、モデルサイズが妥当性に与える影響を調べ、複数の検証バックエンドと比較する。 以上の結果から, シンボル特性は点特性よりもはるかに広い範囲をカバーし, 実用上のトレードオフや限界を明らかにしつつも, 目立たない, 運用上意味のある反例を明らかにすることができることがわかった。

関連論文リスト

• Bridging Perception and Reasoning: Token Reweighting for RLVR in Multimodal LLMs [51.60575965819268]
  本稿では,この相互依存を明示的にモデル化するToken-Reweighting(ToR)戦略を提案する。 ToRは複数のマルチモーダル推論ベンチマークで一貫したパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-03-26T06:25:27Z)
• Deep Learning for Contextualized NetFlow-Based Network Intrusion Detection: Methods, Data, Evaluation and Deployment [5.402853794565817]
  本稿では,フローベース侵入検知のための文脈認識深層学習に関する最近の研究を合成する。 既存の手法を時間的文脈,グラフあるいは関係文脈,マルチモーダルコンテキスト,マルチコンセンサスコンテキストを含む4次元分類に分類する。 我々は、時間的リーク、データ分割、データセット設計上の欠陥、限られたデータセットの多様性、弱いデータセットの一般化など、報告された結果に影響を及ぼす一般的な障害モードをレビューする。
  論文  参考訳（メタデータ） (2026-02-05T12:25:18Z)
• SymbXRL: Symbolic Explainable Deep Reinforcement Learning for Mobile Networks [23.623494837339283]
  本稿では、DRLエージェントの人間解釈可能な説明を合成する、説明可能な強化学習(XRL)技術であるSymbXRLを提案する。 DRLが支援する実践的なネットワーク管理ユースケースにおいて,SymbXRLを検証した。
  論文  参考訳（メタデータ） (2026-01-29T17:31:40Z)
• Crossing the Reward Bridge: Expanding RL with Verifiable Rewards Across Diverse Domains [92.36624674516553]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の数学的推論と符号化性能の向上に成功している。 本稿では,医学,化学,心理学,経済学,教育など,さまざまな現実世界領域におけるRLVRの有効性と拡張性について検討する。 我々は,2値検証による制限を克服するために,ソフトなモデルに基づく報酬信号を生成する生成的スコアリング手法を利用する。
  論文  参考訳（メタデータ） (2025-03-31T08:22:49Z)
• Offline Action-Free Learning of Ex-BMDPs by Comparing Diverse Datasets [87.62730694973696]
  本稿では,エージェント間の制御可能な特徴ダイナミクスの違いを利用して表現を学習する,サンプル効率のよいアルゴリズムCRAFTを紹介する。 我々はCRAFTの性能を理論的に保証し、おもちゃの例でその実現可能性を示す。
  論文  参考訳（メタデータ） (2025-03-26T22:05:57Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Comparing AutoML and Deep Learning Methods for Condition Monitoring using Realistic Validation Scenarios [0.0]
  本研究では、AutoMLツールボックスを用いた条件監視タスクにおける従来の機械学習手法とディープラーニングを広範囲に比較する。 実験では、ランダムなK倍のクロスバリデーションシナリオにおいて、全ての試験モデルに対して一貫した高い精度を示す。 実際のシナリオにおけるドメインシフトの存在を示す明確な勝者は現れない。
  論文  参考訳（メタデータ） (2023-08-28T14:57:29Z)
• Building Interpretable and Reliable Open Information Retriever for New Domains Overnight [67.03842581848299]
  情報検索は、オープンドメイン質問応答(QA)など、多くのダウンストリームタスクにとって重要な要素である。 本稿では、エンティティ/イベントリンクモデルとクエリ分解モデルを用いて、クエリの異なる情報単位により正確にフォーカスする情報検索パイプラインを提案する。 より解釈可能で信頼性が高いが,提案したパイプラインは,5つのIRおよびQAベンチマークにおける通過カバレッジと記述精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-09T07:47:17Z)
• Online Safety Property Collection and Refinement for Safe Deep Reinforcement Learning in Mapless Navigation [79.89605349842569]
  オンラインプロパティのコレクション・リファインメント(CROP)フレームワークをトレーニング時にプロパティを設計するために導入する。 CROPは、安全でない相互作用を識別し、安全特性を形成するためにコストシグナルを使用する。 本手法をいくつかのロボットマップレスナビゲーションタスクで評価し,CROPで計算した違反量によって,従来のSafe DRL手法よりも高いリターンと低いリターンが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-13T21:19:36Z)
• RESAM: Requirements Elicitation and Specification for Deep-Learning Anomaly Models with Applications to UAV Flight Controllers [24.033936757739617]
  ドメインの専門家やディスカッションフォーラム、公式な製品ドキュメントから知識を統合化するための要件プロセスであるRESAMを紹介します。 本稿では,小型無人航空システムのための飛行制御システムに基づくケーススタディを提案し,その利用が効果的な異常検出モデルの構築を導くことを実証する。
  論文  参考訳（メタデータ） (2022-07-18T18:09:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。