論文の概要: Grammar-Constrained Refinement of Safety Operational Rules Using Language in the Loop: What Could Go Wrong
- arxiv url: http://arxiv.org/abs/2604.23523v1
- Date: Sun, 26 Apr 2026 04:10:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.410558
- Title: Grammar-Constrained Refinement of Safety Operational Rules Using Language in the Loop: What Could Go Wrong
- Title(参考訳): 文法制約によるループ内言語を用いた安全運転規則の制限:誤用の可能性
- Authors: Khouloud Gaaloul, Zaid Ghazal, Madhu Latha Pulimi, Sam Emmanuel Kathiravan,
- Abstract要約: 本稿では, 文法制約付き改良ループと反実的推論を組み合わせ, 運用ルールを洗練させるフレームワークを提案する。
自律運転制御システムの適用により,従来のベースラインから推定される運転規則の不整合の解消に成功している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safety specifications in cyber-physical systems (CPS) capture the operational conditions the system must satisfy to operate safely within its intended environment. As operating environments evolve, operational rules must be continuously refined to preserve consistency with observed system behavior during simulation-based verification and validation. Revising inconsistent rules is challenging because the changes must remain syntactically correct under a domain-specific grammar. Language-in-the-loop refinement further raises safety concerns beyond syntactic violations, as it can produce semantically unjustified refinements that overfit to the observed outcomes. We introduce a framework that combines counterfactual reasoning with a grammar-constrained refinement loop to refine operational rules, aligning them with the observed system behavior. Applied to an autonomous driving control system, our approach successfully resolved the inconsistencies in an operational rule inferred by a conventional baseline while remaining grammar compliant. An empirical large language model (LLM) study further revealed model-dependent refinement quality and safety lessons, which motivate rigorous grammar enforcement, stronger semantic validation, and broader evaluation in future work.
- Abstract(参考訳): サイバー物理システム(CPS)の安全仕様は、システムが意図した環境で安全に運用するために満たさなければならない運用条件をキャプチャする。
運用環境が進化するにつれて、シミュレーションベースの検証と検証の間、観測されたシステムの動作と整合性を維持するために、運用ルールを継続的に洗練しなければなりません。
なぜなら、変更はドメイン固有の文法の下で構文的に正しいままでなければならないからである。
言語・イン・ザ・ループの改良は、観察された結果に過度に適合する意味論的に不当な改善を生み出すことができるため、構文上の違反以外の安全上の懸念をさらに高める。
本稿では, 文法制約付き改良ループと反実的推論を組み合わせることで, 運用ルールを洗練し, 観察されたシステム動作と整合させる枠組みを提案する。
自律運転制御システムに適用し,従来のベースラインから推定される操作規則の不整合の解消に成功し,文法に準拠したままであった。
実験的な大規模言語モデル(LLM)研究により、厳密な文法の強制、より強力な意味的検証、将来の研究におけるより広範な評価を動機付けるモデル依存の洗練品質と安全性のレッスンが明らかにされた。
関連論文リスト
- PolicyBank: Evolving Policy Understanding for LLM Agents [51.86716874651299]
PolicyBankは構造化されたツールレベルの政策洞察を維持し、それらを反復的に洗練する。
PolicyBankは、人間の神託に対するギャップの最大82%を閉じている。
論文 参考訳(メタデータ) (2026-04-16T20:29:30Z) - Contextual Safety Reasoning and Grounding for Open-World Robots [79.98924225712668]
COREは、環境に関する事前の知識なしに、オンラインのコンテキスト推論、接地、執行を可能にする安全フレームワークである。
知覚の不確実性を考慮したCOREの確率論的安全性保証を提供する。
シミュレーションと実世界の実験を通じて、COREは目に見えない環境において、文脈的に適切な振る舞いを強制することを示した。
論文 参考訳(メタデータ) (2026-02-23T15:51:23Z) - GAVEL: Towards rule-based safety through activation monitoring [2.337566423505956]
大規模言語モデル(LLM)は、有害な行動を検出し予防するために、アクティベーションベースの監視とペアになってきています。
既存のアクティベーション安全性アプローチ、幅広い誤用データセットのトレーニング、精度の低下、柔軟性の制限、解釈可能性の欠如。
本稿では,サイバーセキュリティにおけるルール共有プラクティスにインスパイアされた,ルールベースのアクティベーション安全という新たなパラダイムを紹介する。
論文 参考訳(メタデータ) (2026-01-27T16:31:39Z) - Evaluating Implicit Regulatory Compliance in LLM Tool Invocation via Logic-Guided Synthesis [18.51135049856393]
我々は,非構造化規則を線形時間論理託に変換するフレームワークであるLogiSafetyGenを導入し,論理誘導ファジングを用いて,有効かつ安全クリティカルなトレースを合成する。
このフレームワーク上に構築したLogiSafetyBenchは,LLMが機能目標と遅延コンプライアンスルールの両方を満たすPythonプログラムを生成するために必要な,240の人間認証タスクからなるベンチマークである。
13種類のSOTA (State-of-the-art) LLMの評価により、より優れた機能的正当性を達成したにもかかわらず、安全よりもタスク完了を優先し、非準拠な振る舞いをもたらすことが判明した。
論文 参考訳(メタデータ) (2026-01-13T03:55:18Z) - Reasoning over Precedents Alongside Statutes: Case-Augmented Deliberative Alignment for LLM Safety [59.01189713115365]
本研究は, 広範囲な安全コードを明確に指定することによる影響を, 図示的事例を通して示すことよりも評価する。
明示的なコードを参照することで、無害性が向上し、系統的に有用性が低下することがわかった。
自己生成型安全推論チェーンの強化学習を利用したLLMのケース拡張型検討アライメント手法であるCADAを提案する。
論文 参考訳(メタデータ) (2026-01-12T21:08:46Z) - Cognition-of-Thought Elicits Social-Aligned Reasoning in Large Language Models [17.381122321801556]
大きな言語モデル(LLM)は複雑な推論において優れているが、それでも有害な振る舞いを示すことができる。
本稿では,認知的自己監視ループにLCMを組み込んだ新しい復号時間フレームワークCooTを紹介する。
論文 参考訳(メタデータ) (2025-09-27T18:16:57Z) - Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。
Instruct-Verify-and-Act(IVA)を提案する。
実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
論文 参考訳(メタデータ) (2025-08-22T10:54:33Z) - Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。
これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
論文 参考訳(メタデータ) (2022-08-23T05:02:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。