論文の概要: Formal Methods Meet LLMs: Auditing, Monitoring, and Intervention for Compliance of Advanced AI Systems
- arxiv url: http://arxiv.org/abs/2605.16198v1
- Date: Fri, 15 May 2026 17:13:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-18 17:44:16.355453
- Title: Formal Methods Meet LLMs: Auditing, Monitoring, and Intervention for Compliance of Advanced AI Systems
- Title（参考訳）: フォーマルメソッドとLLM:高度なAIシステムのコンプライアンスに対する監査、監視、介入
- Authors: Parand A. Alamdari, Toryn Q. Klassen, Sheila A. McIlraith,
- Abstract要約: AI開発ライフサイクル全体を通して、AI対応製品やサービスを監視および監査する方法を検討する。
本稿では、オフライン監査と、製品固有の(時間的に拡張された)行動制約のオンライン(ランタイム)モニタリングを可能にする手法を提案する。
- 参考スコア（独自算出の注目度）: 12.360375606177142
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We examine one particular dimension of AI governance: how to monitor and audit AI-enabled products and services throughout the AI development lifecycle, from pre-deployment testing to post-deployment auditing. Combining principles from formal methods with SoTA machine learning, we propose techniques that enable AI-enabled product and service developers, as well as third party AI developers and evaluators, to perform offline auditing and online (runtime) monitoring of product-specific (temporally extended) behavioral constraints such as safety constraints, norms, rules and regulations with respect to black-box advanced AI systems, notably LLMs. We further provide practical techniques for predictive monitoring, such as sampling-based methods, and we introduce intervening monitors that act at runtime to preempt and potentially mitigate predicted violations. Experimental results show that by exploiting the formal syntax and semantics of Linear Temporal Logic (LTL), our proposed auditing and monitoring techniques are superior to LLM baseline methods in detecting violations of temporally extended behavioral constraints; with our approach, even small-model labelers match or exceed frontier LLM judges. Our predictive and intervening monitors significantly reduce the violation rates of LLM-based agents while largely preserving task performance. We further show through controlled experiments that LLMs' temporal reasoning shows a pronounced degradation in accuracy with increasing event distance, number of constraints, and number of propositions.
- Abstract（参考訳）: AI開発ライフサイクルを通じてAI対応製品やサービスを監視し、監査する方法、事前デプロイテストからデプロイ後の監査に至るまで、AIガバナンスの特定の側面について検討する。
フォーマルな方法とSoTA機械学習の原則を組み合わせることで、AI対応製品とサービス開発者、さらにはサードパーティのAI開発者や評価者が、ブラックボックス先進的なAIシステム(特にLLM)に関して、安全上の制約や規範、ルール、規則といった、製品固有の(時間的に拡張された)行動制約のオフライン監査とオンライン(ランタイム)監視を行うことができる技術を提案する。
さらに,サンプリングベース手法などの予測モニタリングの実践的手法を提供し,予測違反を回避し,潜在的に軽減するために,実行時に動作するインターベンションモニタを導入する。
実験の結果,LTL(Linear Temporal Logic)の形式構文と意味を活用すれば,時間的に拡張された行動制約の違反を検出する上で,監査・監視手法がLLM基準法よりも優れていることがわかった。
我々の予測・干渉モニタは, タスク性能を保ちながら, LLMベースのエージェントの違反率を大幅に低減する。
さらに, LLMの時間的推論は, 事象距離, 制約数, 命題数の増加とともに, 精度が著しく低下していることを示す。
関連論文リスト
- Monitoring Data-aware Temporal Properties (Extended Version) [56.386411908764494]
有限トレース上の任意のSMT理論に富む線形時間特性の予測モニタリングについて考察する。
この設定での予測モニタリングは非常に困難であり、監視状態はこれまでのトレースプレフィックスと可能な有限継続の両方に依存している。
本研究は,表現的フラグメントオフMTにおける特性モニタリングのための新しい基礎的枠組みの正しさを提示し,正式に証明するものである。
論文 参考訳（メタデータ） (2026-05-14T10:23:11Z) - On the Paradoxical Interference between Instruction-Following and Task Solving [50.75960598434753]
次の命令は、大規模言語モデル(LLM)を、タスクの実行方法に関する明示的な制約を指定することで、人間の意図と整合させることを目的としている。
我々は,LLMのタスク解決能力にパラドックス的に干渉する命令に従うという,直感に反する現象を明らかにした。
本稿では,タスク解決に追従する命令の干渉を定量化する指標として,SUSTAINSCOREを提案する。
論文 参考訳（メタデータ） (2026-01-29T17:48:56Z) - LLM-Assisted Logic Rule Learning: Scaling Human Expertise for Time Series Anomaly Detection [0.9740025522928777]
時系列異常検出はサプライチェーン管理において積極的な操作を行う上で重要である。
本稿では,大規模言語モデル(LLM)を利用して,人間の専門知識を解釈可能な論理ベースのルールに体系的にエンコードするフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-27T06:37:37Z) - SelfAI: Building a Self-Training AI System with LLM Agents [79.10991818561907]
SelfAIは、高レベルの研究目的を標準化された実験構成に変換するためのUser Agentを組み合わせた、一般的なマルチエージェントプラットフォームである。
実験マネージャは、連続的なフィードバックのための構造化知識ベースを維持しながら、異種ハードウェアをまたいだ並列かつフォールトトレラントなトレーニングを編成する。
回帰、コンピュータビジョン、科学計算、医用画像、薬物発見ベンチマークなどを通じて、SelfAIは一貫して高いパフォーマンスを達成し、冗長な試行を減らしている。
論文 参考訳（メタデータ） (2025-11-29T09:18:39Z) - Architecting software monitors for control-flow anomaly detection through large language models and conformance checking [4.824526467228295]
本稿では,制御フロー異常検出のためのソフトウェアモニタの開発手法を提案する。
この方法論は、従来のV&Vを維持するために、既存のソフトウェア開発プラクティスに基づいています。
本手法は,欧州鉄道交通管理システム (European Railway Traffic Management System / European Train Control System) のケーススタディシナリオで検証する。
論文 参考訳（メタデータ） (2025-11-14T01:11:26Z) - Contamination Detection for VLMs using Multi-Modal Semantic Perturbation [73.76465227729818]
オープンソースのVision-Language Models (VLM)は、ベンチマークタスクで最先端のパフォーマンスを達成した。
プレトレーニングコーパスは,テストセットリークによるパフォーマンスの低下という,実践者とユーザ双方にとって重要な懸念を提起する。
既存の検出手法が不整合性を示すか,不整合性を示すかを示す。
マルチモーダルなセマンティック摂動に基づく,新しい簡易かつ効果的な検出法を提案する。
論文 参考訳（メタデータ） (2025-11-05T18:59:52Z) - Large language models require a new form of oversight: capability-based monitoring [10.382163755118713]
医療における大規模言語モデル(LLM)には、その監視に関する精査が伴っている。
そこで本研究では,これらのモデルの開発と実用化に基礎を置き,拡張性のあるジェネラリストLLMモニタリングの組織的原則を提案する。
機能ベースのモニタリングアプローチを実装する上で、開発者、組織リーダー、プロフェッショナル社会に対する考慮事項について説明する。
論文 参考訳（メタデータ） (2025-11-05T01:20:28Z) - Agentic Reinforced Policy Optimization [66.96989268893932]
検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。
現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。
エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
論文 参考訳（メタデータ） (2025-07-26T07:53:11Z) - Weakly-supervised VLM-guided Partial Contrastive Learning for Visual Language Navigation [36.17444261325021]
ビジュアル言語ナビゲーション(VLN)は、エージェントが自然言語命令に基づいて複雑な環境をナビゲートできることに焦点を当てた、Embodied AIの分野における基本的なタスクである。
既存の手法は、VLNシナリオの動的視点と競合する視覚知覚のための事前訓練されたバックボーンモデルに依存している。
Weakly-supervised partial Contrastive Learning (WPCL) は, VLMの微調整を必要とせずに, VLNシナリオの動的視点からオブジェクトを識別する能力を高める手法である。
論文 参考訳（メタデータ） (2025-06-18T11:43:50Z) - Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。
提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
論文 参考訳（メタデータ） (2024-10-07T23:38:58Z) - Auditing large language models: a three-layered approach [0.0]
大規模言語モデル(LLM)は人工知能(AI)研究における大きな進歩を表している。
LLMはまた、重大な倫理的・社会的課題と結びついている。
これまでの研究は、監査を有望なガバナンスメカニズムとして取り上げてきた。
論文 参考訳（メタデータ） (2023-02-16T18:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。