論文の概要: Policy Compliance of User Requests in Natural Language for AI Systems
- arxiv url: http://arxiv.org/abs/2603.00369v1
- Date: Fri, 27 Feb 2026 23:14:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.160756
- Title: Policy Compliance of User Requests in Natural Language for AI Systems
- Title（参考訳）: AIシステムのための自然言語におけるユーザ要求のポリシーコンプライアンス
- Authors: Pedro Cisneros-Velarde,
- Abstract要約: ユーザ要求が組織によって決定される多様なポリシーのリストに適合することを保証するという課題を考察する。
本稿では,ポリシーリストに対する多様なコンプライアンスのアノテートされたユーザ要求からなる最初のベンチマークを提案する。
- 参考スコア（独自算出の注目度）: 5.91402820967386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Consider an organization whose users send requests in natural language to an AI system that fulfills them by carrying out specific tasks. In this paper, we consider the problem of ensuring such user requests comply with a list of diverse policies determined by the organization with the purpose of guaranteeing the safe and reliable use of the AI system. We propose, to the best of our knowledge, the first benchmark consisting of annotated user requests of diverse compliance with respect to a list of policies. Our benchmark is related to industrial applications in the technology sector. We then use our benchmark to evaluate the performance of various LLM models on policy compliance assessment under different solution methods. We analyze the differences on performance metrics across the models and solution methods, showcasing the challenging nature of our problem.
- Abstract（参考訳）: 自然言語による要求をAIシステムに送信し、特定のタスクを実行する組織を考えてみましょう。
本稿では、AIシステムの安全で信頼性の高い使用を保証することを目的として、そのようなユーザ要求が組織によって決定された多様なポリシーのリストに適合することを保証するという課題について考察する。
我々は、私たちの知る限り、ポリシーのリストに対する多様なコンプライアンスの注釈付きユーザリクエストからなる最初のベンチマークを提案する。
我々のベンチマークは技術分野の産業応用と関係している。
そこで我々は,異なる解法下でのポリシーコンプライアンス評価において,様々なLCMモデルの性能を評価するためにベンチマークを用いた。
モデルとソリューションメソッド間のパフォーマンス指標の違いを分析し、問題の難易度を明らかにします。
関連論文リスト
- Let the Barbarians In: How AI Can Accelerate Systems Performance Research [80.43506848683633]
我々は、この繰り返しサイクルを、AI駆動システム研究の生成、評価、洗練のサイクルと呼ぶ。
我々はADRSが生成するソリューションが人間の最先端の設計に適合し、さらに優れることを示した。
論文 参考訳（メタデータ） (2025-12-16T18:51:23Z) - A Comprehensive Survey on Benchmarks and Solutions in Software Engineering of LLM-Empowered Agentic System [56.40989626804489]
この調査は、Large Language Modelsを使ったソフトウェアエンジニアリングに関する、最初の総合的な分析を提供する。
本稿では,150以上の最近の論文をレビューし,(1)素早い,微調整,エージェントベースのパラダイムに分類した解法,(2)コード生成,翻訳,修復などのタスクを含むベンチマークという2つの重要な側面に沿った分類法を提案する。
論文 参考訳（メタデータ） (2025-10-10T06:56:50Z) - Barbarians at the Gate: How AI is Upending Systems Research [58.95406995634148]
システム研究は、新しいパフォーマンス指向アルゴリズムの設計と評価に長年注力してきたが、AI駆動のソリューション発見には特に適している、と私たちは主張する。
このアプローチをAI駆動システム研究(ADRS)と呼び、ソリューションを反復的に生成し、評価し、洗練する。
我々の研究結果は、AI時代のシステム研究の実践に急激な適応の必要性と破壊的な可能性を浮き彫りにしている。
論文 参考訳（メタデータ） (2025-10-07T17:49:24Z) - Safe and Certifiable AI Systems: Concepts, Challenges, and Lessons Learned [45.44933002008943]
この白書は、T"UV AUSTRIA Trusted AIフレームワークを提示する。
エンド・ツー・エンドの監査カタログであり、機械学習システムの評価と認定のための方法論である。
セキュアなソフトウェア開発、機能要件、倫理とデータプライバシという3つの柱の上に構築されているのは、EU AI Actの高レベルの義務を、特定かつテスト可能な基準に翻訳するものです。
論文 参考訳（メタデータ） (2025-09-08T17:52:08Z) - LLM-based Agentic Reasoning Frameworks: A Survey from Methods to Scenarios [63.08653028889316]
エージェント推論フレームワークを分解し,これらのフレームワークがどのようにフレームワークレベルの推論を支配しているかを分析する。
具体的には,エージェント推論システムを単一エージェントメソッド,ツールベースメソッド,マルチエージェントメソッドに分類するための統一形式言語を提案する。
我々は、科学的発見、医療、ソフトウェア工学、社会シミュレーション、経済学における彼らの主要な応用シナリオを包括的にレビューする。
論文 参考訳（メタデータ） (2025-08-25T06:01:16Z) - SAGE: A Generic Framework for LLM Safety Evaluation [7.5058318880108885]
SAGE(Safety AI Generic Evaluation)は、カスタマイズおよび動的害評価のための自動モジュール化フレームワークである。
我々は3つのアプリケーションにまたがる7つの最先端の大規模言語モデルと有害ポリシーを評価した。
結果は、より安全な現実世界のデプロイメントのための適応性、ポリシー対応、コンテキスト固有のテストに動機付けます。
論文 参考訳（メタデータ） (2025-04-28T11:01:08Z) - CURATe: Benchmarking Personalised Alignment of Conversational AI Assistants [5.7605009639020315]
5つのシナリオ(それぞれ337のユースケース)にわたる10の先行モデルの評価
トップランクの"ハームレス"モデルは、提供されたコンテキストを考えると、明らかにユーザにとって有害であると認識されるべきレコメンデーションを作成できる。
主要な障害モードには、矛盾する好みの適切な重み付け、梅毒(安全性よりも優先的な欲求)、コンテキストウィンドウ内の重要なユーザ情報に対する注意力の欠如、ユーザ固有の知識の一貫性のない適用が含まれる。
論文 参考訳（メタデータ） (2024-10-28T15:59:31Z) - Towards an AI Accountability Policy [16.59829043755575]
リスクの高い技術が国家レベルでどのように規制されているかを検討する。
本稿では,商用AIシステムにおける説明可能性とベンチマーク要件の連携システムを提案する。
論文 参考訳（メタデータ） (2023-07-25T17:09:28Z) - Assurance Cases as Foundation Stone for Auditing AI-enabled and
Autonomous Systems: Workshop Results and Political Recommendations for Action
from the ExamAI Project [2.741266294612776]
ソフトウェア欠陥に対する安全基準の実施方法について検討する。
機能安全基準は、安全統合レベル(SIL)を使用して、どの安全対策を実施するかを定義する。
本稿では,個別に選択された,適用された措置が十分であると主張するための保証事例の利用を提案する。
論文 参考訳（メタデータ） (2022-08-17T10:05:07Z) - Privacy-Constrained Policies via Mutual Information Regularized Policy Gradients [54.98496284653234]
報酬を最大化しつつ、行動を通じて特定の機密状態変数の開示を最小限に抑えながら、報酬を最大化する政策を訓練する課題を考察する。
本稿では, 感性状態と行動の相互情報に基づく正則化器を導入することで, この問題を解決する。
プライバシ制約のあるポリシーを最適化するためのモデルベース推定器を開発した。
論文 参考訳（メタデータ） (2020-12-30T03:22:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。