論文の概要: PACT: Can Enterprise AI Assistants Be Trusted Under Pressure?

• arxiv url: http://arxiv.org/abs/2609.18605v1
• Date: Wed, 16 Sep 2026 12:57:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.811857
• Title: PACT: Can Enterprise AI Assistants Be Trusted Under Pressure?
• Title（参考訳）: PACT:エンタープライズAIアシスタントはプレッシャーの下で信頼できるのか?
• Abstract要約: エージェントのシステムコンテキストで規定されたルールへのコンプライアンスは、第一級の法的関心事である。 PACT(Pressure-Applied Compliance Testing, Pressure-Applied Compliance Testing)は,圧力下でのルールフォローのベンチマークである。 PACTを使用して、AIアシスタントの堅牢性の全体像を生成する6つの補完的なメトリクスのコンプライアンスをプロファイルします。
• 参考スコア（独自算出の注目度）: 0.8594140167290097
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As corporate AI adoption continues to grow, enterprise-grade LLM agents are being deployed into sensitive contexts such as hiring, healthcare, and finance. In these contexts, compliance with rules specified in an agent's system context is a first-order legal concern. Currently, no evaluation framework systematically measures which LLM models tend to violate compliance rules, especially under pressure from a persistent user, a hurried manager, or circumstances where violation is convenient or attractive. We introduce PACT (Pressure-Applied Compliance Testing), a benchmark for rule-following under pressure in AI agents assisting employees in daily tasks across twelve regulated enterprise domains and forty-eight scenarios, each set in a realistic multi-turn conversation. Each benchmark item pairs a standing rule against a rule-violating shortcut, and applies a battery of pressures across different wordings and system-prompt modes. We construct PACT component by component under strict LLM-as-judge auditing to ensure samples are unambiguous, ungameable, and realistic enough to avoid eliciting evaluation-aware behavior. We use PACT to profile LLM compliance across six complementary metrics that create a holistic picture of an AI assistant's robustness under pressure and throughout multi-turn conversations, its transparency, and ability to correctly discern where a rule applies. We aggregate this profile into PACTScore, a reliability-weighted compliance rate over all items and modes. Our results across 22 common LLM models spanning multiple providers and sizes show substantial variability in compliance across models and metric dimensions. Even the strongest assistants mis-apply a rule on 6 to 10% of items, and ordinary user pressure raises the violation rate by 65% on average. PACT highlights compliance risks in LLM assistants, motivating guardrails and careful model selection.
• Abstract（参考訳）: 企業AIの採用が拡大するにつれて、エンタープライズグレードのLLMエージェントは雇用、ヘルスケア、ファイナンスといったセンシティブな状況にデプロイされている。 これらの文脈において、エージェントのシステムコンテキストで規定された規則の遵守は、第一級の法的関心事である。 現在、LCMモデルがコンプライアンスルールに違反する傾向のある評価フレームワークは体系的に評価されていない。 PACT(Pressure-Applied Compliance Testing)は、AIエージェントが12の規制されたエンタープライズドメインと48のシナリオにわたる日々のタスクで、それぞれが現実的なマルチターン会話で設定される従業員を支援するための、ルールフォローのためのベンチマークである。 各ベンチマーク項目は、ルール違反のショートカットに対してスタントルールをペアリングし、異なるワードとシステムプロンプトモードにわたる圧力のバッテリーを適用します。 我々は、厳密なLCM-as-judge監査の下でコンポーネントによってPACTコンポーネントを構築し、サンプルがあいまいで、ゲーム不可能で、現実的で、評価・認識行動の引き起こしを避けるのに十分なものであることを保証する。 我々は、PACTを使用して、AIアシスタントの圧力下での堅牢性、マルチターン会話全体、その透明性、ルールが適用される場所を正しく識別する能力の全体像を生成する6つの補完的メトリクスにわたるLCMコンプライアンスをプロファイルする。 私たちはこのプロファイルを、すべてのアイテムやモードに対する信頼性の高いコンプライアンスレートであるPACTScoreに集約します。 複数のプロバイダとサイズにまたがる22の共通LLMモデルにまたがる結果から,モデルおよび計量次元間のコンプライアンスの相当なばらつきが明らかとなった。 最強のアシスタントでさえ、アイテムの6～10%のルールを誤って適用し、通常のユーザーのプレッシャーは平均で65%の違反率を上昇させる。 PACTは、LLMアシスタントのコンプライアンスリスク、ガードレールのモチベーション、慎重なモデル選択を強調している。

関連論文リスト

• DuplexSpeechBench-IFEval: Evaluating Implicit Instruction Following in Full-Duplex Voice Agents [67.07361089429757]
  6つのリアルタイム音声システムを用いて, 実時間床の付着度を測定した。 アーキテクチャに依存したトレードオフを見つけます。 GPT-Realtime, Mini-o Duplex, Fun-Audio-Chatはペルソナ一貫性のあるコンテンツに強く固執する。
  論文  参考訳（メタデータ） (2026-09-03T06:28:02Z)
• Beyond the Syntax: Do Security Experts Trust LLMs for NIDS Rule Engineering? [70.17374586573033]
  本稿では,Large Language Models(LLMs)に基づくNIDSルールエンジニアリングを人間中心で調査する。 LLMは構文的に正しい規則を生成するが、専門家は部分的にしか展開できないと考えている。 大規模モデルは構文的に有効な規則を一貫して生成するが、小型モデルはIDSルールの生成にはほとんど効果がない。
  論文  参考訳（メタデータ） (2026-07-07T07:09:56Z)
• LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL [64.4276583943816]
  検証不能な指導のための強化学習は、報酬信号としてプロンプト固有のルーリックを持つ裁判官に依存している。 最近の手法は、トレーニング中にこれらのルーリックを進化するポリシーに適応させるが、トレーニングのプロンプト自体は静的のままである。 この静的なアプローチは、しばしば急激な困難と政策能力の間に重大なミスアライメントをもたらし、裁判官は差別的な報酬信号を取り戻すことができない。
  論文  参考訳（メタデータ） (2026-07-05T17:05:13Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Training-Free Policy Violation Detection via Activation-Space Whitening in LLMs [21.5603664964501]
  本稿では,政策違反検出をアウト・オブ・ディストリビューション検出問題として扱う,トレーニングフリーで効率的な手法を提案する。 ホワイトニング技術にインスパイアされた線形変換を用いて、モデルの隠れたアクティベーションをデコレーションし、平均と単位の分散をゼロに標準化する。 挑戦的な政策ベンチマークでは、既存のガードレールと微調整された推論モデルの両方を超越して、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2025-12-03T17:23:39Z)
• Pluralistic Behavior Suite: Stress-Testing Multi-Turn Adherence to Custom Behavioral Policies [18.428149174461264]
  PBSUITEは,多元的アライメント仕様に従うために,大規模言語モデルの能力を評価するために設計された動的評価スイートである。 オープンおよびクローズドソースのLLMは、単一ターン設定における行動ポリシーに頑健に固執するが、そのコンプライアンスはマルチターンの対角的相互作用において著しく弱まる。
  論文  参考訳（メタデータ） (2025-11-07T06:43:01Z)
• Safe and Compliant Cross-Market Trade Execution via Constrained RL and Zero-Knowledge Audits [0.5586191108738564]
  本稿では、厳格なコンプライアンスの実施と実行品質のバランスをとるクロスマーケットアルゴリズムトレーディングシステムを提案する。 アーキテクチャは、高レベルプランナー、強化学習実行エージェント、独立コンプライアンスエージェントを含む。 対t検定による95%信頼度レベルへの影響を報告し,CVaRによる尾部リスクの検討を行った。
  論文  参考訳（メタデータ） (2025-10-06T15:52:12Z)
• SEED-GRPO: Semantic Entropy Enhanced GRPO for Uncertainty-Aware Policy Optimization [57.69385990442078]
  大規模言語モデル(LLM)は、入力プロンプト(クエスト)にまたがる様々なレベルの信頼を示す。 セマンティックエントロピー(Semantic entropy)は、プロンプトが与えられた複数の生成された回答における意味の多様性を測定し、ポリシー更新の規模を変調するためにこれを使用する。
  論文  参考訳（メタデータ） (2025-05-18T10:20:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。