論文の概要: Beyond Single-Policy: Evaluating Composed Organization-Specific Policy Alignment in LLM Chatbots
- arxiv url: http://arxiv.org/abs/2606.04394v1
- Date: Wed, 03 Jun 2026 03:17:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 20:44:18.507407
- Title: Beyond Single-Policy: Evaluating Composed Organization-Specific Policy Alignment in LLM Chatbots
- Title（参考訳）: 単一政策を超えて - LLMチャットボットにおける構成組織的ポリシーアライメントの評価
- Authors: Yingjie Liu, Yongxiang Hu, Xuan Wang, Yilun Li, Yunlei Wei, Xiaoyu Wang, Yangfan Zhou,
- Abstract要約: COPALは、チャットボットにおける合成政治アライメントを評価する自動化ツールである。
経験的に派生したインタラクションパターンと明示的なハンドリングコントラクトを通じて、コンポジションポリシー障害をトリガーするクエリを生成する。
- 参考スコア（独自算出の注目度）: 17.833004955025125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model chatbots are increasingly deployed in organizational settings such as healthcare, finance, and public services. Evaluating policy alignment is therefore critical to reliable chatbot deployment. By analyzing real-world user queries, we identify composed-policy violation is prevalent in various chatbots but overlooked by existing benchmarks. This paper present COPAL, an automated tool for evaluating composed-policy alignment in chatbots. COPAL efficiently generates queries that trigger composed-policy failures in chatbots via empirically derived interaction patterns and explicit handling contracts. Queries generated by COPAL expose substantial query handling failures: across 9 served models, composed-policy queries yield a 33.1% error rate on average, indicating that composed-policy alignment warrants further investigation.
- Abstract（参考訳）: 大規模言語モデルチャットボットは、医療、金融、公共サービスといった組織設定にますます多くデプロイされている。
したがって、信頼性の高いチャットボットデプロイメントでは、ポリシーアライメントの評価が重要である。
実世界のユーザクエリを分析することで、さまざまなチャットボットで多いが、既存のベンチマークでは見落とされてしまう合成ポリシー違反を識別する。
本稿では,チャットボットにおける合成政治アライメントを自動評価するCOPALを提案する。
COPALは、経験的に派生したインタラクションパターンと明示的なハンドリングコントラクトを通じて、チャットボットの合成政治失敗を引き起こすクエリを効率的に生成する。
COPALが生成したクエリは、9つのサーブドモデルにまたがって、平均33.1%のエラー率を示し、コンポジション・ポリティクスのアライメントがさらなる調査を保証している。
関連論文リスト
- End-to-End Chatbot Evaluation with Adaptive Reasoning and Uncertainty Filtering [3.2434811678562685]
大規模言語モデル(LLM)と検索拡張生成を組み合わせることで、ドメイン固有のチャットボットのデプロイが可能になったが、これらのシステムはサポートされていない、あるいは誤った回答を生成する傾向にある。
本研究では,人的労力を大幅に削減するエンド・ツー・エンド自動評価器を提案する。
本システムでは,基礎となる知識ベースから直接Q&Aペアを生成し,LLMを用いて参照応答に対する応答を判定し,不確実な事例を強調するために信頼度に基づくフィルタリングを適用する。
論文 参考訳（メタデータ） (2026-03-11T09:25:35Z) - Analyzing and Internalizing Complex Policy Documents for LLM Agents [53.14898416858099]
大規模言語モデル(LLM)ベースのエージェントシステムは、多様なビジネスルールをコードするコンテキスト内ポリシー文書に依存している。
これは、パフォーマンスを保ちながら、ポリシー文書をモデルプリエントに組み込む内部化手法の開発を動機付けます。
CC-Genは4つのレベルにまたがる制御可能な複雑度を持つエージェントベンチマークジェネレータである。
論文 参考訳（メタデータ） (2025-10-13T16:30:07Z) - Mind the Goal: Data-Efficient Goal-Oriented Evaluation of Conversational Agents and Chatbots using Teacher Models [0.0]
マルチエージェントシステムの目標指向評価のための包括的フレームワークを提案する。
提案手法は,ユーザの目標によって会話をセグメンテーションし,関連するすべてのターンを用いて成功を評価する。
企業環境では、ゼロ・ツー・ワンの会話エージェントシステムであるAIDAを評価するために、我々のフレームワークを適用します。
論文 参考訳（メタデータ） (2025-10-04T06:22:47Z) - Rethinking Testing for LLM Applications: Characteristics, Challenges, and a Lightweight Interaction Protocol [83.83217247686402]
大言語モデル(LLM)は、単純なテキストジェネレータから、検索強化、ツール呼び出し、マルチターンインタラクションを統合する複雑なソフトウェアシステムへと進化してきた。
その固有の非決定主義、ダイナミズム、文脈依存は品質保証に根本的な課題をもたらす。
本稿では,LLMアプリケーションを3層アーキテクチャに分解する: textbftextitSystem Shell Layer, textbftextitPrompt Orchestration Layer, textbftextitLLM Inference Core。
論文 参考訳（メタデータ） (2025-08-28T13:00:28Z) - A Framework for Auditing Chatbots for Dialect-Based Quality-of-Service Harms [0.6144680854063939]
方言バイアスに対する大規模言語モデル(LLM)に基づくチャットボットの監査のためのフレームワークを提案する。
システムが異なる人々に対して同じように機能しない場合に発生する、サービス品質の悪影響の程度を測定します。
私たちのフレームワークには,実際に有用な3つの重要な特徴があります。
論文 参考訳（メタデータ） (2025-06-04T19:58:51Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z) - Few-shot Policy (de)composition in Conversational Question Answering [54.259440408606515]
本稿では,大規模言語モデル(LLM)を用いて数ショット設定でポリシーコンプライアンスを検出するニューラルシンボリックフレームワークを提案する。
提案手法は,回答すべきサブクエストを抽出し,文脈情報から真理値を割り当て,与えられたポリシーから論理文の集合を明示的に生成することで,政策コンプライアンスに関する会話に対して健全な理由を示す。
本手法は,PCDおよび会話機械読解ベンチマークであるShARCに適用し,タスク固有の微調整を伴わずに競合性能を示す。
論文 参考訳（メタデータ） (2025-01-20T08:40:15Z) - ChatSOP: An SOP-Guided MCTS Planning Framework for Controllable LLM Dialogue Agents [52.7201882529976]
対話エージェントの制御性を高めるため,SOP誘導モンテカルロ木探索(MCTS)計画フレームワークを提案する。
これを実現するために、GPT-4oを用いた半自動ロールプレイシステムを用いて、SOPアノテーション付きマルチシナリオ対話からなるデータセットをキュレートする。
また、SOP予測のための教師付き微調整と思考の連鎖推論を統合する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-04T12:23:02Z) - SPML: A DSL for Defending Language Models Against Prompt Attacks [4.511923587827302]
System Prompt Meta Language (SPML)は、大規模言語モデル(LLM)へのインプットの精製と監視を行うドメイン固有言語である。
SPMLは攻撃プロンプトを積極的にチェックし、ユーザ入力と定義との整合性を確保し、LLMバックボーン上で悪意のある実行を防止し、コストを最適化する。
我々は、1.8kシステムプロンプトと20kユーザインプットを備えた画期的なベンチマークを導入し、チャットボット定義評価のための最初の言語とベンチマークを提供する。
論文 参考訳（メタデータ） (2024-02-19T00:53:48Z) - PROXYQA: An Alternative Framework for Evaluating Long-Form Text Generation with Large Language Models [72.57329554067195]
ProxyQAは、長文生成を評価するための革新的なフレームワークである。
さまざまなドメインにまたがる詳細なヒューマンキュレートされたメタクエストで構成されており、それぞれに事前にアノテートされた回答を持つ特定のプロキシクエストが伴っている。
プロキシクエリに対処する際の評価器の精度を通じて、生成されたコンテンツの品質を評価する。
論文 参考訳（メタデータ） (2024-01-26T18:12:25Z) - In Generative AI we Trust: Can Chatbots Effectively Verify Political
Information? [39.58317527488534]
本稿では,2つの大規模言語モデル(LLM)ベースのチャットボットであるChatGPTとBing Chatの比較分析を行い,政治的情報の正確性を検出する。
AI監査手法を使用して、新型コロナウイルス、ロシアによるウクライナに対する攻撃、ホロコースト、気候変動、LGBTQ+関連の議論の5つのトピックについて、チャットボットが真、偽、および境界線をどう評価するかを調査する。
その結果, ベースライン精度評価タスクにおけるChatGPTの性能が向上し, 72%のケースが事前学習なしで言語平均で正しく評価された。
論文 参考訳（メタデータ） (2023-12-20T15:17:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。