論文の概要: BrandEval: A Two-Track Multi-Agent Benchmark for Risk-Sensitive LLM Crisis Communication
- arxiv url: http://arxiv.org/abs/2610.25208v1
- Date: Sun, 18 Oct 2026 12:05:40 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:36:41.496616
- Title: BrandEval: A Two-Track Multi-Agent Benchmark for Risk-Sensitive LLM Crisis Communication
- Title（参考訳）: BrandEval:リスクに敏感なLLM危機コミュニケーションのための2トラックマルチエージェントベンチマーク
- Abstract要約: 製品危機コミュニケーションのための2トラックベンチマークである textbfBrandEval を紹介する。
製品の安全性、品質、サービス、信頼に関するインシデントに対するパブリックブランドの対応に焦点を当てている。
また,中国の危機対応データセットである textbfBrandSRD を構築し,参照ストラテジックエージェントをインスタンス化する。
- 参考スコア（独自算出の注目度）: 13.783843901386964
- License:
- Abstract: Evaluating LLMs for crisis communication requires more than judging isolated responses, because public feedback and competitor actions can reshape trust over time. Existing benchmarks remain largely static and single-turn, offering limited evidence about long-horizon risk-sensitive communication. We introduce \textbf{BrandEval}, a two-track benchmark for product-crisis communication, focusing on public brand responses to product-related safety, quality, service, and trust incidents. BrandEval-Static evaluates stakeholder-aware strategic analysis, while BrandEval-Dynamic stress-tests response policies in \textbf{BrandPolis}, a controlled multi-agent sandbox with consumer feedback, competitor responses, and trust-risk trajectories. We also construct \textbf{BrandSRD}, a Chinese crisis-response dataset, and instantiate a reference Strategic Agent using \textbf{Strategic Rationale (SR)}. Across proprietary and open-source models, we find that static strategic quality is informative but incomplete: it aligns with some end-state outcomes but does not reliably predict volatility and delayed recovery; dynamic stress tests further expose tail-risk failures under manipulative or weakly grounded policies. The code and dataset will be available at https://github.com/htgan-ai/BrandEval.
- Abstract（参考訳）: 危機コミュニケーションのためのLCMの評価には、公衆のフィードバックや競合する行動が時間の経過とともに信頼を再形成できるため、孤立した応答を判断する以上のものが必要である。
既存のベンチマークは、主に静的でシングルターンであり、長期のリスクに敏感なコミュニケーションに関する限られた証拠を提供する。
製品危機コミュニケーションのための2トラックベンチマークである‘textbf{BrandEval} を導入し,製品関連安全性,品質,サービス,信頼関係のインシデントに対するブランドの対応に注目した。
BrandEval-Staticは利害関係者の戦略分析を評価し、BrandEval-Dynamicは消費者のフィードバック、競合の反応、信頼リスクのトラジェクトリを備えた制御されたマルチエージェントサンドボックスである \textbf{BrandPolis} でレスポンスポリシーをテストする。
また,中国の危機対応データセットである「textbf{BrandSRD}」を構築し,「textbf{Strategic Rationale (SR)} を用いた参照ストラテジックエージェントをインスタンス化する。
プロプライエタリモデルとオープンソースモデル全体で、静的な戦略的品質は有益だが不完全である。いくつかのエンドステートな結果と一致しているが、ボラティリティと遅延回復を確実に予測することはできない。
コードとデータセットはhttps://github.com/htgan-ai/BrandEval.comから入手できる。
関連論文リスト
- ReliGRec: Reliability-Oriented LLM-Based Generative Recommendation via User-Risk-Aware Prompt Routing [15.062647558548562]
ユーザレベルの弱リスクプロキシラベルのための弱教師付きフレームワークであるReliGRecを提案する。
ReliGRecは、ユーザのサブセットに対するレビューフィードバック信号から、ユーザレベルの弱いプロキシラベルを導出する。
Dual-View Weak-Risk Estimatorは、ユーザレベルの弱リスクスコアを生成するために、表現を融合する。
論文 参考訳（メタデータ） (2026-09-15T02:56:30Z) - Human-Centred Risk Mitigation for AI-Mediated Information Manipulation: A SOCMINT Framework Based on Information Manipulation Sets [0.0]
本稿では,情報操作セット(IMS)に基づくSOCMINTフレームワークを提案する。
VIGINUM/EEASの対FIMI分析におけるIMSの使用に基づいて、このフレームワークは操作を物語、アカウント、インフラ、時間的パターン、クロスプラットフォーム移行、合成増幅、認知的ターゲティングを含む一貫性のあるプロセスとして扱う。
また、意思決定品質、信頼性校正、緩和比例性を評価するためのテーブルトップ評価プロトコルを提案する。
論文 参考訳（メタデータ） (2026-06-08T17:12:11Z) - Steering LLM Viewpoints through Fabricated Evidence Injection [61.22850755490993]
提案手法では,2段階のアタック・フレームワークを導入し,まず構成された有理数で誤解を招く文を再パッケージし,関連する問合せに応答する上で,これらの視点を組み込むことを目標LLMに指示する。
BBQ、ToxiGen、および我々の特別なデータセットの実験により、外部安全分類器を持たない商用LLMは、非常に脆弱であることが判明した。
そこで我々は,複数の防衛戦略について検討し,その中のひとつとして,gpt-oss-safeguardが81%の検知率を達成した。
論文 参考訳（メタデータ） (2026-06-04T14:48:23Z) - Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。
この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。
各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
論文 参考訳（メタデータ） (2026-05-17T10:26:37Z) - Cattle Trade: A Multi-Agent Benchmark for LLM Bluffing, Bidding, and Bargaining [0.5691230599672109]
我々は,大規模言語モデル(LLM)を戦略的推論のエージェントとして評価するためのベンチマークであるtextscCattle Tradeを紹介した。
このベンチマークは、1つのロングホライゾンゲーム内でのオークション、隠れオフのトレードチャレンジ(TC)、バーゲティング、ブラッフィング、相手モデリング、リソース割り当てを組み合わせたものだ。
我々は,242ゲームに対して,コスト効率のよい7つの言語モデルと3つの決定論的コードエージェントを評価した。
論文 参考訳（メタデータ） (2026-05-14T08:20:03Z) - Beyond Local vs. External: A Game-Theoretic Framework for Trustworthy Knowledge Acquisition [32.10740279777031]
クラウドでホストされるLarge Language Models(LLM)は、未整合推論機能と動的知識を提供するが、外部サービスに生クエリを送信することで、ユーザの意図が露呈するリスクがある。
GTKA(Game-theoretic Trustworthy Knowledge Acquisition)は,戦略ゲームとしての知識ユーティリティとプライバシのトレードオフを定式化するフレームワークである。
論文 参考訳（メタデータ） (2026-04-25T19:08:51Z) - ATBench: A Diverse and Realistic Agent Trajectory Benchmark for Safety Evaluation and Diagnosis [96.92417622318267]
ATBenchは、エージェント安全性の構造化、多様性、現実的な評価のための軌道レベルのベンチマークである。
リスクソース、障害モード、現実世界の危害の3つの側面に沿ってエージェント的リスクを編成する。
1000個の軌道(安全503個、安全497個)があり、平均9.01ターンと3.95kトークンがあり、2,084個のツールにまたがるプールから1,954個のツールが呼び出されている。
論文 参考訳（メタデータ） (2026-04-02T13:26:20Z) - The Shadow Self: Intrinsic Value Misalignment in Large Language Model Agents [37.75212140218036]
コントロの損失リスクを定式化し、これまで過小評価されていた内因性価値の相違(内因性VM)を識別する。
次に、このリスクを体系的に評価するシナリオ駆動フレームワークであるIMPRESSを紹介します。
我々は,21種類のLLMエージェント上での固有のVMの評価を行い,モデル間での安全性のリスクが広く見られることを発見した。
論文 参考訳（メタデータ） (2026-01-24T07:09:50Z) - How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities [62.474732677086855]
大規模言語モデル(LLM)ルーティングは,計算コストと性能のバランスをとる上で重要な戦略である。
DSCベンチマークを提案する: Diverse, Simple, and Categorizedは、幅広いクエリタイプでルータのパフォーマンスを分類する評価フレームワークである。
論文 参考訳（メタデータ） (2025-03-20T19:52:30Z) - SeCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [58.29510889419971]
コード生成大型言語モデル(LLM)のセキュリティリスクと能力を評価するための既存のベンチマークは、いくつかの重要な制限に直面している。
手動で検証し、高品質なシード例から始める、汎用的でスケーラブルなベンチマーク構築フレームワークを導入し、ターゲット突然変異を通じて拡張する。
このフレームワークをPython、C/C++、Javaに適用すると、44のCWEベースのリスクカテゴリと3つのセキュリティ機能にまたがる5.9k以上のサンプルデータセットであるSeCodePLTが構築されます。
論文 参考訳（メタデータ） (2024-10-14T21:17:22Z) - Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。
動的パーソナライズされた価格設定などの問題の因果構造を形式化する。
本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
論文 参考訳（メタデータ） (2021-10-19T16:15:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。