論文の概要: KC-Bench: A Dynamic Interactive Benchmark for Evaluating Knowledge Conflicts in LLM Agents
- arxiv url: http://arxiv.org/abs/2609.03588v1
- Date: Thu, 03 Sep 2026 09:35:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.003751
- Title: KC-Bench: A Dynamic Interactive Benchmark for Evaluating Knowledge Conflicts in LLM Agents
- Title（参考訳）: KC-Bench: LLMエージェントにおける知識衝突評価のための動的インタラクティブベンチマーク
- Abstract要約: そこで我々は,KC-Benchというマルチターン・ベンチマークを導入している。
238のタスクは、1,000以上の生成された候補から手動でスクリーニングされる。
実際の修正、アイデンティティの整合性チェック、時間的コンフリクト解決をすべての設定で確実に処理するモデルは存在しない。
- 参考スコア（独自算出の注目度）: 5.481534695653804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As LLMs increasingly act through tools, they must reconcile user instructions, parametric knowledge, and dynamic environmental observations before taking actions. We introduce KC-Bench, a controlled multi-turn benchmark for measuring this capability across world-knowledge conflicts, input inconsistencies, and multi-source temporal conflicts. Its 238 tasks are manually screened from more than 1,000 generated candidates and combine a user simulator, stateful tools, deterministic environment assertions, an open-source natural-language evaluator, and human trajectory verification. Evaluation of nine models, including DeepSeek-V4-Flash, GLM-5.2, and MiniMax-M3, shows substantial cross-domain variation: no model handles factual correction, identity consistency checking, and temporal conflict resolution reliably across all settings. In the simulated environments, missed conflicts can propagate to tool calls or synthetic protected-data flows. KC-Bench isolates this model-level behavior rather than ranking complete agent frameworks, and provides a reproducible diagnostic for developing conflict-aware reasoning and execution safeguards.
- Abstract（参考訳）: LLMはますますツールを通して行動するようになり、行動を起こす前にユーザーの指示やパラメトリック知識、動的環境観察を調整しなければならない。
KC-Benchは、世界的知識紛争、入力不整合、複数ソースの時間的対立にまたがるこの能力を測定するための、制御されたマルチターンベンチマークである。
238タスクは、1,000以上の生成された候補から手動でスクリーニングされ、ユーザシミュレータ、ステートフルなツール、決定論的環境アサーション、オープンソースの自然言語評価器、人間の軌道検証を組み合わせる。
DeepSeek-V4-Flash、GLM-5.2、MiniMax-M3を含む9つのモデルの評価では、実際の修正、アイデンティティの整合性チェック、時間的コンフリクトの解決をすべての設定で確実に処理するモデルはない。
シミュレーション環境では、失敗した競合がツールコールや合成保護データフローに伝播する可能性がある。
KC-Benchは、完全なエージェントフレームワークをランク付けするのではなく、このモデルレベルの振る舞いを分離し、競合を意識した推論と実行の保護を開発するための再現可能な診断を提供する。
関連論文リスト
- DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。
結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。
これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
論文 参考訳（メタデータ） (2026-08-27T02:36:23Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳（メタデータ） (2026-06-09T16:24:16Z) - A Unified Framework for the Evaluation of LLM Agentic Capabilities [36.43241368835721]
LLMエージェント能力の公平な評価のための統一的なフレームワークを提案する。
統合された構成システムによって駆動されるこのフレームワークは、様々なベンチマークを標準化された命令-ツール-環境フォーマットに統合する。
我々は15モデルで400Kロールアウトと5Bトークンに対して大規模な実証分析を行う。
論文 参考訳（メタデータ） (2026-05-27T03:20:45Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - Quantifying Divergence in Inter-LLM Communication Through API Retrieval and Ranking [0.0]
大規模言語モデル(LLM)は、複雑なタスクを実行するために外部APIを優先する自律的なエージェントとして、ますます運用されている。
本稿では,LLM間の差異を定量化する統一ベンチマークフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-09T20:28:24Z) - ConflictBench: Evaluating Human-AI Conflict via Interactive and Visually Grounded Environments [43.08480724370872]
我々は150のマルチターンシナリオを通じて人間とAIの対立を評価するベンチマークであるConflictBenchを紹介した。
ConflictBenchはテキストベースのシミュレーションエンジンと視覚的に接地された世界モデルを統合し,動的条件下でのエージェントの知覚,計画,行動を可能にする。
論文 参考訳（メタデータ） (2026-03-09T06:59:48Z) - AgentNoiseBench: Benchmarking Robustness of Tool-Using LLM Agents Under Noisy Condition [72.24180896265192]
本稿では,騒音環境下でのエージェントモデルのロバスト性を評価するためのフレームワークであるAgentNoiseBenchを紹介する。
まず、実世界のシナリオにおけるバイアスと不確実性の詳細な分析を行う。
次に,環境騒音をユーザノイズとツールノイズの2つの主要なタイプに分類する。
この分析に基づいて,既存のエージェント中心ベンチマークに制御可能なノイズを注入する自動パイプラインを開発した。
論文 参考訳（メタデータ） (2026-02-11T20:33:10Z) - InspectCoder: Dynamic Analysis-Enabled Self Repair through interactive LLM-Debugger Collaboration [71.18377595277018]
大きな言語モデル(LLM)は、診断が難しい複雑なロジックエラーを伴うバグの多いコードを生成することが多い。
対話型デバッガ制御による動的解析を LLM に委ねる初のエージェントプログラム修復システムである InspectCoder を提案する。
論文 参考訳（メタデータ） (2025-10-21T06:26:29Z) - Real-Time Anomaly Detection with Synthetic Anomaly Monitoring (SAM) [2.055524866851853]
異常検出は、財務、サイバーセキュリティ、ネットワーク監視など、さまざまな領域にわたる稀で重要な事象を特定するために不可欠である。
本稿では、因果推論から合成制御手法を適用し、異常検出プロセスの精度と解釈性を向上させる革新的なアプローチであるSynthetic Anomaly Monitoring(SAM)を提案する。
論文 参考訳（メタデータ） (2025-01-30T15:15:17Z) - AdaCAD: Adaptively Decoding to Balance Conflicts between Contextual and Parametric Knowledge [57.66282463340297]
知識の衝突は、大きな言語モデルの文脈における情報と、そのパラメータに格納された知識との相違から生じる。
コンフリクトの度合いに基づいて動的に調整の重みを推定する,AdaCADと呼ばれる細粒度なインスタンスレベルのアプローチを提案する。
ADACADは静的コントラストベースラインよりも平均QA精度14.21%(絶対)のデコードベースラインを一貫して上回り、要約の事実性を6.19倍(AlignScore)向上させることを示す。
論文 参考訳（メタデータ） (2024-09-11T16:35:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。