論文の概要: ConCI: A Controlled Counterfactual Benchmark for Contextual Integrity in LLMs

• arxiv url: http://arxiv.org/abs/2610.24494v1
• Date: Sat, 17 Oct 2026 06:29:10 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:45:03.230876
• Title: ConCI: A Controlled Counterfactual Benchmark for Contextual Integrity in LLMs
• Title（参考訳）: ConCI: LLMにおける文脈整合性のための制御された対実ベンチマーク
• Abstract要約: ConCIは、アンカーフローと2つのカウンターファクトアルをペアリングし、それぞれが1つのCIパラメータを変更する、制御されたカウンタファクトのベンチマークである。 ConCIは556個の三滴に1,592個のフローを持ち、ラベルバランスがほぼ整い、フロー当たり7個のアノテータによって検証される。 多くの正しいアンカー予測は少なくとも1つのカウンターファクトで失敗し、最強のモデルでさえ三重項の約5分の1で失敗する。
• 参考スコア（独自算出の注目度）: 20.584165011363474
• License:
• Abstract: Contextual integrity (CI) holds that the appropriateness of sharing personal information depends on the context of the information flow, not on the information alone. However, existing CI benchmarks often use independent scenarios that vary multiple CI parameters simultaneously and are dominated by inappropriate flows, making it unclear whether correct predictions reflect sensitivity to context or a general refusal tendency. We present ConCI, a controlled-counterfactual benchmark in which an anchor flow is paired with two counterfactuals that each modify a single CI parameter. The resulting triplet is scored jointly, with credit given only when all three flows are judged correctly. Built from six existing benchmarks, ConCI contains 1,592 flows in 556 triplets, is approximately label-balanced, and is validated by seven human annotators per flow. Across seven LLMs, many correct anchor predictions fail on at least one counterfactual, and even the strongest model errs on about a fifth of triplets. Furthermore, models perform near ceiling on inappropriate flows but weaker on appropriate ones, often continuing to judge a flow inappropriate even when a contextual change should make it appropriate. Larger models narrow this bias toward non-disclosure but do not eliminate it, and reasoning yields only modest gains.
• Abstract（参考訳）: 文脈整合性(CI)は、個人情報の共有の適切性は情報フローの文脈に依存し、情報のみに依存しない。 しかしながら、既存のCIベンチマークでは、複数のCIパラメータを同時に変更し、不適切なフローに支配される独立したシナリオを使用することが多いため、正確な予測がコンテキストに対する感受性を反映するか、あるいは一般的な拒絶傾向を反映しているかは明確ではない。 ConCIは,アンカーフローと2つの反ファクトパラメータをペアリングし,それぞれが1つのCIパラメータを変更可能な制御カウンタファクトベンチマークである。 結果として得られる三重奏は、すべての3つのフローが正しく判断された場合にのみクレジットが与えられる。 既存の6つのベンチマークから構築されたConCIは、556のトリプレットに1,592のフローを持ち、ラベルバランスがほぼ整い、フロー毎に7人のアノテータによって検証される。 7つのLSMで、多くの正しいアンカー予測が少なくとも1つの逆効果で失敗し、最強のモデルでさえ三重項の約5分の1で失敗する。 さらに、モデルが不適切なフローでは天井付近で実行されるが、適切なフローでは弱い。 より大規模なモデルは、このバイアスを非開示に向けて狭めるが、それを排除せず、推論は緩やかな利得しか得られない。

関連論文リスト

• Beyond Single-Turn Confidence: Trajectory-Adapted Uncertainty Quantification for LLM Agents [0.0]
  単ターンUQ手法の3つの共通ファミリーが対話的軌道設定に遷移するかどうかを検討する。 転送はしばしば有用であるが、不均一であることがわかった。 トークン確率スコアは、各ターンで使用されるアグリゲータの選択に非常に敏感である。 ブラックボックスの自己整合性はしばしば最強のUQファミリーであり、軌跡等価性とアクションセットの整合性は変種の中では最高である。
  論文  参考訳（メタデータ） (2026-08-12T01:39:28Z)
• Evaluation Pitfalls and Sparsity Limitations in LLM-based Confidence Estimates for Classification [1.5977080543655726]
  動詞化のような一般的なアプローチは、非常にスパースな出力を生み出す。 Qwen3-32B は SST-2 上では8つのユニークな信頼値しか言語化せず、半分以上は正確に95%である。 余分な推論コストを伴わずに,空白度と最良なAUARC(+2.3点)に対処する。
  論文  参考訳（メタデータ） (2026-08-05T14:24:34Z)
• Diagnosing Fine-Grained Inconsistency Classification in Financial Disclosure Text [3.2712318205295907]
  財務情報開示には、数値的なクレーム、時間的ステートメント、エンティティ参照、ポリシーのコミットメント、そして質的に異なる方法で衝突する可能性のあるリスク記述が含まれる。 我々はこの問題をきめ細かい矛盾として研究する。 微調整された300Mエンコーダの精度は61.9%、ロラ適応型Qwen3.5-9Bモデルでは61.5%、GPT適応型生成モデルでは61.3%である。
  論文  参考訳（メタデータ） (2026-07-29T01:03:53Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Contrastive Flow Matching [61.60002028726023]
  コントラストフローマッチング(Contrastive Flow Matching)は、全ての条件フローに対して一意性を明示するフローマッチング対象の拡張である。 提案手法は,任意のサンプル対からの予測フロー間の相違を最大化するための対照的な目的を与える。 比較フローマッチングによるトレーニングモデル(1)は最大9倍のトレーニング速度,(2)は最大5倍のノイズ除去ステップ,(3)FIDを最大8.9以下に向上させる。
  論文  参考訳（メタデータ） (2025-06-05T17:59:58Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。