論文の概要: NeuroState-Bench: A Human-Calibrated Benchmark for Commitment Integrity in LLM Agent Profiles

• arxiv url: http://arxiv.org/abs/2605.01847v2
• Date: Wed, 06 May 2026 14:48:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 15:17:35.744292
• Title: NeuroState-Bench: A Human-Calibrated Benchmark for Commitment Integrity in LLM Agent Profiles
• Title（参考訳）: NeuroState-Bench: LLMエージェントプロファイルにおけるコミットインテリジェンスのためのヒューマンキャリブレーションベンチマーク
• Abstract要約: NeuroState-Benchは、ベンチマーク定義のサイドクエリープローブを通じてコミットメントの整合性を運用する、人間の校正ベンチマークである。 主な32点評価は、固定された16点のローカルサブセットと、同一のベンチマークパイプラインで評価された16点のホストされた大型モデルサブセットを含む。 経験的に、タスクの成功とコミットメントの整合性は、この拡張されたグリッドに分散します。
• 参考スコア（独自算出の注目度）: 0.4512372501420207
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Outcome-only evaluation under-specifies whether an evaluated agent profile preserves the commitments required to solve a multi-turn task coherently. NeuroState-Bench is a human-calibrated benchmark that operationalizes commitment integrity through benchmark-defined side-query probes rather than inferred hidden activations. The released inventory contains 144 deterministic tasks and 306 benchmark-defined side-query probes spanning eight cognitively motivated failure families, paired clean and distractor variants, and three difficulty bands. The main 32-profile evaluation contains a fixed 16-profile local subset and a matched 16-profile hosted large-model subset evaluated through the same benchmark pipeline. Human calibration uses the final merged reporting scope: 104 sampled task units, 216 raw annotations, and 108 adjudicated task rows, with weighted kappa = 0.977 and ICC(2,1) = 0.977. Empirically, task success and commitment integrity diverge across this expanded grid: the success leader is not the integrity leader, 31 of 32 profiles change rank when integrity replaces task success, and integrity rankings are more stable under distractor perturbation. The primary confidence-free score HCCIS-CORE reaches 0.8469 AUC and 0.6992 PR-AUC for post-probe diagnostic discrimination of terminal task failure; the legacy full heuristic variant HCCIS-FULL reaches 0.7997 AUC and 0.6410 PR-AUC. Probe accuracy and state drift achieve slightly higher ROC-AUC, 0.8587, and better Brier/ECE, while HCCIS-CORE has substantially higher point-estimate PR-AUC and remains more closely tied to the benchmark's intended construct. The exploratory neural-augmented variant HCCIS+N is weaker overall, and a randomized subspace control approaches chance. NeuroState-Bench therefore contributes a calibrated evaluation axis for exposing commitment failures over a broader model grid than the original local-only subset.
• Abstract（参考訳）: 結果のみの評価は、評価されたエージェントプロファイルがマルチターンタスクのコヒーレントな解決に必要なコミットメントを保存するかどうかを規定する。 NeuroState-Benchは、隠れたアクティベーションを推測するのではなく、ベンチマーク定義のサイドクエリープローブを通じてコミットメントの整合性を運用する人間校正ベンチマークである。 リリースされたインベントリには、144の決定論的タスクと306のベンチマークで定義されたサイドクエリープローブが含まれており、8つの認知的なモチベーションを持つ障害ファミリー、ペアのクリーンとイントラクタのバリエーション、そして3つの困難バンドで構成されている。 主な32点評価は、固定された16点のローカルサブセットと、同一のベンチマークパイプラインで評価された16点のホストされた大型モデルサブセットを含む。 104のサンプル化されたタスクユニット、216の生のアノテーション、108の調整されたタスク行で、加重されたkappa = 0.977とICC(2,1) = 0.977である。 経験的に、タスクの成功とコミットメントの整合性は、この拡張されたグリッドに分散している。成功リーダは、整合性リーダーではない。 HCCIS-CORE は0.8469 AUC と 0.6992 PR-AUC に到達し、終末タスク障害の診断後診断が可能となり、旧来のフルヒューリスティック変種 HCCIS-FULL は0.7997 AUC と 0.6410 PR-AUC に到達した。 精度と状態のドリフトは、ROC-AUC、0.8587、より優れたブライア/ECEを達成する一方、CCIS-COREは、かなり高い点推定PR-AUCを持ち、ベンチマークの意図した構成と密接に結びついている。 探索的神経増強型HCCIS+Nは全体として弱く、ランダム化されたサブスペース制御がチャンスに近づいた。 それゆえ、NeuroState-Benchは、元のローカルのみのサブセットよりも広いモデルグリッド上でのコミットメントの失敗を露呈するための、キャリブレーションされた評価軸に寄与する。

関連論文リスト

• Can You Trust the Confidence? ConfBench for Vision-Language Models on Document Extraction [13.176724997257802]
  既存のドキュメントベンチマークはクリーンで高品質なサンプルによって支配されています。 鍵情報抽出のための最初のキャリブレーション特化ベンチマークであるConfBenchを紹介する。 我々は,言語的および対数確率的信頼度推定法により,プロプライエタリな4つのVLMとオープンウェイトな3つのVLMを評価した。
  論文  参考訳（メタデータ） (2026-08-03T07:03:51Z)
• Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
  言語モデルは、進行中の計算の質を読み取ることができるか? 外部介入は、その読み出しをより良い結果に変えることができるか? 凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
  論文  参考訳（メタデータ） (2026-07-20T22:40:36Z)
• Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
  通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。 我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。 ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
  論文  参考訳（メタデータ） (2026-07-07T10:10:00Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Federated Naive Bayes with Real Mixture of Gaussians and Institutional Governance Regularization for Network Intrusion Detection [0.0]
  侵入検知のためのフェデレーション学習は、すべての参加機関が共有モデルに等しく貢献するという欠陥のある前提に基づいている。 実際には、成熟したセキュリティコントロールと低い脆弱性エクスポージャーを持つ金融機関は、弱いコントロールと高い脆弱性エクスポージャーを持つ政府機関と根本的に異なるデータを生成する。 ローカルモデルをモデルとして扱うことで、組織が標準的なリスク管理監査を通じて収集した情報を破棄する。
  論文  参考訳（メタデータ） (2026-05-18T16:54:49Z)
• CADMAS-CTX: Contextual Capability Calibration for Multi-Agent Delegation [0.0]
  CADMAS-CTXはコンテキストキャリブレーションのためのフレームワークである。 階層的なコンテキスト能力プロファイルは、静的なスキルレベルの信頼性をコンテキスト条件の後方に置き換える。 GAIAとSWE-benchベンチマークを用いて,本手法の有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2026-04-20T08:30:28Z)
• Beyond Completion: Probing Cumulative State Tracking to Predict LLM Agent Performance [9.771590610969918]
  WMF-AM(Working Memory Fidelity-Active Manipulation)を紹介する。 その結果,20種類のオープンウェイトモデル (0.5B-35B, 13ファミリー) で10タスク・エージェント・バッテリを発売した。
  論文  参考訳（メタデータ） (2026-03-28T17:25:11Z)
• Severe Domain Shift in Skeleton-Based Action Recognition:A Study of Uncertainty Failure in Real-World Gym Environments [0.0]
  本稿では,新しいGym2DデータセットとUCF101データセットを用いて,厳しい領域シフトの体系的研究を行う。 我々の研究は、標準的なデプロイメント仮定に挑戦し、セマンティックスケルトン認識と幾何学的スケルトン認識の両方のデプロイの安全性を原則として分析する。
  論文  参考訳（メタデータ） (2026-03-16T17:37:17Z)
• From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
  異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。 商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。 低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
  論文  参考訳（メタデータ） (2026-03-02T13:02:13Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• Enhancing Multi-Label Thoracic Disease Diagnosis with Deep Ensemble-Based Uncertainty Quantification [1.2461503242570642]
  このプロジェクトは、堅牢な不確実性定量化(UQ)を、NIH ChestX-ray14データセット上の14の一般的な胸部疾患のための高性能な診断プラットフォームに統合する。 初期のアーキテクチャ開発ではモンテカルロ・ドロップアウト(MCD)を使用した性能とキャリブレーションが安定せず、ECEは0.7588であった。 この結果、Deep Ensemble (DE) は性能を安定させ、信頼性を向上し、受信器操作特性曲線 (AUROC) 平均面積 0.8559 と F1スコア 0.3857 を達成した。
  論文  参考訳（メタデータ） (2025-11-24T07:20:40Z)
• Optimizing Chain-of-Thought Confidence via Topological and Dirichlet Risk Analysis [3.4324137096523746]
  チェーン・オブ・シークレットのプロンプトにより、大規模言語モデルは複雑な問題を解決することができる。 既存の手法では、誤った予測に対するキャリブレーションの低下と深刻な過信に悩まされている。 複数の推論経路にまたがる信頼度を測定するために,拡張ディリクレ・トポロジーリスク(EDTR)を提案する。
  論文  参考訳（メタデータ） (2025-11-09T16:09:02Z)
• CoT-Saliency: Unified Chain-of-Thought Reasoning for Heterogeneous Saliency Tasks [96.64597365827046]
  本稿では,3つの運用上不均一なサリエンシタスクを共同で処理する,最初の統合フレームワークを提案する。 タスクの不均一性を橋渡しする視覚言語モデル(VLM)において、チェーン・オブ・ソート(CoT)推論プロセスを導入する。 我々は,全タスクにまたがる特別なSOTA手法と強力なクローズドソースVLMの整合性を示す。
  論文  参考訳（メタデータ） (2025-11-01T04:37:01Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• VAPO: Efficient and Reliable Reinforcement Learning for Advanced Reasoning Tasks [49.0793012627959]
  本稿では,価値に基づくパラダイム内での推論モデルに適した新しいフレームワークVAPOを提案する。 VAPOは最先端のスコアが$mathbf60.4$に達する。 同じ実験条件下で直接比較すると、VAPOはDeepSeek-R1-Zero-Qwen-32BとDAPOの結果を10点以上上回っている。
  論文  参考訳（メタデータ） (2025-04-07T14:21:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。