論文の概要: HALO: Human-Grounded Granular Evaluation of Proactive Agents
- arxiv url: http://arxiv.org/abs/2610.39086v1
- Date: Thu, 29 Oct 2026 00:26:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-03 07:51:01.388246
- Title: HALO: Human-Grounded Granular Evaluation of Proactive Agents
- Title（参考訳）: HALO:プロアクティブ剤の粒状人体評価
- Abstract要約: Proactive AgentsのHuman-Grounded Gr Anular EvaLuationについて紹介する。
HALO-Arenaは10の日々のドメインと50の個人環境にわたる4つの積極的なニーズタイプ、依存性、ブロック、リスク、機会をカバーしている。
HALO-8Kは,アクションレベル,アクセプタビリティ評価,人的診断などの専門家20名による注釈付きで,400のシナリオにまたがる10モデルから8000の応答のデータセットである。
- 参考スコア（独自算出の注目度）: 29.66739524937392
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Proactive agents must decide whether, when, and how far to assist without an explicit request. Existing evaluations often rely on automated scores or binary verdicts, offering limited human diagnosis of evidence use and intervention quality. To address these gaps, we introduce HALO, Human-Grounded GrAnular EvaLuation of PrOactive Agents. HALO-Arena covers 4 proactive need types, Dependency, Blockage, Risk, and Opportunity, across 10 everyday domains and 50 personal environments. Scenarios require agents to retrieve evidence from structured databases or unstructured documents before judging whether assistance is warranted and choosing its scope. On HALO-Arena, we construct HALO-8K, a dataset of 8,000 responses from 10 models across 400 scenarios, annotated by 20 experts for action level, acceptability verdicts, and human diagnosis. For rejected responses, human diagnosis covers timing, intensity, and other issues. Recorded reasoning tokens and retrieval rounds measure the effort behind these responses. The best proprietary and open-source models achieve 72.88% and 56.63% acceptability, respectively. Our central finding is that over-proactivity is the dominant observed failure mode, with Premature timing or Excessive intensity accounting for 61.20% of rejected responses. Further analyses yield complementary findings on the balance between intervention and restraint, evidence acquisition, and the calibration of timing and intensity.
- Abstract（参考訳）: 積極的エージェントは、明示的な要求なしに、いつ、どのくらいの支援を行うかを決定する必要がある。
既存の評価は、しばしば自動スコアや二分判定に依存し、証拠の使用と介入品質の人間の診断に制限を与えている。
これらのギャップに対処するため, PrOactive AgentsのHuman-Grounded GrAnular EvaLuationを導入した。
HALO-Arenaは10の日々のドメインと50の個人環境にわたる4つの積極的なニーズタイプ、依存性、ブロック、リスク、機会をカバーしている。
シナリオでは、エージェントが支援が保証されているかどうかを判断する前に、構造化データベースや非構造化ドキュメントから証拠を取得する必要がある。
HALO-8Kは,アクションレベル,アクセプタビリティの判断,人的診断などの専門家20名による注釈付きで,400シナリオにわたる10モデルから8000の応答のデータセットである。
拒絶された反応について、人間の診断はタイミング、強度、その他の問題をカバーしている。
記録された推論トークンと検索ラウンドは、これらの応答の背後にある労力を測定します。
最高のプロプライエタリモデルとオープンソースモデルはそれぞれ72.88%と56.63%の受け入れ率を達成した。
我々の中心的な発見は、過剰な活動が観察された障害モードの主流であり、未熟なタイミングまたは過剰な強度が61.20%の反応を拒絶していることである。
さらなる分析により、介入と抑制のバランス、証拠取得、タイミングと強度の校正に関する相補的な知見が得られる。
関連論文リスト
- Advancing Clinical Genomic Analysis with a Skill-Centred Agent [63.88036490017211]
ClinGeXは、105のキュレートされた実行可能なスキルを構成する大言語モデルエージェントである。
ClinGeXは71.7%のマクロレベルのタスクレベルを専門家の参照分類と一致させた。
論文 参考訳（メタデータ） (2026-10-29T17:40:24Z) - LongSearchEval: Evaluating Long-Horizon Web Search Capabilities of Large Language Models via a Trajectory-Aware Agent Framework with Failure-Node Localization [2.5387090319723713]
ロングホライゾンウェブサーチでは、エージェントはタスク固有の制約の下で拡張されたインタラクションを通じて、Webページをまたいだ情報を統合する必要がある。
既存の評価は、主にシミュレーションされた軌跡や最終回答から再構築されたポストホック軌跡に依存している。
LONGSEARCHEVALは,統合されたエージェント実行プロトコルとソース制約された結果検証,およびリフレクション障害ノードのローカライゼーションを組み合わせた,トラジェクトリ対応エージェント評価フレームワークである。
論文 参考訳（メタデータ） (2026-10-26T10:15:38Z) - ACED-Bench: Evaluating How LLM Agents Acquire and Act on Causal Evidence [40.670500527968926]
本稿では,この要件に基づいて構築されたニューロシンボリックベンチマークであるACED-BENCH(Active Causal Evidence and Decision Benchmark)を紹介する。
主要なリーダーボードACED-COREには180のタスクが含まれている。
我々は,3つのアクティブエージェント設計における7つの現代LCMと2つの先行世代モデルを評価した。
論文 参考訳（メタデータ） (2026-10-09T23:01:57Z) - Efficient Test-Time Adaptation through Human-AI Interaction [112.5131603022122]
我々は,ヒト-エージェント間相互作用(TAHI)によるテスト時間適応を提案する。
エージェントを2つの高ユーティリティドメイン(書き込みと視覚的創造)の30人に適応させ、合計600のタスクをこなします。
エージェントは10タスク以内の単独作業の成功率を4.5-20.9%向上させる。
論文 参考訳（メタデータ） (2026-09-03T17:33:18Z) - BoardroomAI: Dependency-Aware Human-Steerable Multi-Agent Deliberation through Evolving Decision Graphs [0.0]
BoardroomAIは、人間を、挑戦的な仮定、制約の変更、優先順位の変更、証拠の導入、意思決定プロセスのリダイレクトによって介入できる永続的な参加者として扱う。
i) 証拠,仮定,制約,クレーム,異議,代替案,リスク,決定,セマンティック依存関係,専門的責任を表す型付き決定グラフ,(ii) 確認されたヒューマンアクションを明示的なグラフ更新に変換する介入コンパイラ,(iv) 介入の影響、修復カバレッジ、保存、再計算、決定妥当性を測定する評価フレームワーク。
論文 参考訳（メタデータ） (2026-08-13T10:11:13Z) - SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。
SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。
本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
論文 参考訳（メタデータ） (2026-08-05T09:09:00Z) - Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。
仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。
本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
論文 参考訳（メタデータ） (2026-07-17T08:56:43Z) - PsychoSafe: Eliciting Psychologically-Informed Refusals in Large Language Models [20.805546078350524]
心理的安全リフレームは、証拠に基づく介入戦略に基づく構造化された支援コミュニケーションとして拒絶される。
500のプロンプトの検証セットでは、サイコセーフプロンプトは全体的な拒絶品質をジェネリックベースラインに対して28.1%改善する。
微調整は、ほぼ完全な拒絶と資源参照率を達成するが、応答の関連性は減少する。
論文 参考訳（メタデータ） (2026-06-08T16:19:18Z) - Anticipate and Learn: Unleashing Idle-Time Compute in Proactive Agents [51.46570338144688]
ProActは、アイドルタイム計算を利用して、今後のユーザニーズを予測し、満たすプロアクティブエージェントアーキテクチャである。
進化する対話履歴を永続記憶とともに解析することにより、ProActは今後のニーズを予測し、情報を反復的に取得する。
MemBenchの評価では、ProActが最先端の反射精度を達成し、持続的で堅牢な性能を裏付けている。
論文 参考訳（メタデータ） (2026-05-25T15:47:21Z) - Strong Reasoning Isn't Enough: Evaluating Evidence Elicitation in Interactive Diagnosis [29.630872344186873]
インタラクティブな医療相談は、エージェントが不確実性の下で行方不明な臨床証拠を積極的に引き出す必要がある。
既存の評価の大部分は静的あるいは結果中心であり、エビデンス収集プロセスを無視している。
シミュレーションされた患者と、原子的証拠に基づく再現されたレポーターを用いて、コンサルテーションプロセスを明示的にモデル化するインタラクティブな評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-27T16:36:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。