論文の概要: HAS-Bench: Evaluating LLM-Based Human-Agent Systems under Configurable Human Participation

• arxiv url: http://arxiv.org/abs/2607.04329v1
• Date: Sun, 05 Jul 2026 14:23:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.900823
• Title: HAS-Bench: Evaluating LLM-Based Human-Agent Systems under Configurable Human Participation
• Title（参考訳）: HAS-Bench: 構成可能なヒト参加下でのLDMに基づくヒューマンエージェントシステムの評価
• Abstract要約: 本稿では,人やエージェントを明示的な役割,許可,コミュニケーションパス,行動権限を持つ一級参加者として表現するグラフベースのフレームワークを提案する。 この枠組みに基づいて、HAS-Benchは人間-エージェントシステムを評価する。 6つの領域にわたる実験では、人間の参加はタスクの完了と障害回復を大幅に改善できるが、利得は、いつ、どのように、そして、誰が人間の入力を行うかによって異なる。
• 参考スコア（独自算出の注目度）: 54.200005792928344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models increasingly operate in settings where humans are active collaborators rather than passive task providers. We introduce HAS-Framework, a graph-based framework that represents humans and LLM-powered agents as first-class participants with explicit roles, permissions, communication paths, and action authority. Building on this framework, HAS-Bench evaluates Human-Agent Systems under configurable human participation across agency levels, interaction channels, and persona policies. The benchmark measures both task outcomes and process-level collaboration behavior, including clarification quality, feedback utilization, control calibration, safety, initiative, and interaction cost. Experiments across six domains show that human participation can substantially improve task completion and failure recovery, but the gains depend on when, how, and by whom human input is exercised.
• Abstract（参考訳）: 大規模言語モデルは、受動的タスクプロバイダではなく、人間が活発な協力者であるような環境でますます機能する。 HAS-Frameworkは、人間とLDMを主体とするエージェントを、明示的な役割、許可、コミュニケーションパス、行動権限を持つ第一級の参加者として表現するグラフベースのフレームワークである。 この枠組みに基づいて、HAS-Benchは人間-エージェントシステムを評価し、機関レベル、対話チャネル、ペルソナポリシーにまたがる人間の参加を構成可能とする。 このベンチマークは、明確化品質、フィードバック利用、制御キャリブレーション、安全性、イニシアチブ、相互作用コストなど、タスク成果とプロセスレベルの協調行動の両方を測定する。 6つの領域にわたる実験では、人間の参加はタスクの完了と障害回復を大幅に改善できるが、利得は、いつ、どのように、そして、誰が人間の入力を行うかによって異なる。

関連論文リスト

• LLawCo: Learning Laws of Cooperation for Modeling Embodied Multi-Agent Behavior [51.25229110468212]
  分散化された環境で活動する身体的エージェントは、しばしばパートナーと不整合または環境状態に不整合な行動を示す。 我々は,実施エージェントがパートナーとタスクの目的の両方を自律的に整合させることができる新しい枠組みであるLearning Laws of Cooperationを提案する。 我々のフレームワークは、エージェントが過去の失敗を反映して、不整合な行動パターンを抽出し、"必要であれば話す"や"パートナーを待つ"といったハイレベルな行動法則を導出することを可能にする。
  論文  参考訳（メタデータ） (2026-06-26T15:26:12Z)
• CollabSim: A CSCW-Grounded Methodology for Investigating Collaborative Competence of LLM Agents through Controlled Multi-Agent Experiments [32.043112677406064]
  CollabSimは、理論に基づく協調能力の定義、相互作用条件の制御、エージェントの内部状態のアクションレベル探索を組み合わせたシミュレーションフレームワークである。 CollabSimは条件効果をキャプチャし、モデルパフォーマンスパターンを分離し、エージェント設計のタスク依存効果を明らかにする。
  論文  参考訳（メタデータ） (2026-06-04T17:06:22Z)
• Humans' ALMANAC: A Human Collaboration Dataset of Action-Level Mental Model Annotations for Agent Collaboration [54.18136393879849]
  本稿ではエージェント協調のための行動レベル精神モデルAnnotationsのデータセットであるALMANACについて述べる。 ALMANACには2,987の協調アクションがあり、それぞれに理論インフォームドのメンタルモデルアノテーションが組み合わされている。 本研究は、ALMANACが人間の協調動作をシミュレートするモデルの能力を評価する上で有用であることを示す。
  論文  参考訳（メタデータ） (2026-06-04T16:56:12Z)
• SynAgent: Generalizable Cooperative Humanoid Manipulation via Solo-to-Cooperative Agent Synergy [59.86199649493784]
  制御可能な協調的ヒューマノイド操作は、インボディードインテリジェンスにとって根本的な問題である。 スケーラブルで物理的に妥当な協調操作を可能にするフレームワークであるSynAgentを提案する。 実験では、SynAgentは協調模倣と軌道条件制御の両方において既存のベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2026-04-20T17:46:20Z)
• LLM-Based Human-Agent Collaboration and Interaction Systems: A Survey [34.275920463375684]
  大規模言語モデル(LLM)は、完全に自律的なエージェントの構築への関心が高まっている。 LLM-HASは、システムの性能、信頼性、安全性を高めるために、人為的な情報、フィードバック、制御をエージェントシステムに組み込む。 本稿は, LLM-HASの総合的かつ構造化された最初の調査である。
  論文  参考訳（メタデータ） (2025-05-01T08:29:26Z)
• VeriLA: A Human-Centered Evaluation Framework for Interpretable Verification of LLM Agent Failures [3.075266204492352]
  複合AIシステムにおける大規模言語モデル(LLM)エージェントは、しばしば人間の基準を満たさないため、システム全体のパフォーマンスを損なうエラーにつながる。 本稿では LLM Agent failures (VeriLA) を検証するための人間中心評価フレームワークを提案する。 VeriLAは、人的労力を減らすためにエージェント障害を体系的に評価し、これらのエージェント障害を人間に解釈できるようにする。
  論文  参考訳（メタデータ） (2025-03-16T21:11:18Z)
• Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [50.657070334404835]
  Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。 シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。 その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-12-20T09:21:15Z)
• Large Language Model-based Human-Agent Collaboration for Complex Task Solving [94.3914058341565]
  複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。 Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。 このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
  論文  参考訳（メタデータ） (2024-02-20T11:03:36Z)
• MetaAgents: Large Language Model Based Agents for Decision-Making on Teaming [27.911816995891726]
  大規模言語モデル(LLM)を用いた社会シミュレーションフレームワークであるMetaAgentsを紹介する。 LLMをベースとしたエージェントのチーム構成とスキルマッチング行動を精査するためのケーススタディとして,ジョブフェア環境を構築した。 評価の結果,LLMをベースとしたエージェントが,効率的なチーム開発に合理的な決定を下す上で有能な役割を担っていることが示された。
  論文  参考訳（メタデータ） (2023-10-10T10:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。