論文の概要: RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents
- arxiv url: http://arxiv.org/abs/2610.22507v1
- Date: Thu, 15 Oct 2026 18:03:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.61616
- Title: RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents
- Title（参考訳）: RealCLI:CLIエージェントのための人間-エージェント協調の統一評価に向けて
- Abstract要約: 本稿では,現実的なCLIタスク上でのタスク実行と人間とエージェントのコラボレーション品質の評価を統一するベンチマークを提案する。
作業効率は協調品質から大きく変化し, ステアビリティ, 信頼キャリブレーション, 安全境界管理に苦しむモデルが存在する。
- 参考スコア（独自算出の注目度）: 52.23794777349681
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Command-line interface (CLI) agents increasingly execute longer-horizon tasks, yet existing benchmarks either assume that user instructions remain fixed throughout execution or evaluate task outcomes without capturing runtime collaboration quality. In this paper, we present REALCLI, a paired benchmark that unifies the evaluation of task execution and human-agent collaboration quality on realistic CLI tasks. To comprehensively measure collaboration, REALCLI builds a five-dimensional framework, operationalized into 22 sub-dimensions and 51 interaction scenario templates. REALCLI provides two modes for paired comparison: REALCLI-EXEC supplies complete specifications upfront, whereas REALCLI-COLLAB introduces a scripted user that delivers progressive information, corrections, constraint revisions, and authorization decisions. Evaluations reveal profound capability gaps in frontier agents: the best configuration attains an average score of only 49.2%, and when evaluated by the joint collaboration score ($J_{\mathrm{collab}}$), the peak performance reaches merely 37.6%. These results show that task effectiveness diverges sharply from collaboration quality, with models consistently struggling in steerability, trust calibration, and safety boundary management. REALCLI provides a rigorous, reproducible foundation for measuring and advancing collaborative CLI agents.
- Abstract（参考訳）: コマンドラインインターフェース(CLI)エージェントは、より長い水平タスクを実行する傾向にあるが、既存のベンチマークでは、実行中はユーザー命令が固定されていると仮定するか、実行時のコラボレーション品質を把握せずにタスク結果を評価する。
本稿では,現実的なCLIタスクにおけるタスク実行とヒューマンエージェント協調品質の評価を統一するベンチマークであるREALCLIを提案する。
コラボレーションを包括的に測定するために、REALCLIは5次元のフレームワークを構築し、22のサブディメンジョンと51のインタラクションシナリオテンプレートで構成されている。
REALCLI-EXECは完全な仕様を前もって提供し、REALCLI-COLLABはプログレッシブな情報、修正、制約修正、承認決定を提供するスクリプト付きユーザーを導入している。
評価では、フロンティアエージェントの能力ギャップが顕著である: 最高の構成では平均スコアは49.2%であり、共同コラボレーションスコア(J_{\mathrm{collab}}$)で評価すると、ピーク性能は37.6%にしか達しない。
これらの結果から, 作業効率は協調品質から大きく変化し, ステアビリティ, 信頼性校正, 安全境界管理に一貫して苦慮したモデルが得られた。
REALCLIは、協調的なCLIエージェントの測定と前進のための厳密で再現可能な基盤を提供する。
関連論文リスト
- VALCON: Benchmarking and Enhancing Value Consistency in Large Language Models via Dual-Role Variation [50.26484893435373]
大規模言語モデル(LLM)の現在の値アライメント評価は、出力コンプライアンスに大きく依存している。
本稿では,価値の一貫性を3つのベンチマークスイートにまとめる役割駆動型データ構築フレームワークであるVALCONを提案する。
我々の研究は、価値の一貫性を異なるアライメントの次元として確立し、完全な評価・分析・軽減パイプラインを提供する。
論文 参考訳（メタデータ） (2026-10-15T05:52:52Z) - S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。
エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。
LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
論文 参考訳（メタデータ） (2026-08-31T17:05:41Z) - DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。
結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。
これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
論文 参考訳（メタデータ） (2026-08-27T02:36:23Z) - GUI vs. CLI: Execution Bottlenecks in Screen-Only and Skill-Mediated Computer-Use Agents [57.03233891304263]
18のアプリケーションと12のワークフローカテゴリにわたる440のデスクトップタスクの一致した実行層ベンチマークを導入する。
最強のGUIエージェントが59.1%のフルパスレートに達し、48.2%で最強のオリジナルスキルCLIエージェントを上回りました。
論文 参考訳（メタデータ） (2026-06-22T17:05:07Z) - MetaCogAgent: A Metacognitive Multi-Agent LLM Framework with Self-Aware Task Delegation [11.486913474115402]
本稿では,メタ認知自己評価ユニットを備えた多エージェント大規模言語モデル(LLM)フレームワークであるMetaCogAgentを提案する。
MetaCogAgentは、AutoGenよりも5%少ないAPIコールを使用し、アンサンブル投票よりも34%少ないタスク精度を82.4%達成している。
論文 参考訳（メタデータ） (2026-05-17T07:12:04Z) - Beyond Binary Correctness: Scaling Evaluation of Long-Horizon Agents on Subjective Enterprise Tasks [4.09533297040075]
大規模言語モデルは、数学やプログラミングのような客観的に検証可能なタスクに優れており、評価は単体テストや一つの正しい答えに還元される。
LH-Benchは、二項正当性を超えて、主観的エンタープライズタスクにおける自律的長期実行をスコアする3ピラー評価設計である。
論文 参考訳（メタデータ） (2026-03-24T03:16:32Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳（メタデータ） (2025-08-05T12:52:09Z) - Rapid and Continuous Trust Evaluation for Effective Task Collaboration Through Siamese Model [9.467463634233177]
本稿では,効果的なタスクコラボレーションを促進するために,シームズ対応の迅速・連続信頼評価フレームワーク(SRCTE)を提案する。
実際のシステムは、2つのDell EMC 5200サーバとGoogle Pixel 8を使って構築され、提案されているSRCTEフレームワークの有効性をテストする。
実験結果から,SRCTEは少量のデータだけで急速に収束し,異常信頼検出率が高いことがわかった。
論文 参考訳（メタデータ） (2025-06-20T16:30:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。