論文の概要: Harder Than the Task: From Technical to Organizational Difficulty in AI Benchmarking

• arxiv url: http://arxiv.org/abs/2611.03494v1
• Date: Mon, 02 Nov 2026 17:36:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 04:15:32.101045
• Title: Harder Than the Task: From Technical to Organizational Difficulty in AI Benchmarking
• Title（参考訳）: AIベンチマークの技術的困難から組織的困難へ
• Abstract要約: 組織的なタスクの難しさは、AI能力の明確かつ不十分に認識されている次元である、と我々は主張する。 組織的な作業においてエージェントが直面する条件を特徴付ける仕事の構造の分類法を開発する。
• 参考スコア（独自算出の注目度）: 0.5166475342701967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI benchmarks have made remarkable progress in measuring the ability of AI systems to perform increasingly demanding cognitive and technical tasks. Yet, many of these benchmarks treat technical tasks as the unit of analysis, while much economically valuable work takes place within organizations, where tasks are embedded in a system of relations. Within organizations, successful task performance depends not only on solving the technical demands of the task but also on navigating the interdependence of activities, distributed knowledge, differentiated authority, temporal constraints, conflicting interests, and changing environmental conditions while the task is underway. Accordingly, we argue that organizational task difficulty constitutes a distinct and insufficiently recognized dimension of AI capability, and that existing approaches to benchmarking provide an incomplete basis for assessing how effectively AI agents can perform real-world organizational work. By drawing on organization theory, we develop a taxonomy of the structure of work that characterizes the conditions that agents face in organizational work. Applying this taxonomy to analyze existing benchmarks, we find limited and uneven coverage of organizational dimensions, with fewer than one quarter of prominent benchmarks claiming any of them. We therefore argue that AI benchmarks should increasingly move beyond the evaluation of technically difficult tasks toward the systematic assessment of agents' ability to navigate the organizational conditions under which economically valuable work takes place.
• Abstract（参考訳）: AIベンチマークは、ますます必要とされる認知的および技術的タスクを実行するAIシステムの能力を測定する上で、顕著な進歩を遂げている。 しかし、これらのベンチマークの多くは、技術的タスクを分析の単位として扱うが、経済的に価値のある作業は組織内で行われ、そこではタスクが関係のシステムに組み込まれている。 組織内でのタスクパフォーマンスの成功は、タスクの技術的要求を解決するだけでなく、活動の相互依存、分散知識、差別化された権威、時間的制約、利害の対立、タスクが進行中の環境条件の変更にも依存する。 したがって、組織的タスクの難しさは、AI能力の明確かつ不十分な側面を構成し、既存のベンチマークアプローチは、AIエージェントが現実の組織的作業をどのように効果的に実行できるかを評価するための不完全な基盤を提供する、と論じる。 組織理論に基づいて、エージェントが組織作業で直面する条件を特徴付ける仕事の構造の分類法を開発する。 既存のベンチマークを分析するためにこの分類を適用することで、組織の次元を限定的かつ不均一にカバーできるようになります。 したがって、AIベンチマークは、経済的に価値のある作業が行われる組織条件をナビゲートするエージェントの能力の体系的な評価に向けて、技術的に困難なタスクの評価を超えて、ますます前進すべきである、と我々は主張する。

関連論文リスト

• AI Deployment Accountability Engineering: A Vision for Accountable AI in Safety-Critical Socio-Technical Systems [14.280538199149634]
  このビジョンペーパーはAI Deployment Accountability Engineering (ADAE)を紹介する。 ADAEは、デプロイされたAIシステムに対して測定可能で、連続的で、実行可能な説明責任を確立することを目的とした、AIエンジニアリングのサブカテゴリである。 我々は,コンテキスト依存型障害モードの構造化発見,プライバシ保護型説明責任測定,エージェントAIのシステムレベルのリスク分析,技術的障害の運用的,制度的リスクへの変換という,4つの相互接続された柱を中心に構築された研究課題を具体的に述べる。
  論文  参考訳（メタデータ） (2026-09-13T15:18:41Z)
• When Does AI Augment Work? A Workflow-Level Framework for Human-Agent Collaboration [78.16115745870405]
  職場における人工知能の価値を特徴付けることを目的としている。 現在の研究は、この価値を、現在の自動化能力とAIの公的な採用の観点から大きく測定している。 これを考慮するためには、今日の微粒化タスクを超えて分析の範囲を広げなければならない。
  論文  参考訳（メタデータ） (2026-09-11T06:29:34Z)
• Using profiles of cognitive capability to assess AI suitability for workplace tasks [5.826026042207654]
  コア認知機能の共有セットを使用してエージェントとタスクをプロファイルするパイプラインを導入する。 どちらも共通の認知次元を使用するため、モデルや役割が変化するにつれて独立して更新することができる。 我々は,人工エージェントの能力回復,6つのAIシステムのプロファイル,および410人の従業員からのタスク要求の抽出を検証した。
  論文  参考訳（メタデータ） (2026-08-26T10:48:09Z)
• EASy: Towards Efficient LLM-Based Agentic System [54.10819421625103]
  強化学習によるタスク性能と計算効率を協調的に最適化する訓練可能なエージェントフレームワークであるEASyを提案する。 EASyはLLMベースのオーケストレータに異種エグゼキュータの能力とコストプロファイルを明確に把握し、パフォーマンスのみのルーティング以上のコンテキスト依存的な調整を可能にする。 さらに、複雑なタスクを管理可能なマイルストーンに分解し、依存性を意識した実行グラフを構築し、適切なエグゼキュータを割り当て、その後の決定を中間的な結果に適用しながら、独立したステップを並列化するマイルストーン計画実行ワークフローも導入されている。
  論文  参考訳（メタデータ） (2026-08-05T08:50:36Z)
• Herculean: An Agentic Benchmark for Financial Intelligence [114.33879935277217]
  代表的な4つのスキルセットにまたがるエージェント金融インテリジェンスのための最初の熟練したベンチマークであるHerculeanを紹介します。 フェデラーエージェント全体では、TradingやMarket Insightsではエージェントが比較的うまく機能するが、HedgingやAuditingではかなり苦労している。 全体としては、財務的推論を信頼性のあるワークフロー実行に変換する上で、現在のエージェントに重要なギャップがあることを示している。
  論文  参考訳（メタデータ） (2026-05-14T04:30:49Z)
• AI-Assisted Requirements Engineering: An Empirical Evaluation Relative to Expert Judgment [0.0]
  本稿では,要件品質の評価において,AIベースのツールがシステムエンジニアをどの程度サポートするかを検討する。 システム要件を確立済みのINCOSE良質要件基準に対して評価する制御された研究を行った。 結果は、AIツールが、特に構文的および構造的品質特性に対して、一貫性と迅速な事前評価を提供できることを示している。
  論文  参考訳（メタデータ） (2026-04-16T16:53:57Z)
• SelfAI: Building a Self-Training AI System with LLM Agents [79.10991818561907]
  SelfAIは、高レベルの研究目的を標準化された実験構成に変換するためのUser Agentを組み合わせた、一般的なマルチエージェントプラットフォームである。 実験マネージャは、連続的なフィードバックのための構造化知識ベースを維持しながら、異種ハードウェアをまたいだ並列かつフォールトトレラントなトレーニングを編成する。 回帰、コンピュータビジョン、科学計算、医用画像、薬物発見ベンチマークなどを通じて、SelfAIは一貫して高いパフォーマンスを達成し、冗長な試行を減らしている。
  論文  参考訳（メタデータ） (2025-11-29T09:18:39Z)
• A Task-Driven Human-AI Collaboration: When to Automate, When to Collaborate, When to Challenge [16.734679201317896]
  性能を改善しつつ、適切な人間とAIの統合が有意義なエージェンシーを維持するかを示す。 この枠組みは、実用的で道徳的に健全な人間とAIのコラボレーションの基礎を築いた。
  論文  参考訳（メタデータ） (2025-05-23T23:19:15Z)
• The Foundations of Computational Management: A Systematic Approach to Task Automation for the Integration of Artificial Intelligence into Existing Workflows [55.2480439325792]
  本稿では,タスク自動化の体系的アプローチである計算管理を紹介する。 この記事では、ワークフロー内でAIを実装するプロセスを開始するための、ステップバイステップの手順を3つ紹介する。
  論文  参考訳（メタデータ） (2024-02-07T01:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。