論文の概要: SlackBench: Benchmarking Agents on Collaborative Projects Grounded in Real Code Repositories

• arxiv url: http://arxiv.org/abs/2611.05512v1
• Date: Tue, 03 Nov 2026 19:10:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.821727
• Title: SlackBench: Benchmarking Agents on Collaborative Projects Grounded in Real Code Repositories
• Title（参考訳）: SlackBench: 実際のコードリポジトリにあるコラボレーションプロジェクトのベンチマークエージェント
• Abstract要約: 私たちは、協調作業環境でAIエージェントを評価するためのベンチマークであるSlackBenchを紹介します。 SlackBenchは、現実的なマルチパーティ対話、意思決定の進化、GitHubとGoogle Docsに根ざした対応するコード変更を環境に提供する。 ヘテロジニアスソースのエージェント検索にまたがる140のクエリ、未解決または偽の前提の質問、ゴール指向の要約、長い会話に対する推論を含む。
• 参考スコア（独自算出の注目度）: 33.80630176946143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI Agents are becoming digital coworkers that can browse the web, write code, run experiments, and assist humans over extended horizons. Yet existing benchmarks fall short of real knowledge work: many rely on synthetic data or isolated tasks, missing the complex, multi-party dynamics of collaborative projects, where critical information is scattered across conversations, code, and evolving decisions. Even simple workplace questions may require locating relevant channels and direct messages, recovering context from long discussions, inspecting repository state, reconciling stale or conflicting evidence, and synthesizing across sources. We introduce SlackBench, a benchmark for evaluating agents on realistic research and engineering workflows that require joint reasoning over workplace communication and evolving repository state. Grounded in privacy-preserving reenactments of real academic research projects, SlackBench provides reproducible environments with realistic multi-party dialogue, evolving decisions, and corresponding code changes grounded in GitHub repositories and Google Docs. It contains 140 queries spanning heterogeneous-source agentic search, abstention on unanswerable or false-premise questions, goal-directed summarization, and circumstance inference over long conversations. These tasks are not reducible to static corpus question answering: agents must determine which conversations matter, traverse threads, inspect repository state, and synthesize evidence across communication and code artifacts. Across 33 frontier models and agent harnesses, the best system scores around 80% and most agents score below 66%, highlighting substantial headroom for improvement. SlackBench thus provides an extensible framework for evaluating agents in collaborative work environments. The SlackBench dataset is available at https://huggingface.co/datasets/HuanzhiMao/SlackBench .
• Abstract（参考訳）: AI Agentsは、Webを閲覧し、コードを書き、実験を実行し、人間を助けるデジタル同僚になりつつある。 多くは合成データや独立したタスクに依存しており、会話やコード、決定の進化といった重要な情報が散在する、コラボレーションプロジェクトの複雑なマルチパーティのダイナミクスを欠いている。 単純な職場の質問でさえも、関連するチャンネルやダイレクトメッセージの特定、長期にわたる議論からのコンテキストの回復、リポジトリの状態の検査、陳腐化や矛盾する証拠の調整、ソース間のシンセサイザー化を必要とします。 SlackBenchは、現実的なリサーチとエンジニアリングのワークフローにおけるエージェントの評価のためのベンチマークで、職場でのコミュニケーションとリポジトリの状態の進化に対する共同推論を必要とする。 SlackBenchは、実際の学術研究プロジェクトのプライバシ保存された再実装に基づいて、現実的なマルチパーティ対話、決定の進化、およびGitHubリポジトリとGoogle Docsに根ざした対応するコード変更を備えた再現可能な環境を提供する。 ヘテロジニアスソースのエージェント検索にまたがる140のクエリ、未解決または偽の前提の質問に対する棄却、ゴール指向の要約、長い会話に対する状況推論を含む。 エージェントはどの会話が重要かを判断し、スレッドをトラバースし、リポジトリの状態を調べ、コミュニケーションやコードアーティファクトを越えてエビデンスを合成しなければならない。 33のフロンティアモデルとエージェントハーネスの合計で、最高のシステムは80%、ほとんどのエージェントは66%以下で、改善のための実質的なヘッドルームを強調している。 SlackBenchは、共同作業環境でエージェントを評価するための拡張可能なフレームワークを提供する。 SlackBenchデータセットはhttps://huggingface.co/datasets/HuanzhiMao/SlackBenchで公開されている。

関連論文リスト

• Harvesting SWE Benchmarks from Wild Vibe Coding Sessions [9.307383793999525]
  開発チームは、自身のリポジトリから再現可能なタスクを必要とし、コーディングエージェントを評価する。 SessionFarmerは、これらのレコードを自己完結型の実行可能なソフトウェアエンジニアリングタスクに変換する自動化フレームワークです。 61のパブリックリポジトリと14のプログラミング言語にわたる242タスクのオープンベンチマークであるCropChatと、プロプライエタリなエンタープライズログからCropEnterpriseを構築します。
  論文  参考訳（メタデータ） (2026-11-02T03:02:59Z)
• You Know What I Mean: A Benchmark for Agentic Conversational Reference Grounding [25.12009255757602]
  協調的な会話は、しばしば名前ではなく間接的な対象である参照を含んでいる。 我々はこの問題をCoRG(Conversational Reference Grounding)として定式化する。 CoRGは、会話と外部のワークスペースに分散した語彙、意味、時間的キューを組み合わせる。 GitHubイシュー、プルリクエスト、コミットに基礎を置いた400の開発者チャットセグメントのベンチマークであるRepoRefを通じて、CoRGを研究します。
  論文  参考訳（メタデータ） (2026-08-30T15:06:51Z)
• Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
  Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。 本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
  論文  参考訳（メタデータ） (2026-07-23T04:34:06Z)
• Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation [74.0621258662676]
  レポート生成のためのマルチエージェントハーネスであるPtahを提案する。 Ptahは計画、研究、執筆段階を通じて、ユーザクエリからレンダリングされたWebレポートまでのライフサイクルを編成する。 検証エージェントがハーネスの受け入れ機能として機能し、ワークフロー全体を通して事実的接地、引用の忠実性、相互の整合性を強制する。
  論文  参考訳（メタデータ） (2026-05-28T12:40:34Z)
• AgentLongBench: A Controllable Long Benchmark For Long-Contexts Agents via Environment Rollouts [78.33143446024485]
  我々は、横方向思考パズルに基づく環境ロールアウトによるエージェントの評価を行うtextbfAgentLongBenchを紹介した。 このフレームワークは、知識集約的で知識のないシナリオにまたがる厳密な相互作用の軌跡を生成する。
  論文  参考訳（メタデータ） (2026-01-28T16:05:44Z)
• Improving Code Localization with Repository Memory [33.423769985220005]
  本稿では,最近の過去のコミットや関連問題を含む非パラメトリックメモリからエージェントを検索するツールを紹介する。 このようなメモリの拡張により,最先端のローカライゼーションフレームワークであるLocAgentが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-10-01T15:10:15Z)
• On The Importance of Reasoning for Context Retrieval in Repository-Level Code Editing [82.96523584351314]
  我々は、コンテキスト検索のタスクをリポジトリレベルのコード編集パイプラインの他のコンポーネントと分離する。 我々は、推論が収集された文脈の精度を向上させるのに役立っているが、それでもその十分性を識別する能力は欠如していると結論づける。
  論文  参考訳（メタデータ） (2024-06-06T19:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。