論文の概要: You Know What I Mean: A Benchmark for Agentic Conversational Reference Grounding
- arxiv url: http://arxiv.org/abs/2608.29834v1
- Date: Sun, 30 Aug 2026 15:06:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.086299
- Title: You Know What I Mean: A Benchmark for Agentic Conversational Reference Grounding
- Title（参考訳）: 私が知っていること:エージェント対話参照グラウンドのベンチマーク
- Abstract要約: 協調的な会話は、しばしば名前ではなく間接的な対象である参照を含んでいる。
我々はこの問題をCoRG(Conversational Reference Grounding)として定式化する。
CoRGは、会話と外部のワークスペースに分散した語彙、意味、時間的キューを組み合わせる。
GitHubイシュー、プルリクエスト、コミットに基礎を置いた400の開発者チャットセグメントのベンチマークであるRepoRefを通じて、CoRGを研究します。
- 参考スコア（独自算出の注目度）: 25.12009255757602
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Collaborative conversations frequently contain references whose targets are indirect rather than named: resolving "this looks like the fix discussed yesterday" requires combining conversational context with evidence from the surrounding workspace which is accessible through APIs or user interfaces. We formalize this problem as Conversational Reference Grounding (CoRG): using a given set of tools to resolve a reference in conversation to the unique external item intended by the speaker. CoRG is challenging because it combines lexical, semantic, and temporal cues distributed across the conversation and the external workspace. Agents must translate these heterogeneous signals into effective tool use: formulating strategies, discovering plausible candidates, inspecting their metadata and content, and ruling out close alternatives. We study CoRG through RepoRef, a benchmark of 400 developer-chat segments grounded in GitHub issues, pull requests, and commits across 92 repositories. Unlike single-shot retrieval tasks, RepoRef often requires multi-step tool use. Our results show that CoRG remains challenging for current agents, even the best agent reaches only 67.0% success rate, leaving one third of references unresolved. These findings position CoRG as a concrete benchmark for studying how agents search, inspect, and verify information in realistic multi-tool environments.
- Abstract（参考訳）: の解決には、会話のコンテキストと、APIやユーザインターフェースを通じてアクセス可能な周辺のワークスペースからのエビデンスを組み合わせる必要があります。
話者が意図したユニークな外部項目に対する会話における参照を解決するためのツールセットを用いて,この問題をCoRG(Conversational Reference Grounding)として定式化する。
CoRGは、会話と外部のワークスペースに分散した語彙、意味、時間的手がかりを組み合わせたため、難しい。
エージェントは、これらの異種信号を効果的なツール利用に変換する必要がある。戦略の定式化、妥当な候補の発見、メタデータと内容の検査、近接した選択肢の除外。
GitHubイシュー、プルリクエスト、92のリポジトリにわたるコミットをベースとした400の開発者チャットセグメントのベンチマークであるRepoRefを通じて、CoRGを研究します。
シングルショット検索タスクとは異なり、RepoRefは多ステップツールの使用を必要とすることが多い。
以上の結果から,CoRGは現在のエージェントでは依然として困難であり,最高のエージェントであっても67.0%の成功率にしか達せず,参照の3分の1は未解決のままであることがわかった。
これらの知見は、エージェントがリアルなマルチツール環境で情報を検索、検査、検証する方法を研究するための具体的なベンチマークとして、CoRGを位置づけている。
関連論文リスト
- Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - SearchOS-V1: Towards Robust Open-Domain Information-Seeking Agent Collaboration [77.28003194268977]
SearchOSは、脆弱で暗黙的な検索進捗を明示的で永続的で共有状態に変換するシステムレベルのマルチエージェントフレームワークである。
SOCM上に構築されたSearchOSは、サブエージェントの実行を重複させるパイプライン並列スケジューリングメカニズムを適用している。
SearchOSは評価されたシングルエージェントとマルチエージェントのベースラインの中で、すべてのメトリクスをリードする。
論文 参考訳（メタデータ） (2026-07-16T17:51:23Z) - AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning [52.23991730630292]
大規模言語モデルは、パラメトリックな知識から答えるのではなく、文書を推論するエージェントとして、ますます多くデプロイされている。
大規模な、散らかった職場ファイルの集合にスパース証拠を配置し、一貫性のない用語、単位、時間規則を調整し、答えを計算する。
私たちは、362の質問と9,664の認証ドキュメントと372Mのトークンの8つのドメインコレクションをペアリングするベンチマークであるAgoraを紹介します。
論文 参考訳（メタデータ） (2026-06-23T12:57:18Z) - Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation [74.0621258662676]
レポート生成のためのマルチエージェントハーネスであるPtahを提案する。
Ptahは計画、研究、執筆段階を通じて、ユーザクエリからレンダリングされたWebレポートまでのライフサイクルを編成する。
検証エージェントがハーネスの受け入れ機能として機能し、ワークフロー全体を通して事実的接地、引用の忠実性、相互の整合性を強制する。
論文 参考訳（メタデータ） (2026-05-28T12:40:34Z) - GrepSeek: Training Search Agents for Direct Corpus Interaction [66.69568141699311]
GrepSeekは、コンパクトな検索エージェントを訓練し、大きなテキストコーパスから証拠を見つけ、フィルタリングし、構成する、最適化された直接コーパスインタラクション(DCI)検索エージェントである。
DCIを大規模に実用化するためには、シェルコマンドのシーケンシャルな実行とバイトエクササイズ等価性を保ちながら、シェルベースの検索を最大7.6タイムで高速化するセマンティックス保存のシャード並列実行エンジンを使用する。
論文 参考訳（メタデータ） (2026-05-28T03:37:33Z) - LARGER: Lexically Anchored Repository Graph Exploration and Retrieval [9.90137784523552]
リポジトリレベルのコーディングエージェントは、まずタスクに関連するファイルとシンボルをローカライズする必要がある。
既存のアプローチでは、エージェントのインタラクションループを断片化する別々のグラフツールやステージが必要になることが多い。
LARGER(Lexically anchored active-set search framework)は、語彙マッチングから始まり、それらをグラフアンカーにアライメントし、エージェントの既存のサーチループ内で信頼フィルタリングされた局所展開を実行する。
論文 参考訳（メタデータ） (2026-05-08T05:03:46Z) - Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction [127.64173950476702]
エージェントが直接、汎用端末ツールを用いて、生コーパスを直接検索する直接コーパス間相互作用(DCI)について検討する。
このアプローチではオフラインインデックスを必要とせず、ローカルコーパスの進化に自然に適応する。
IRベンチマークとエンドツーエンドのエージェント検索タスク全体にわたって、この単純なセットアップは、強いスパース、密度、リランクベースラインよりも大幅に優れています。
論文 参考訳（メタデータ） (2026-05-03T19:13:11Z) - Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。
RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。
製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
論文 参考訳（メタデータ） (2025-06-29T08:34:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。