論文の概要: Lost in the Request: How Communication Variation Disrupts Retrieval and Action in Email Agents
- arxiv url: http://arxiv.org/abs/2610.02627v1
- Date: Fri, 02 Oct 2026 00:35:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.137092
- Title: Lost in the Request: How Communication Variation Disrupts Retrieval and Action in Email Agents
- Title（参考訳）: 要求に負ける:メールエージェントにおけるコミュニケーションの変動が検索と行動にどう影響するか
- Abstract要約: メールアシスタントが要求された情報、利用可能な証拠、そして期待された結果が固定されたままであるかどうかを検証する。
5つのコミュニケーションスタイルの軸と4つのルールベースの方言条件に沿って検証された変種を構築する。
- 参考スコア（独自算出の注目度）: 6.2062701659196335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An email assistant should not complete less work simply because a user phrases the same request differently. Yet most benchmarks test each task with only one canonical request, leaving this form of robustness largely unmeasured. We test whether email assistants remain reliable when the requested information, available evidence, and expected outcome stay fixed, but the communication style or English variety changes. We construct validated variants along five communication-style axes and four rule-based dialect conditions, and evaluate them on three benchmarks: a retrieval-augmented generation (RAG) pipeline and two tool-using agents. Indirect requests reduce performance on all three benchmarks, while formal requests reduce performance on both agentic benchmarks. Examining the systems more closely shows that these failures have different causes. Verbose requests mainly hurt a lexical retriever by making the relevant email harder to find. By contrast, indirect and dialect variants remain harmful even when the relevant email is retrieved. In the agentic setting, indirect and formal requests mainly cause the agents to omit required actions, not to take more unsupported actions. These results show that a successful response is not enough to establish robustness: evaluations should vary how requests are expressed and separately measure whether agents complete the requested work.
- Abstract（参考訳）: メールアシスタントは、ユーザが同じ要求を異なる言い方で言い換えるからといって、作業の完了を少なくするべきではない。
しかし、ほとんどのベンチマークは各タスクを1つの標準要求でテストし、この形式の堅牢性はほとんど測定されていない。
メールアシスタントが要求された情報、利用可能な証拠、期待される結果が固定されたままであるかどうかを検証するが、通信スタイルや英語の多様性は変化する。
我々は,5つのコミュニケーションスタイルの軸と4つのルールベースの方言条件に沿って検証された変種を構築し,それらを3つのベンチマークで評価した。
間接的なリクエストは3つのベンチマークすべてのパフォーマンスを低下させ、形式的なリクエストは両方のエージェントベンチマークのパフォーマンスを低下させる。
システムをより綿密に調べると、これらの失敗は異なる原因を持っていることが示されます。
Verboseリクエストは、関連するEメールを見つけるのを難しくすることで、主に語彙検索を損なう。
対照的に、間接的および方言的変異は、関連する電子メールが検索された場合でも有害である。
エージェント設定では、間接的および形式的な要求は、エージェントがより支持できないアクションを取るのではなく、要求されたアクションを省略する。
評価は、要求がどのように表現され、エージェントが要求された作業を完了したかどうかを別々に測定する必要がある。
関連論文リスト
- SpecPath: Testing Coding Agents Across Contract-Equivalent Specification Histories [13.437222222971272]
仕様パスの感度は、最終的な意味において等価な要求履歴が同一のエージェントシステムに振る舞いの異なるプログラムを作成させる障害モードである。
本稿では,契約に至るリビジョンパスのみを変更しつつ,リポジトリ,最終契約,検証,エージェントシステム,実行予算を保持する診断評価であるSpecPathを紹介する。
論文 参考訳（メタデータ） (2026-08-10T16:19:00Z) - What Current AI Benchmarks Leave Unmeasured: Modality, Search, Citations, and Implications (for Safety Evaluations) [1.0499611180329804]
私たちは、ChatGPTのチャットUIとOpenAIのAPIの2つのモダリティを、Web検索を有効に/しないで比較した。
例えば、チャットUIレスポンスは、検索を無効にした両方のベンチマークのAPIレスポンスよりも正確ではなかった。
AIの安全性評価は、モダリティ、マルチラン一貫性、探索条件、応答レベルの振る舞いを体系的に考慮すべきである、と我々は主張する。
論文 参考訳（メタデータ） (2026-08-06T15:58:32Z) - DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments [51.049999642138]
誤解を招く証拠の下で、回答回復のための100タスクのベンチマークであるDRNOISEを紹介する。
それぞれのタスクは、2つの間接的レコードチェーンが支持する固有の金の答えを持ち、ペアのノイズ条件は競合する答えを直接記述する1つのもっともらしい文書を付加する。
強いクリーンタスク性能を持つエージェント全体で、この単一の介入は66-88ポイントの精度低下を引き起こす。
論文 参考訳（メタデータ） (2026-07-19T15:20:40Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories [51.22051230894794]
最終回答に基づく評価は、エージェントが成功するかどうかを示すが、どの部分の軌道が答えを信頼できないかを示すものではない。
2つのエージェントフレームワーク、3つのバックボーンモデル、3つのベンチマークから2,790の実際のトラジェクトリを収集し、生ログをセマンティックスパンに変換し、エキスパートレビューを通じて有害なエラースパンを注釈付けします。
我々は,エージェントの主張を追跡するクレーム中心の監査フレームワークであるDRIFTを提案する。
論文 参考訳（メタデータ） (2026-06-01T10:50:26Z) - Can Agent Benchmarks Support Their Scores? Evidence-Supported Bounds for Interactive-Agent Evaluation [8.049844623361725]
インタラクティブエージェントベンチマークは、結果チェックを通じてエージェントの実行をバイナリ結果にマッピングする。
これらのチェックは、表面レベル信号に依存するか、エージェントの実際のアクションパスをキャプチャできない。
既存のベンチマークに対して、結果エビデンスレポート層を導入します。
論文 参考訳（メタデータ） (2026-05-11T12:20:15Z) - Ambig-DS: A Benchmark for Task-Framing Ambiguity in Data-Science Agents [2.3488056916440856]
既存のベンチマークでは、エージェントがタスクが不明確かどうかを無視して、パイプラインが動作しているかどうかをスコア付けしている。
本稿では,予測対象曖昧さと評価対象曖昧さの2つの診断スイートであるAmbig-DSを紹介する。
すべてのタスクに対して、元の完全に指定されたバージョンと、コントロールされた編集によって生成されるあいまいなバリエーションをペアにします。
論文 参考訳（メタデータ） (2026-05-10T18:34:12Z) - Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction [127.64173950476702]
エージェントが直接、汎用端末ツールを用いて、生コーパスを直接検索する直接コーパス間相互作用(DCI)について検討する。
このアプローチではオフラインインデックスを必要とせず、ローカルコーパスの進化に自然に適応する。
IRベンチマークとエンドツーエンドのエージェント検索タスク全体にわたって、この単純なセットアップは、強いスパース、密度、リランクベースラインよりも大幅に優れています。
論文 参考訳（メタデータ） (2026-05-03T19:13:11Z) - Reducing the Scope of Language Models [7.464494269745494]
言語モデルのスコープ化が可能であることを示す。
我々は無関係なクエリの多様性、レイヤの異なるテクニック、敵対的な評価を行う。
我々は,言語モデルをスコーピングする実践者のガイドとして,本研究を行おうとしている。
論文 参考訳（メタデータ） (2024-10-28T23:06:57Z) - Learning with Weak Supervision for Email Intent Detection [56.71599262462638]
本稿では,メールの意図を検出するために,ユーザアクションを弱い監視源として活用することを提案する。
メール意図識別のためのエンドツーエンドの堅牢なディープニューラルネットワークモデルを開発した。
論文 参考訳（メタデータ） (2020-05-26T23:41:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。