論文の概要: Measuring and Reducing Unusable Replies of LLM Agents

• arxiv url: http://arxiv.org/abs/2610.19659v1
• Date: Wed, 14 Oct 2026 06:35:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 12:10:45.447927
• Title: Measuring and Reducing Unusable Replies of LLM Agents
• Title（参考訳）: LLM剤の不使用応答の測定と低減
• Abstract要約: 人々はLLMエージェントにマルチステップの作業を委譲し、エージェントが返した返信のみを読みます。 現在の評価では、タスク完了とレポートの忠実度をスコアし、要求者が応答を理解して利用できるかどうかを公開している。 我々は、このプロパティ応答のユーザビリティを、要求者の位置を判断するリーダーモデルで測定し、要求者が見たものから応答が解釈可能かどうかをテストし、要求者の言語で応答する。
• 参考スコア（独自算出の注目度）: 31.60669924490176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: People delegate multi-step work to LLM agents and read only the reply that the agent hands back. Current evaluation scores task completion and the faithfulness of reports, and it leaves open whether the requester can understand and use the reply. We call this property reply usability and measure it with a reader model that takes the requester's position and tests whether the reply can be interpreted from what the requester has seen, is in the requester's language and answers the request. Its agreement with the majority of five annotators lies within the range of the individual annotators. Across eight models from seven families, 54% of 480 replies fail, and the best model still fails on 30%. Failed replies mostly point to material the requester has not seen or use labels that the agent coined during its work. Stating explicit requirements for the reply reduces the failure rate from 0.52 to 0.43 together with errors and omissions, and a secondary model that rewrites the reply reduces it to 0.36, which human annotators confirm in a blind comparison. Reply usability can thus be scored alongside task success and improved with one appended message or one call to a secondary model.
• Abstract（参考訳）: 人々はLLMエージェントにマルチステップの作業を委譲し、エージェントが返した返信のみを読みます。 現在の評価では、タスク完了とレポートの忠実度をスコアし、要求者が応答を理解して利用できるかどうかを公開している。 我々は、このプロパティ応答のユーザビリティを、要求者の位置を判断するリーダーモデルで測定し、要求者が見たものから応答が解釈可能かどうかをテストし、要求者の言語で応答する。 5つのアノテータの大多数との合意は、個々のアノテータの範囲内にある。 7つのファミリーの8つのモデルのうち、54%の480のリプライが失敗し、最高のモデルはまだ30%で失敗している。 失敗した返信は、主に、依頼者がその作業中に製作したラベルを見たり使用したりしていない材料を指し示している。 応答の明示的な要求を安定させることで、エラーや省略とともにエラー率は0.52から0.43に減少し、リライトを書き換える二次モデルは0.36に減少し、人間のアノテータは盲点比較で確認する。 これにより、リプライのユーザビリティはタスクの成功と共に評価され、1つの追加メッセージまたは1つのセカンダリモデルへの呼び出しで改善される。

関連論文リスト

• Lost in the Request: How Communication Variation Disrupts Retrieval and Action in Email Agents [6.2062701659196335]
  メールアシスタントが要求された情報、利用可能な証拠、そして期待された結果が固定されたままであるかどうかを検証する。 5つのコミュニケーションスタイルの軸と4つのルールベースの方言条件に沿って検証された変種を構築する。
  論文  参考訳（メタデータ） (2026-10-02T00:35:05Z)
• Quantifying Overclaiming Propensity in Frontier LLM Agents [20.511162275974087]
  タスク完了を過度に評価するために、フロンティア符号化エージェントの妥当性を定量化する。 我々は、エージェント自身の書き起こしが、それがしていないことを報告する最終回答として、過剰評価を運用している。 OverclaimBenchは 5 つのファイルレビューシナリオと transcript ベースのカバレッジ測定による評価スイートである。
  論文  参考訳（メタデータ） (2026-09-17T17:59:04Z)
• Localizing and Mitigating Errors in Long-form Question Answering [79.63372684264921]
  LFQA(Long-form Question answering)は、複雑な質問に対して徹底的で深い回答を提供し、理解を深めることを目的としている。 この研究は、人書きおよびモデル生成LFQA回答の局所的エラーアノテーションを備えた最初の幻覚データセットであるHaluQuestQAを紹介する。
  論文  参考訳（メタデータ） (2024-07-16T17:23:16Z)
• RefuteBench: Evaluating Refuting Instruction-Following for Large Language Models [17.782410287625645]
  本稿では,質問応答,機械翻訳,電子メール作成などのタスクをカバーするベンチマークRefuteBenchを提案する。 評価の目的は、モデルが反響命令の形で肯定的にフィードバックを受けられるか、会話を通してユーザー要求に一貫して従えられるかを評価することである。
  論文  参考訳（メタデータ） (2024-02-21T01:39:56Z)
• AutoReply: Detecting Nonsense in Dialogue Introspectively with Discriminative Replies [71.62832112141913]
  対話モデルは、不適切なメッセージを示す応答の確率を計算し、内観的に自分のメッセージの誤りを検出することができることを示す。 まず、手作りの返信は外交と同じくらい複雑なアプリケーションにおけるナンセンスを検出するタスクに有効であることを示す。 AutoReplyの生成した応答は手作りの応答よりも優れており、慎重に調整された大規模な教師付きモデルと同等に動作することがわかった。
  論文  参考訳（メタデータ） (2022-11-22T22:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。