論文の概要: Trust and Task Completion in the World of Consumer AI Agents

• arxiv url: http://arxiv.org/abs/2609.33017v1
• Date: Sat, 26 Sep 2026 23:24:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:11:54.996371
• Title: Trust and Task Completion in the World of Consumer AI Agents
• Title（参考訳）: 消費者AIエージェントの世界における信頼とタスク完了
• Abstract要約: アクションエージェントは2つの方法でユーザを失敗させます。 彼らは、ユーザーが同意しなかったことをした時に信頼を断ち切る。 同じランで信頼と完成度を評価する評価を構築しました。
• 参考スコア（独自算出の注目度）: 0.44583811739540513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Action agents do things for people. They send email, spend money, and call businesses while the user is busy with something else, so a mistake can turn into an action before anyone notices. They fail their users in two ways. They break trust when they do something the user never agreed to, or hold back after the user clearly said go. And they fall short on completion when they give up on errands that turn out to be hard. Both depend heavily on the harness around the model, meaning its instructions, tools, context, and guardrails. We built an evaluation that scores trust and completion on the same runs, in a simulated world of businesses with their own websites, inboxes, and phone lines, and of people who write back. A simulated user answers the assistant's questions. Trust means that nothing happens the user did not agree to. No email goes to someone they never approved, no private detail ends up on a group thread, no money is spent past their limit, no stranger's instructions are followed, and nothing is claimed without a source. Every trap has a matched control in which acting is the right call. We use the evaluation to measure Fo, Wajo's personal assistant, against a base model with basic instructions on three foundation models, and against the Fo harness with its guardrails switched off. Fo completes 71% of the errands and keeps the user's trust on 94% of the trap runs. The base models complete 50% to 64% and keep trust on 59% to 75%. On the matched controls, Fo goes ahead slightly less often. OpenClaw, a popular open-source assistant given the same access, completes 42% of the errands it shares with Fo, against 71%, and keeps the user's trust on 74% of the shared trap runs, against 94%. Measuring trust and completion together, on the whole system rather than the model alone, is how we think action agents become safe to hand real work to.
• Abstract（参考訳）: アクションエージェントは人々のために物事を行います。 メールを送り、お金を使い、ユーザーが何かに忙しいときにビジネスに電話するので、誰かが気づく前に間違いがアクションに変わる。 ユーザーは2つの方法で失敗する。 彼らは、ユーザーが同意しなかったことをした時に信頼を断ち切る。 そして、彼らは、困難であることが判明した不規則を諦めると、完成に足りなくなる。 どちらもモデル周辺のハーネスに大きく依存しており、その指示、ツール、コンテキスト、ガードレールである。 私たちは、信頼と完成度を同じランでスコアする評価を、自身のWebサイト、受信箱、電話回線、そして書き戻した人たちのシミュレーションの世界に構築しました。 シミュレーションされたユーザは、アシスタントの質問に答えます。 信頼とは、ユーザーが同意しなかったことが何も起こらないことを意味する。 承認されていない人にメールは送れず、プライベートな詳細はグループスレッドに残らず、制限を超えてお金が費やされ、見知らぬ人の指示が守られず、情報源がなければ何も主張されない。 すべてのトラップは、アクションが正しい呼び出しであるマッチしたコントロールを持つ。 評価は,和城のパーソナルアシスタントであるFoを3つの基礎モデルの基本命令付きベースモデルに対して測定し,ガードレールをオフにしたFoハーネスに対して評価した。 Foはエラーの71%を完了し、ユーザの信頼をトラップランの94%に維持する。 ベースモデルは50%から64%の完成率で、59%から75%の信頼を維持している。 マッチしたコントロールでは、Foはそれほど多くない。 同じアクセスを与えられた人気のあるオープンソースアシスタントであるOpenClawは、Foと共有するエラーの42%を71%、共有トラップ実行の74%を94%と、ユーザの信頼を維持している。 信頼と完成度を一緒に測定することは、モデルのみではなく、システム全体の上で、アクションエージェントが実際の仕事を手渡すのに安全だと考えている方法です。

関連論文リスト

• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• Quantifying Overclaiming Propensity in Frontier LLM Agents [20.511162275974087]
  タスク完了を過度に評価するために、フロンティア符号化エージェントの妥当性を定量化する。 我々は、エージェント自身の書き起こしが、それがしていないことを報告する最終回答として、過剰評価を運用している。 OverclaimBenchは 5 つのファイルレビューシナリオと transcript ベースのカバレッジ測定による評価スイートである。
  論文  参考訳（メタデータ） (2026-09-17T17:59:04Z)
• Scan the Skill, Govern the Action: Composing Registry Verdicts with Runtime Consequence Control [0.0]
  135の異なるパブリッシャーの705のスキルは、スキャナーとレジストリの判断率はクリーンである。 ある出版社が705の506を寄付しているので、その数を報告します。 第3に、53以上のクリアドスキルにより、クリーンな記録が得られず、エージェントは23人に1人まで到達し、ゲートは23人全員を止めた。
  論文  参考訳（メタデータ） (2026-09-10T00:19:04Z)
• StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents [55.650871465979066]
  StateActはコードファーストでマルチエージェントのハーネスであり、この区別に基づいて構築されている。 そのメインエージェントは、コードを使用してプログラム状態と直接連携する。 専用のGUIサブエージェントは、必要ないくつかのサブゴールでスクリーンショットとクリックのインタラクションを処理する。
  論文  参考訳（メタデータ） (2026-07-24T14:17:03Z)
• Platform Choice, Trust, and Privacy in the Consumer AI Assistant Market [0.0]
  ChatGPTは58%のユーザと25%のGeminiのプライマリアシスタントである。 プライバシーに関する懸念は、ほぼ普遍的だが、行動は知識によって左右される。 選択実験では、ユーザーは人間を守るために最もお金を払う。
  論文  参考訳（メタデータ） (2026-07-16T15:41:54Z)
• SWE-chat: Coding Agent Interactions From Real Users in the Wild [70.18158706281724]
  SWE-chatは、オープンソースの開発者から収集された実際のコーディングエージェントセッションの大規模なデータセットである。 現在、データセットには6000のセッションが含まれており、63,000以上のユーザプロンプトと355,000のエージェントツールコールが含まれている。
  論文  参考訳（メタデータ） (2026-04-22T17:08:19Z)
• DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors [52.85182605005619]
  トレーニング中にベンチマークテストセットを使用したモデルを識別するためにバックドアアタックを利用するフレームワークであるDiePackを紹介します。 銀行が染料パックにお金を混ぜて強盗をマークするのと同じように、DiePackはバックドアのサンプルとテストデータとを混ぜて、その上で訓練されたモデルのフラグを立てる。 我々はDiePackを3つのデータセットにわたる5つのモデルで評価し、複数の選択とオープンな生成タスクの両方をカバーした。
  論文  参考訳（メタデータ） (2025-05-29T02:22:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。