論文の概要: CallScreenBench: Benchmarking On-Device Models as Phone Secretaries
- arxiv url: http://arxiv.org/abs/2608.01033v1
- Date: Sun, 02 Aug 2026 06:31:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.068313
- Title: CallScreenBench: Benchmarking On-Device Models as Phone Secretaries
- Title（参考訳）: CallScreenBench: デバイス上のモデルを電話秘書としてベンチマークする
- Abstract要約: 電話の秘書は、所有者の代理として未知のインバウンドコールを受けます。
ほとんどのベンチマークで評価されるエージェントとは異なり、完了すべきタスクはなく、協調的なユーザもありません。
以下はCallScreenBenchで、この設定を5つの品質次元で評価する。
- 参考スコア（独自算出の注目度）: 3.917303377795418
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Language models small enough to run on a handset, quantized to a few bits, are increasingly capable of acting for their user, making on-device task automation newly plausible. One such task is answering the phone. A phone secretary takes an unknown inbound call on its owner's behalf. Unlike the agents evaluated by most benchmarks, it has no task to complete and no cooperative user: the caller holds the goal, may be an adversary, and must be judged from the opening turn with no oracle. What matters is not task success, but whether the owner would endorse how their proxy handled the call. We present CallScreenBench, which scores this setting on five quality dimensions. Each dimension is printed beside the counter-metric that bills it and is never averaged into a single number. We also report a guardedness profile for a toolless proxy that holds no credentials and calls no tools. Across six on-device models (0.6-4B parameters, 4-bit quantization), quality scales with capability, but triage does not. The appearance that it does is an artifact of measurement. Scripted degenerate agents supply the missing floors: after correcting for them, the number of model pairs whose triage performance separates falls from 11 of 15 to zero at the preregistered operating point. An agent that simply hangs up and echoes the caller also scores perfect message fidelity. We report which of our own metrics these floors defeat and declare no pass/fail threshold.
- Abstract（参考訳）: ハンドセットで動かすのに十分小さい言語モデルは、数ビットに量子化され、ユーザーのために行動する能力が増し、デバイス上でのタスク自動化が新たに実現可能になった。
そのようなタスクの1つは、電話に答えることです。
電話の秘書は、所有者の代理として未知のインバウンドコールを受けます。
ほとんどのベンチマークで評価されるエージェントとは異なり、完了すべきタスクはなく、協力的なユーザも存在しない。
重要なのはタスクの成功ではなく、オーナが自分のプロキシがどのようにコールを処理したかを承認するかどうかだ。
以下はCallScreenBenchで、この設定を5つの品質次元で評価する。
各次元は、それを請求するカウンターメトリックの横に印刷され、1つの数字に平均化されることはない。
また、認証情報を保持せず、ツールを呼ばないツールレスプロキシのガードレスプロファイルを報告します。
6つのオンデバイスモデル(0.6-4Bパラメータ、4ビット量子化)、能力を備えた品質スケールがあるが、トリアージは実現していない。
外観は測定の成果物である。
修正後、トリアージ性能が分離されたモデルペアの数は、登録済みの操作ポイントで11から0に減少する。
単にハングアップしてエコーするエージェントは、完璧なメッセージの忠実度も得点する。
我々は、これらのフロアのどれが敗北し、パス/フェイルしきい値が宣言されないかを報告します。
関連論文リスト
- IBIB: A Protocol for Measuring Enterprise AI Systems by Serving Route, Not Model Identifier [0.0]
監査された18のベンチマークはすべて、広告付きモデルの識別子をスコア付けする。
ゴールドブラインド機能バインディングプレフライトは、どのタスクが到達する前に、ルートが評価契約を実行可能であることを確認する。
信頼性非包括的なファーストパススコアリングルールは、有効性を保ちながらスコアの失敗を維持する。
論文 参考訳（メタデータ） (2026-09-09T17:31:29Z) - Nothing Breaks: No Single Peer Can Soundly Gate Post-Quantum Delivery [0.0]
量子後保護は、ファイル内で宣言されていないピアに配信される。
単一のピアが、その関係を健全にゲートできないことを示す。
エージェントは、通常のエンジニアリングの散文から40エピソード中40エピソードで、検証済みのダウングレードを駆動する。
論文 参考訳（メタデータ） (2026-09-07T18:08:08Z) - Fidelity Is Not Enough: Dispatch-Level Instrumentation for Agentic Datasheet Extraction [6.419341495897254]
3つのコンポーネントに対して25のハンドキュレートされたクレームのエージェントベンチマークで、すべてのツールコールをログします。
ルールベースの障害帰属分類器と、2つのルールがどのツールが呼び出されたかのみをチェックするサイレント障害検出器の2つを構築しました。
論文 参考訳（メタデータ） (2026-08-28T15:25:12Z) - Feedback That Backfires: Why Small Language Model Agents Repeat the Call They Just Watched Fail [0.0]
障害レコードの修正的なゲインを、失敗するアクションを再発光するログ確率の変化として定義すると、そのゲインは、命令チューニングされたモデル毎に負であることが分かります。
問題は、モデルのエラーメッセージの把握ではなく、ハーネスにある。
論文 参考訳（メタデータ） (2026-08-24T10:19:17Z) - VAmoS Bench: Voice Agent Simulation Bench [8.26112859764927]
VAmoS Benchは、ステートフルなカスタマーサポートタスクにおいて、完全な音声エージェントシステムをエンドツーエンドで測定する。
それぞれのシナリオは、プライベートな目標とシードされたバックエンドを備えたシミュレートされた呼び出し元を提供する。
プラットフォームは、各シナリオを使用して、通話者が音声を介してライリーに到達する独立したシミュレーションを起動する。
論文 参考訳（メタデータ） (2026-07-29T20:42:38Z) - PairCoder++: Pair Programming as a Universal Paradigm for Verified Code-Driven Multimodal and Structured-Artifact Generation [51.92442051257354]
PairCoderは、実行のみではなく、完全な公式メトリックスイート上で、アーティファクトが検証可能なすべてのベンチマークを本質的に改善する。
TikZのコンパイルレートは、各モデルで10から30ポイント、シングルモデルの2.9から9.2倍である。
論文 参考訳（メタデータ） (2026-07-02T08:36:02Z) - PhoneHarness: Harnessing Phone-Use Agents through Mixed GUI, CLI, and Tool Actions [73.69976712292683]
PhoneHarnessは、検証可能なモバイル上で電話使用エージェントを研究するための混合アクションベンチマークと実行ハーネスである。
そのベンチマークであるPhoneHarness Benchは、エージェントが観測可能な副作用を持つタスクを完了したかどうかを評価する。
この結果から,信頼度の高い電話の自動化は,視覚的GUI制御だけでなく,動作面のルーティングと検証可能な実行に依存することが示唆された。
論文 参考訳（メタデータ） (2026-06-12T15:01:32Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - Can Agent Benchmarks Support Their Scores? Evidence-Supported Bounds for Interactive-Agent Evaluation [8.049844623361725]
インタラクティブエージェントベンチマークは、結果チェックを通じてエージェントの実行をバイナリ結果にマッピングする。
これらのチェックは、表面レベル信号に依存するか、エージェントの実際のアクションパスをキャプチャできない。
既存のベンチマークに対して、結果エビデンスレポート層を導入します。
論文 参考訳（メタデータ） (2026-05-11T12:20:15Z) - Safe, or Simply Incapable? Rethinking Safety Evaluation for Phone-Use Agents [73.69976712292681]
電話使用エージェントが危害を免れた場合、安全を示すか、単に行動できないか?
有害な結果は、エージェントがリスクを認識して安全なアクションを選択したり、スクリーンを理解したり、関連するアクションを全く実行できなかったりすることで回避される。
私たちはPhoneSafetyでこの問題に対処しています。これは130以上のアプリにわたる実際の電話インタラクションから引き出された700の安全クリティカルな瞬間のベンチマークです。
論文 参考訳（メタデータ） (2026-05-08T11:58:57Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - Do Phone-Use Agents Respect Your Privacy? [97.81424230136075]
我々は,モバイルエージェントのプライバシ行動を評価するための検証可能なフレームワークであるMyPhoneBenchを紹介する。
プライバシを無視する電話を、最小限のプライバシ契約によって許可されたアクセス、最小限の開示、およびユーザ制御メモリとして運用する。
10のモバイルアプリと300のタスクで5つのフロンティアモデルにまたがって、タスクの成功、プライバシに準拠したタスク補完、保存された好みの後での利用が、それぞれ異なる機能であることに気付きました。
論文 参考訳（メタデータ） (2026-04-01T14:50:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。