論文の概要: Counting the Bandages: On measuring the time that AI saves
- arxiv url: http://arxiv.org/abs/2610.35942v1
- Date: Fri, 23 Oct 2026 15:34:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.369535
- Title: Counting the Bandages: On measuring the time that AI saves
- Title（参考訳）: バンドのカウント:AIが節約する時間を計測する
- Abstract要約: 私は、AI支援が時間を節約することの意味について考えます。
私は、モデルなしの量、節約された時間、過剰に脱落した欠陥のペアを定義します。
私は無作為な研究が何が可能で、特定できないかを示します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: I consider what it means for AI assistance to save time. I contrast a stopwatch view, on which time saved is whatever the clock records, with a ledger view, on which it is a counterfactual that has to be read next to the errors the work lets through, and I argue for the latter. The argument has four parts. I define a model-free pair of quantities, time saved and excess escaped defects, and one decision number built from them: the break-even defect cost. I give a baseline model of checking in which, until the model is good enough not to check, a calibrated worker's escaped-defect rate does not depend on how good the model is; checking time grows with the logarithm of the model's error rate; and over-trust buys minutes on the clock at a larger cost in total minutes. I show what randomized studies can and cannot identify, and I replicate METR's developer study from its public data: the same 246 issues support a slowdown of 19% or 24% depending on the estimand (34% without adjusting for a chance imbalance), and AI helped on somewhere between 3% and 82% of them. Finally, I restate the published record, with stated bounds in place of imported point assumptions. In GDPval's own review-every-output workflow, review time alone caps GPT-5's speedup at 3.6x; the consultants outside the frontier were faster, and more often wrong. Last, I test two of the model's predictions in a small pre-specified experiment on AI reviewers checking AI drafts of the same kind of brief, built from SEC filings made after the models' training data were collected. Told the drafter's true error rate, the reviewer checked more as it rose, but all-or-nothing, switching near where its prompt's costs break even. Told that the drafter erred ten times less often than it did, it checked 7 fewer of 9 figures and let a wrong figure through in 22.5% of briefs instead of none: faster and worse, entirely through reduced effort.
- Abstract（参考訳）: 私は、AI支援が時間を節約することの意味について考えます。
私は、時間を節約したストップウォッチビューと、その作業が通るエラーの隣で読み取らなければならないデファクトである台帳ビューとを対比し、後者について論じます。
議論には4つの部分がある。
私は、モデルなしの量対、保存時間、過度に脱落した欠陥、そしてそれらから構築された1つの決定番号を定義します。
私は、モデルが十分にチェックできないまで、キャリブレーションされたワーカーの逃走欠陥率は、モデルがどれだけ良いかによらず、モデルのエラー率の対数でチェック時間が成長し、オーバートラストが総コストでクロック上で数分の購入を行う、チェックのベースラインモデルを与えます。
同じ246の問題は、推定値(34%)によって19%または24%の減速をサポートし、AIは3%から82%の範囲で支援しました。
最後に、私は、インポートされたポイントの前提に代えて、記載された境界とともに、公表された記録を復活させます。
GDPval自身のレビュー・完全アウトプットワークフローでは、レビュータイムだけでGPT-5のスピードアップが3.6倍になった。
最後に、モデルの予測の2つを、モデルのトレーニングデータが収集された後に作成されたSECの申請書から作られた、同じ種類のブリーフなAIドラフトをチェックする、AIレビュアーに関する小さな特定済みの実験でテストしました。
原案の真のエラー率を判断すると、レビュアーは上昇するにつれてさらにチェックしたが、すべてあるいは全く行わず、プロンプトのコストが壊れる場所の近くを切り替えた。
草案作成者はそれよりも10倍の頻度で伸び、9桁の数字を7つ減らし、22.5%のブリーフィングで間違った数字を通した。
関連論文リスト
- Does More Thinking Pay Off? Reasoning Cost and Correctness of LLMs in Code Generation and Bug Fixing [7.217389211497182]
我々は、推論の精度向上とトークンのオーバーヘッド、そして、トレースの短縮が依然として正しい解につながるかどうかを考察する。
我々は,HumanEval Pro,MBPP Pro,BugsInPyから引き出された866のPythonタスクを5つのモデル設定で検討した。
論文 参考訳（メタデータ） (2026-10-27T10:12:24Z) - Same Beliefs, Different Policies: Learning Reusable Representations for Early Stopping in LLM Reasoning [71.05723778441718]
BELT(BELief-based Termination)は、結果予測と停止制御を分離する。
あるプローブはCPUポリシーの調整やしきい値調整を通じて、異なる精度とコストのトレードオフをサポートする。
BELTは5つのアウト・オブ・ディストリビューション・数学のベンチマークで、Qwen3-1.7Bで41%、OLMo-3-7B-Thinkで51%削減した。
論文 参考訳（メタデータ） (2026-10-21T21:05:11Z) - PORA: Learning When More Reasoning Pays Off for LLM Agents [51.398031320201916]
LLMエージェントは、複数のステップでタスクを実行し、フィードバックに基づいてアクションを修正します。
より長い推論は、後のエラーを防止して最終的なタスク結果を改善することができるが、将来の決定に必要な予算容量も利用する。
Paired Outcome-guided Reasoning Allocation (PORA)を提案する。
論文 参考訳（メタデータ） (2026-10-19T18:17:29Z) - What Does a Harness Repair? A Preregistered Study of Visibility, Baseline Adequacy and Evaluation Defects [17.521700896129115]
3つの小さなモデル、3つのベンチマーク、3つのレプリケーションとテストのパーティション、GEPA検索アーム、6つの評価欠陥が一度に1つずつ注入された結果が得られた。
9つのモデルベンチマークセルのうち5つで、キャップ付き思考設定をオフにすると精度が上がり、それぞれが、キャップ付き思考設定が読めない質問から得られる。
論文 参考訳（メタデータ） (2026-10-04T20:56:07Z) - Innovation-Residual Auditing of Autonomous Analysis Agents: Localization, Detection Limits, Error Control, and Identifiability [11.987280372027032]
本論文は,誤差が全く局所化可能であるか否かを判定するスコアの選択を提供する。
次に、単一の監査された分析において、誤ったフラグ付けされた操作の割合を制御する手順を提示する。
論文 参考訳（メタデータ） (2026-08-06T00:42:43Z) - Interaction Scaling: Grounding the Third Axis of Test-Time Compute [0.33451037881913753]
一つの変数がこの第3の軸を接地として支配し、ループの両側に保持しなければならないと論じる。
固定トークン予算でのハードコーディングタスクでは、推論のみとベストオブNの両方をサンプリングする。
提案手法は, ラン・ツー・ラン分散を伴わず, 100%パスレートに到達した。
論文 参考訳（メタデータ） (2026-07-13T14:22:06Z) - Can LLMs Perceive Time? An Empirical Investigation [0.8460698440162889]
大規模な言語モデルは、自分たちのタスクがどれくらいかかるかを見積もることはできない。
68のタスクと4つのモデルファミリーにまたがる4つの実験を通して、この制限について検討する。
モデルは、トレーニングから持続時間に関する命題的な知識を持っているが、自身の推論時間に経験的な根拠がない。
論文 参考訳（メタデータ） (2026-03-09T18:51:04Z) - Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。
任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。
CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
論文 参考訳（メタデータ） (2025-10-13T21:07:05Z) - s1: Simple test-time scaling [148.4204982041058]
テスト時間スケーリングは、パフォーマンスを改善するために余分なテスト時間計算を使用する言語モデリングに対する、有望な新しいアプローチである。
テストタイムのスケーリングと強力な推論性能を実現するための最もシンプルなアプローチを探します。
論文 参考訳（メタデータ） (2025-01-31T18:48:08Z) - AI-Assisted Human Evaluation of Machine Translation [51.07772996528965]
我々は、リコール指向の自動品質推定でエラーアノテーションをプリフィルすることでアノテータを支援する。
このAIアシストにより、アノテーションごとの時間を半分に減らしながら、同じ品質レベルでアノテーションを得ることができます。
論文 参考訳（メタデータ） (2024-06-18T09:12:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。