論文の概要: Grouping the Stochastic Machine: Precision, Not Capability, as the Frontier Metric for AI Systems

• arxiv url: http://arxiv.org/abs/2608.19140v1
• Date: Wed, 19 Aug 2026 17:29:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.478732
• Title: Grouping the Stochastic Machine: Precision, Not Capability, as the Frontier Metric for AI Systems
• Title（参考訳）: 確率マシンのグルーピング:AIシステムのフロンティアメトリックとしての精度、能力ではなく
• Abstract要約: 私は、フロンティア言語モデルは、最高の、平均的なアウトプットが達成できる能力で比較され、市場化され、ベンチマークされていると論じます。 現在あるシステムと別のシステムを分離しているのは、精度です。 私は、グループ化基準を定義し、ハーネスを指定し、時間とともに人間とAIのペアのグルーピングを追跡することで、Paper 1のフィールドスタディが必要とする合成信号がどのように得られるかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frontier language models are compared, marketed, and benchmarked on capability -- what their best or average output can achieve. I argue this measures the wrong axis. The models have saturated accuracy: their mean output lands on the target. What now separates one system from another in practice is precision: how tightly concentrated their outputs are around that target across repeated, identical requests. Borrowing the marksman's distinction, capability is where the average shot lands; reliability is the size of the group. I make three claims. First, precision, not capability, is the frontier differentiator between systems, and benchmark culture systematically fails to measure it, reporting central tendency rather than spread. Second, precision is measurable, cheaply and without circularity, by running a fixed suite of deterministically scored tasks many times at fixed temperature and computing the per-task consistency of outcomes -- no model-in-the-loop grader required. Third, the measurement is not merely descriptive but decision-guiding: it separates consistent failures (a tight group off-centre, correctable by the operating discipline of Paper 1 -- a sight adjustment) from scattered failures (a wide group, correctable only by changing the model or its sampling -- a rifle problem). I define a grouping metric, specify a harness, and show how tracking a human-AI pair's grouping over time yields the compounding signal that Paper 1's field study requires. A first real run, since replicated, illustrates both the method and its most important limit: one measured gap was closed completely by a single rule (0/5 -> 5/5), while a suite of tasks authored from the rules themselves found no value, because a frontier model already embodies explicit good practice -- establishing that a discipline's worth is found by measurement on real work, not constructed from its own rulebook.
• Abstract（参考訳）: 最前線の言語モデルは、最高の、平均的なアウトプットが達成できる能力で比較され、市場化され、ベンチマークされます。 これは間違った軸を測っていると私は主張する。 モデルは飽和精度があり、平均出力はターゲットに着陸する。 現在、あるシステムと別のシステムとを分離しているのが、精度です。 マークマンの区別を借りると、能力は平均的なショットが着地する場所であり、信頼性はグループの大きさである。 私は3つの主張をする。 第一に、精度は能力ではなく、システム間のフロンティアの差別化要因であり、ベンチマーク文化はそれを測定するのに体系的に失敗し、拡散よりも中心的な傾向を報告します。 第二に、一定の温度で決定的に得られたタスクの固定スイートを何度も実行し、結果のタスク毎の一貫性を計算することで、精度が測定可能で、安価で、丸みがない。 第3に、測定は単なる記述的ではなく決定的導出であり、一貫した故障(論文1の運用規律によって修正可能な厳密なグループオフセント)と散在する故障(広範囲なグループ、モデルの変更やサンプリングによってのみ修正可能なライフル問題)を分離する。 私は、グループ化基準を定義し、ハーネスを指定し、時間とともに人間とAIのペアのグルーピングを追跡することで、Paper 1のフィールド研究が必要とする合成信号がどのように得られるかを示す。 1つの測定されたギャップを1つのルール(0/5 -> 5/5)で完全に閉じたのに対して、ルール自体から書かれた一連のタスクは価値を見出さなかった。

関連論文リスト

• Split the Labor: Separating Evidence Interpretation from Decision Aggregation [0.0]
  言語モデルに多くの情報源から結論に達するよう要求するシステムは通常、それらを1つのプロンプトに分割する。 提案する4分野のエビデンス(仮説,信頼性バケット,合理性,証明)は,両半減期を決定することを示す。 この修正はアーキテクチャよりも算術的であり、言語モデル以外のルールのクラスに適用される。
  論文  参考訳（メタデータ） (2026-08-14T17:24:55Z)
• When Can You Trust Offline Evaluation of Equal-Cost Top-k Allocation? A Controlled, Reproducible Benchmark and Practitioner's Guide [0.0]
  5つのデータセットと2つの既知のエフェクトスイープにまたがる6つの推定器をベンチマークし、非シミュレートされたペア参照に対してそのメカニズムを検証する。 ターゲット自身のスコアからロガーをシャープすると、テスト対象範囲をわずかにオーバーラップし、アクションレベルの不一致が崩壊する。 結果のニュアンスのみを適合させることは、再利用バイアスをその場に残し、それを悪化させます。
  論文  参考訳（メタデータ） (2026-08-12T18:10:10Z)
• When Does Consensus Mean Correctness? Measuring the Agreement-Accuracy Coupling with Semantics-Preserving Re-Rendering [0.8594140167290097]
  ラベルのない信頼性信号として、摂動入力間のモデルの合意が使用される。 レンダリングは正確さと信頼性の両方で再サンプリングする。 モデル自身のクロスレンダーコンセンサスインバータを微調整する。
  論文  参考訳（メタデータ） (2026-08-06T07:08:05Z)
• Phase-Localized Curation Does Not Help: A Negative Result on Per-Phase Metric Selection for Demonstration Filtering [0.0]
  初期リリース構造欠陥を制御した3つの接触リッチLIBEROピック・アンド・プレイス・タスクに対して, 位相当たりの仮説を検証した。 条件ごとに3つのタスクと5つのランダムなシードに対して、フェーズゲートキュレーションは最良のキュレーション戦略ではない。
  論文  参考訳（メタデータ） (2026-06-13T02:45:10Z)
• Precision Is Not Faithfulness: Coverage-Aware Evaluation of Grounded Generation with a Complete Oracle [0.0]
  基準自由忠実度測定は、モデルが基底真理に対して行う各原子的クレームを検証する。 彼らが盲点を共有していることを示す:彼らは精度だけを計測し、主張されている主張は支持されているか? 戦略的基底真理が決定論的に導出される領域であるF1テレメトリを用いて、この測定を可能にする。
  論文  参考訳（メタデータ） (2026-06-08T11:56:25Z)
• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• Judging with Confidence: Calibrating Autoraters to Preference Distributions [56.17041629492863]
  信頼性の高いオートラッターは、対象の個体群によって定義される嗜好の完全な分布をモデル化することを学ぶ必要がある、と我々は主張する。 異なるデータ条件に合わせた2つの学習方法を提案する。 この結果から, 分布マッチング目的の微調整オートレーダは, 目的の好み分布に整合した有言確率予測を導出することがわかった。
  論文  参考訳（メタデータ） (2025-09-30T20:36:41Z)
• Training Normalizing Flows with the Precision-Recall Divergence [73.92251251511199]
  特定精度リコールトレードオフを達成することは、em PR-divergencesと呼ぶ家族からの-divergencesの最小化に相当することを示す。 本稿では, 正規化フローをトレーニングして, 偏差を最小化し, 特に, 所与の高精度リコールトレードオフを実現する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-01T17:46:47Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• NLP-CIC @ DIACR-Ita: POS and Neighbor Based Distributional Models for Lexical Semantic Change in Diachronic Italian Corpora [62.997667081978825]
  本稿では,イタリア語に対する教師なし語彙意味変化のシステムと知見について述べる。 その課題は、対象の単語が時間とともにその意味を進化させたかどうかを判断することであり、それは2つの時間固有のデータセットからの原文のみに依存する。 本研究では,各期間に対象単語を表す2つのモデルを提案し,しきい値と投票方式を用いて変化単語を予測する。
  論文  参考訳（メタデータ） (2020-11-07T11:27:18Z)
• Why do you think that? Exploring Faithful Sentence-Level Rationales Without Supervision [60.62434362997016]
  文レベルで忠実な論理を出力するモデルを作成するために,異なる訓練枠組みを提案する。 本モデルでは,各理性に基づいて各課題を個別に解決し,その課題を最もよく解決した者に高いスコアを割り当てることを学ぶ。
  論文  参考訳（メタデータ） (2020-10-07T12:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。