論文の概要: Measured or Real? When Model-Derived Measurements Can Be Corrected or Compared

• arxiv url: http://arxiv.org/abs/2610.38015v1
• Date: Tue, 27 Oct 2026 22:12:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.340322
• Title: Measured or Real? When Model-Derived Measurements Can Be Corrected or Compared
• Title（参考訳）: 実測か実測か? モデル依存測定を補正したり比較したりできる時
• Abstract要約: ノイズは相関を縮小し、教科書の補正は2つの推定された信頼度の平方根によって分割される。 相関関係と信頼度が別個の種を用いる場合であっても,平均二乗誤差は無限であることを示す。 私たちのルールは、両方の信頼度が重要なテストに合格した場合にのみ修正され、その後、上位の信頼境界によって分割される。
• 参考スコア（独自算出の注目度）: 1.322809310467892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Numbers computed from trained models, such as an example's difficulty or a model's benchmark lead, change with seed and prompt. We ask when such measurements can be corrected or compared. Noise shrinks correlations, and the textbook correction divides by the square root of two estimated reliabilities. On two CIFAR-100 difficulty scores, it returned correlations above one in 70 of 100 classes. We prove that its mean squared error is infinite even when the correlation and the reliabilities use separate seeds. Our rule corrects only when both reliabilities pass a significance test, then divides by their upper confidence bounds. Its output is always bounded, and its coverage guarantees assume Gaussian noise. It helps once reliability is well estimated, more than halving the error with 500 simulated units. Prompt settings can reverse rankings. On ARC, Qwen2-1.5B trails Llama-3.2-3B by 3.8 points with no examples in the prompt and leads by 16.6 with two. Across four benchmarks, averaging the two settings names one winner for 15 of 16 such reversals. We compare models within each setting, controlling family-wise error asymptotically in the number of items for a fixed prompt grid. Aligning embedding coordinates across seeds raises held-out per-dimension reliability from 0.003 to 0.813.
• Abstract（参考訳）: サンプルの難易度やモデルのベンチマークリードなど、トレーニングされたモデルから計算された数値は、シードとプロンプトで変化する。 このような測定はいつ修正できるのか、それとも比較できるかを問う。 ノイズは相関を縮小し、教科書の補正は2つの推定された信頼度の平方根によって分割される。 CIFAR-100の難易度スコアでは、100クラス中70クラスに1以上の相関が返された。 相関関係と信頼度が別個の種を用いる場合であっても,平均二乗誤差は無限であることを示す。 私たちのルールは、両方の信頼度が重要なテストに合格した場合にのみ修正され、その後、上位の信頼境界によって分割される。 その出力は常に有界であり、そのカバレッジ保証はガウスノイズを仮定する。 信頼度が良く見積もれば,500のシミュレーションユニットでエラーを半減する以上のものになります。 プロンプト設定はランキングを逆転させることができる。 ARCでは、Qwen2-1.5BがLlama-3.2-3Bを3.8ポイント追尾し、プロンプトに例がなく16.6と2でリードする。 4つのベンチマークで、平均的な2つの設定は、16の逆転のうち15の勝者を1つ挙げている。 我々は各設定内のモデルを比較し、固定されたプロンプトグリッドの項目数に漸近的に家族的エラーを制御する。 種子間の埋め込み座標の調整は、0.003から0.813までの寸法当たりの信頼性を上昇させる。

関連論文リスト

• Truncation Samplers Are Nested: Comparing Decoding Rules Is a Measurement Problem [0.8594140167290097]
  2つのトランケーション・サンプルの1つの比較は6万時間A100時間かかるが、事前に2つのサンプルがどれくらい離れているかは述べられていない。 ほぼすべてのデプロイトランケーションルールが確率分類語彙のプレフィックスを保持するので、そのようなルールはデコードステップ毎にネストされる。 ネストはステップごとに閉じた形式と、両方のサンプルが最初に意見が一致するまで同じテキストを出力する結合をもたらす。
  論文  参考訳（メタデータ） (2026-10-11T12:32:17Z)
• Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
  マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。 標準的な最終精度評価は、これらの反対のメカニズムを詳述する。 複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
  論文  参考訳（メタデータ） (2026-09-28T14:31:19Z)
• You Should Be Properly Scoring Your Odometry [1.554831836850549]
  2つの推定器が、少なくとも1つが根拠の真理を示さずに、過信を露呈できることが示される。 ケーススタディでは,Smfevalを用いて,地上のLiDAR慣性眼振の翻訳成分の不確かさを評価する。
  論文  参考訳（メタデータ） (2026-09-22T09:03:49Z)
• Not All Relations Are Equal: Relation-Balanced and Calibrated Graph Learning for Provenance-Based Intrusion Detection [69.06648810271712]
  本稿では,関係バランスの取れたグラフ学習を用いた教師なしフレームワークRECALについて述べる。 3つのDARPA E3データセットにおいて、RECALはF1スコアの99.99%、99.93%、99.99%を達成し、各データセットでそれぞれ0.88、0.82、0.42で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-15T00:31:01Z)
• A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
  3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。 4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。 信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
  論文  参考訳（メタデータ） (2026-08-30T10:21:34Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces [3.151184728006369]
  本稿では,聴覚条件下でのマルチモデルオーケストレーションのための測定フレームワークACARを提案する。 ACARは、N=3プローブサンプルから計算した自己整合分散(sigma)を使用して、単一モデル、2モデル、3モデル実行モードでタスクをルーティングする。 我々は4つのベンチマークにまたがる1,510のタスクに対してACARを評価し、7,550以上の監査可能な実行を生成した。
  論文  参考訳（メタデータ） (2026-02-06T23:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。