論文の概要: AMLworld-Compact: Importance-Weighted Downsampling for Cost-Effective LLM Evaluation and Error Diagnosis

• arxiv url: http://arxiv.org/abs/2610.13627v1
• Date: Fri, 09 Oct 2026 14:09:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.614146
• Title: AMLworld-Compact: Importance-Weighted Downsampling for Cost-Effective LLM Evaluation and Error Diagnosis
• Title（参考訳）: AMLworld-Compact:Conportance-Weighted Downsampling for Cost-Effective LLM Evaluation and Error Diagnosis
• Abstract要約: AMLworld-Compactは、教師付きスコア層から良性トランザクションをサンプリングする評価セットである。 HT-CoresetプロトコルはHI-SmallとLI-Smallで評価対象を271xと611xに削減する。
• 参考スコア（独自算出の注目度）: 4.483894132527289
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating large language models (LLMs) on AMLworld's smallest test splits is costly because each of over a million targets requires a separate graph prompt. Sampling reduces this cost, but small balanced subsets change unweighted precision and F1. We introduce AMLworld-Compact, an evaluation set that retains every illicit test transaction and samples benign transactions from supervised-score strata. Its HT-Coreset protocol reduces evaluation targets by 271x and 611x on HI-Small and LI-Small. Horvitz-Thompson weights give unbiased full-test confusion-count estimates for fixed predictions; recall is exact, while precision and F1 are ratio estimates. In a held-out study using Graph Feature Preprocessor (GFP) features, one boosted-tree family defines strata for evaluating the other over 500 draws per configuration. At the released sizes, F1 RMSE is 0.00-2.58 percentage points versus 4.44-7.41 for uniform sampling with HT weights; conservative intervals remain broad. Under the evaluated graph prompts, seven open-weight LLMs have weighted precision near the predict-all-illicit baseline. In an outcome-stratified audit of 1,000 HI-Small few-shot outputs from one run per model, lexical checks pass for 84.5% of correct and 56.2% of incorrect binary verdicts, so these markers do not establish correctness. We release the evaluation sets, construction code, and audit tools at https://huggingface.co/datasets/typhoon-ai/AMLworldCompactEval and https://github.com/nat-nischw/AMLworld-Compact.
• Abstract（参考訳）: AMLworldの最小のテスト分割で大規模言語モデル(LLM)を評価するのは、100万以上のターゲットのそれぞれが別々のグラフプロンプトを必要とするため、コストがかかる。 サンプリングは、このコストを削減するが、小さなバランスの取れたサブセットは、未重み付き精度とF1を変化させる。 AMLworld-Compactは、不正なテストトランザクションをすべて保持し、教師付きスコア層から良質なトランザクションをサンプリングする評価セットである。 HT-CoresetプロトコルはHI-SmallとLI-Smallで評価対象を271xと611xに削減する。 Horvitz-Thompson重みは固定予測に対して不偏の完全な乱数推定を与えるが、精度とF1は比推定である。 Graph Feature Preprocessor (GFP) 機能を使用したホールトアウトスタディでは、あるブーストツリーファミリが、構成毎に500以上の描画を評価するためのストラタを定義している。 放出されたサイズでは、F1 RMSEは0.00-2.58パーセンテージであり、HT重量の均一サンプリングは4.44-7.41である。 評価されたグラフプロンプトでは、7つのオープンウェイト LLM が予測全イリシット基底線付近で重み付けされた精度を持つ。 1モデル当たり1000 HI-Small の少数ショットアウトプットによる結果階層化された監査では、語彙チェックは84.5%の正確さと56.2%の誤判定をパスしているため、これらのマーカーは正確性を確立していない。 評価セット、構築コード、監査ツールをhttps://huggingface.co/datasets/typhoon-ai/AMLworldCompactEvalとhttps://github.com/nat-nischw/AMLworld-Compactでリリースします。

関連論文リスト

• Auditing VLM Benchmarks from Existing Evaluation Runs [0.0]
  視覚検出器モデル(VLM)のすべての評価実行によって生成される1回の探究アーチファクト 追加の監査層 VLMEvalKit: 6つの検出器が保存出力上の後処理検出器として動作する。 追加のテキストのみのテキストのみの再実行で、クエスト毎のレポートを出力する視覚的な入力が削除された。
  論文  参考訳（メタデータ） (2026-10-09T13:05:22Z)
• Measurement Boundaries in LLM Financial Agent Evaluation: Fixed-Tape Execution and Multi-Defect Auditing [0.0635655952373977]
  本研究では,金融エージェントの評価において,実行性能の解釈と監査スコアの2つの限界について検討する。 StudyAでは、3つの合成セッティング上での独立実行とストレスのある実行を比較することで、実行ルールと新しいモデル応答とポートフォリオフィードバックが混在する。 StudyBでは,従来のタスクをゼロ,1,2の欠陥タスクに,明示的なマルチラベルプロンプトで置き換えることによって,1から2の欠陥からの目標違反リコールの減少は,監査と情報源の組み合わせの5つのうち5つにおいて肯定的である。
  論文  参考訳（メタデータ） (2026-09-26T08:54:21Z)
• Bounded Precision-Geometry Scaling for Robust Multi-Task Learning under Loss Scale Mismatch [0.0]
  マルチタスク学習はしばしば数桁の損失を組み合わせ、ホモシステマティックな不確実性重み付けが著しく低下する。 バッチ損失統計に固定された有界シグモノイドパラメータ化により各タスクのログ分散をマッピングする手法である境界精度幾何スケーリング(BPGS)を提案する。 BPGSを合成応力試験と実世界の3つのベンチマークで評価した: NYUv2高密度予測、Yeast多ラベル分類、RF1多ターゲット回帰。
  論文  参考訳（メタデータ） (2026-08-21T21:48:51Z)
• In-Context Learning for the Imputation of Public Opinion Data with Large Language Models [1.928261926292315]
  In-context Learning (ICL) を用いて, 欠落した調査データをインプットする手法を提案する。 異なる欠陥機構(MCAR, MAR, MNAR)間でのICL設計選択を系統的に評価する。 我々のICLアプローチは、非ランダム欠落(MNAR)の下で最大のゲインを持つ、すべての欠落メカニズムにおける絶対誤差を一貫して減少させる。
  論文  参考訳（メタデータ） (2026-06-08T11:25:10Z)
• Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
  我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
  論文  参考訳（メタデータ） (2026-05-22T08:26:08Z)
• Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
  本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。 我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
  論文  参考訳（メタデータ） (2025-10-02T15:22:28Z)
• Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
  コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。 我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:41:53Z)
• BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of Faithfulness Metrics [70.52570641514146]
  不誠実な最小対 (BUMP) のベンチマークを示す。 BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。 非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
  論文  参考訳（メタデータ） (2022-12-20T02:17:30Z)
• Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
  本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。 本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。 特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
  論文  参考訳（メタデータ） (2020-12-03T02:07:43Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。