論文の概要: When Audit Quality Fails to Predict Downstream Utility: A Counterfactual Study of Synthetic-Data Selectors for Low-Resource African NLP
- arxiv url: http://arxiv.org/abs/2609.18960v1
- Date: Wed, 15 Jul 2026 16:06:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.581029
- Title: When Audit Quality Fails to Predict Downstream Utility: A Counterfactual Study of Synthetic-Data Selectors for Low-Resource African NLP
- Title（参考訳）: 低エネルギーアフリカNLP用合成データセレクタの実証研究
- Abstract要約: 低リソースのアフリカ語分類における制御されたリプレイでは、このプロキシが壊れることを示す。
4つの言語(アムハラ語、ハウサ語、スワヒリ語、ヨルバ語)にまたがって、2つの分類タスク、監査ランキング、下流ランキングが多様化している。
監査テーブル、セレクタごとの保持プール、および報告されたすべての番号をソース行にリンクするクレーム台帳をリリースします。
- 参考スコア（独自算出の注目度）: 0.6372261626436676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Quality-aware synthetic-data selection rests on a proxy: examples that an LLM judge rates as good should also help a downstream model learn. In a controlled replay in low-resource African-language classification, we show that this proxy breaks. Across four languages (Amharic, Hausa, Swahili, Yoruba), two classification tasks (MasakhaNEWS, AfriSenti), and five matched-budget selectors, audit rankings and downstream rankings diverge. Within each cell, the Spearman between judged label correctness and Macro-F1 across selectors has mean $ρ{=}0.04$ (median $0.00$), showing that the mismatch is not an aggregation artifact. \method{}-V2, our counterfactual audit framework, produces the cleanest selected pool on three audit channels at once: highest judged label correctness ($0.904$ vs.\ $0.767$ for naive, a $17.9\%$ relative gain), lowest shortcut score, and a hard-reject rate of $0.162$ vs.\ $0.486$ for naive. AlpaGasus nevertheless leads downstream Macro-F1 ($0.202$ vs.\ $0.163$ for \method{}-V2), and the inversion persists on the five non-degenerate cells. The lesson is methodological: in this controlled setting, audit quality is a property of the selected pool, not a guarantee of downstream utility. Synthetic-data evaluation should therefore report audit and downstream metrics on the same retained sets. We release the audit tables, per-selector retained pools, and a claim ledger that links every reported number to its source row.
- Abstract（参考訳）: 品質に配慮した合成データの選択はプロキシに依存します。例えば、LLMの判断が良いと判断することは、下流のモデルを学ぶのにも役立ちます。
低リソースのアフリカ語分類における制御されたリプレイでは、このプロキシが壊れることを示す。
4つの言語(アムハラ語、ハウサ語、スワヒリ語、ヨルバ語)にまたがって、2つの分類タスク(マサハネWS語、アフリセンティ語)と5つの整合した予算選択タスク、監査ランキング、下流ランキングが分岐する。
各セル内では、判定されたラベルの正しさとセレクタ間のマクロF1の間のスピアマンは$ρ{=}0.04$ (median $0.00$)であり、ミスマッチはアグリゲーションアーティファクトではないことを示している。
当社のカウンターファクト監査フレームワークである \method{}-V2 は,3つの監査チャネル上で,最もクリーンな選択プールを一度に生成する。
\ $0.767$ for naive, a $117.9\%$ relative gain, a low shortcut score, a hard-reject rate of $0.162$ vs.
の$0.486$。
AlpaGasusはそれでも、Macro-F1のダウンストリームをリードしている。
は 0.163$ for \method{}-V2) であり、反転は5つの非退化細胞に持続する。
この制御された設定では、監査品質は選択されたプールの特性であり、下流ユーティリティの保証ではない。
したがって、合成データ評価は、同じ保持セット上で監査と下流メトリクスを報告すべきである。
監査テーブル、セレクタごとの保持プール、および報告されたすべての番号をソース行にリンクするクレーム台帳をリリースします。
関連論文リスト
- Reference-Based Bias Detection in LLMs via Relative Representations of Hidden States [4.505185728893222]
本稿では,関連するモデル変種にまたがる隠れ状態表現のバイアスを監査する参照ベース手法を提案する。
微調整されたリサップ表現幾何学のため、絶対的な隠れ状態は直接的に同値ではない。
対象群が正・負の属性とどのように関連するかを測定する。
論文 参考訳（メタデータ） (2026-09-09T11:33:35Z) - Which Model Is Actually Serving You? IRIS: Budgeted Black-Box Auditing of Model Substitution and Routing Dilution in LLM Gateways [6.964275075635626]
返却されたテキストのみを必要とする監査である$mathrmIRIS$を提示します。
安価なパイロットは指数的なクエリエラーの崩壊に適合し、疑わしいクエリが発行される前にその予算を凍結する。
$mathrmIRIS$ match or beats detection on shared task, and adapt allocationss the matched-budget target-hit rate from 7,3$% to 8,7$%。
論文 参考訳（メタデータ） (2026-07-23T02:32:08Z) - Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。
EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
論文 参考訳（メタデータ） (2026-05-28T09:45:47Z) - Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。
K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。
EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
論文 参考訳（メタデータ） (2026-05-22T08:26:08Z) - Correcting Selection Bias in Sparse User Feedback for Large Language Model Quality Estimation: A Multi-Agent Hierarchical Bayesian Approach [0.9558392439655014]
本研究では, 個別の相互作用に対して, 地絡ラベルを必要としない3次元階層型ベイズパイプラインを提案する。
フィードバックチャネル(典型的には正のフィードバック率と負のフィードバック比)の軽度先行は、バイアス比が一掃されるにつれて階層的インフォームドは4-13 pp of $Qstar$ に留まる。
チャネル側の先行がなければ、すべての弱いプライオリティは、22-33 pp.で$Qstar$を逃す。
論文 参考訳（メタデータ） (2026-05-12T14:22:06Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳（メタデータ） (2026-04-20T13:25:40Z) - Criterion-referenceability determines LLM-as-a-judge validity across physics assessment formats [0.01116979912801043]
我々は、GPT-5.2、Grok 4.1、Claude Opus 4.5、DeepSeek-V3.2、Gemini Pro 3、および盲目、解答、偽解、そして模範的な条件下でのヒトマーカーに対する委員会集計を比較した。
n=771ドルのブラインド大学試験の質問に対して、モデルは差別的妥当性の強い分数平均絶対誤差(fMAE)$approx 0.22$を達成する。
$n=55$スクリプト全体において、盲目のAIマーキングは人間のマーキングよりも厳格で可変的であり、差別的妥当性はすでに貧弱である。
論文 参考訳（メタデータ） (2026-03-16T02:09:06Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - Technical report on label-informed logit redistribution for better domain generalization in low-shot classification with foundation models [3.938980910007962]
信頼度校正は、基礎モデルに基づく現実世界の意思決定システムにおいて、新たな課題である。
本研究では,微調整の際,不正分類を罰する損失目標に組み込んだペナルティを提案する。
CMP(textitconfidence misalignment penalty)と呼ぶ。
論文 参考訳（メタデータ） (2025-01-29T11:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。