論文の概要: MICRO: Multi-Fidelity Active Search for Severe Error Discovery
- arxiv url: http://arxiv.org/abs/2609.26025v1
- Date: Tue, 22 Sep 2026 11:29:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.342671
- Title: MICRO: Multi-Fidelity Active Search for Severe Error Discovery
- Title（参考訳）: MICRO:重度エラー発見のための多要素アクティブ検索
- Abstract要約: MICRO(Multi-Fidelity Impact Clustered Rollout)を提案する。
MICROは、アイテムの特徴を条件付きで評価とアノテーションの損失を共同でモデル化し、ステア買収を行う。
さまざまな候補を選択するための重大度確率に対する予測された影響によってクラスタ化され、次にロールアウトを使用して発見値を見積もる。
- 参考スコア（独自算出の注目度）: 1.7706526518796295
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Human feedback can vary in cost and informativeness. Strong feedback can reveal severe errors but is costly, so cheaper quality ratings can help decide which items to annotate. We propose MICRO (Multi-Fidelity Impact Clustered Rollout), an active search framework that allocates a shared budget to these feedback types to maximise confirmed severe error discoveries. MICRO jointly models ratings and annotation losses conditional on item features to steer acquisition. It clusters acquisitions by their predicted impact on severity probabilities to select diverse candidates, then uses rollout to estimate their discovery value. Experiments on WMT20 English-German show that ratings improve both loss reconstruction and severity prediction. MICRO achieves the highest mean discovery count across four budget and rating cost settings, with similar performance to adapted MF-ENS in one and significant gains over all six comparison policies, including two rollout controls, in the other three $(p<.001)$.
- Abstract（参考訳）: 人間のフィードバックは、コストと情報性によって異なります。
強いフィードバックは重大なエラーを明らかにしますが、コストがかかるため、より安価な品質評価は、アノテートする項目を決定するのに役立ちます。
MICRO(Multi-Fidelity Impact Clustered Rollout)は,これらのフィードバックタイプに共有予算を割り当て,重大なエラー発見を最大化するアクティブ検索フレームワークである。
MICROは、アイテムの特徴を条件付きで評価とアノテーションの損失を共同でモデル化し、ステア買収を行う。
さまざまな候補を選択するための重大度確率に対する予測された影響によって、買収をクラスタ化し、その後、ロールアウトを使用して発見価値を見積もる。
WMT20の実験では、評価は損失回復と重症度予測の両方を改善している。
MICROは4つの予算と評価コスト設定で最高の平均発見回数を達成し、MF-ENSを1つに適合させ、他の3ドルの(p<.001)$を含む2つのロールアウト制御を含む6つの比較ポリシー全てに匹敵する性能を持つ。
関連論文リスト
- Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation [64.51088225051959]
不均一なAIシステムは、最低コストで最も効果的に答えられる専門家にクエリをルーティングすることで、品質と効率を向上させることができる。
我々はこのトレードオフをPandoraのBoxの例として定式化した。
ガウス信号モデルの下では、得られたポリシーは、各専門家とインプットに対して、その価値見積の精算がそのコストに値するかどうかを決定する、クローズドフォームな情報表現を持つ。
論文 参考訳（メタデータ） (2026-08-20T17:54:37Z) - PReMISE: Policy Rubrics as Measurement Specifications for LLM Judges [33.739528721872844]
役に立ち、現実的」な回答を求めるあいまいなルーリックは、事実を発明したり、ユーザーの意図に反する、洗練された答えに報いることができる。
PReMISEは, 構造的妥当性, 信頼性, 嗜好適合性, 対向ロバスト性という4つの軸に沿って, LLM-judge の下で使用されるすべてのルーブリックを監査するフレームワークである。
選好ランク選択は、ペア化された応答の判定精度を65.0%から6.8.6%に引き上げ、最強のルーリック発見ベースラインと競合し、クロスジャッジスイープの審査員のうち2人を導いた。
論文 参考訳（メタデータ） (2026-05-29T03:45:11Z) - Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。
K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。
EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
論文 参考訳（メタデータ） (2026-05-22T08:26:08Z) - Unsolvability Ceiling in Multi-LLM Routing: An Empirical Study of Evaluation Artifacts [0.07812854697536452]
6つのベンチマークで206,000のクエリモデルペアを持つマルチ層LSMルーティングについて大規模に検討する。
報告された未解決性のかなりの部分は, 評価成果物に起因していることが示されている。
論文 参考訳（メタデータ） (2026-05-08T07:49:24Z) - Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。
我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-03-20T19:34:53Z) - One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。
一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。
これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
論文 参考訳（メタデータ） (2025-10-30T06:08:27Z) - mFARM: Towards Multi-Faceted Fairness Assessment based on HARMs in Clinical Decision Support [10.90604216960609]
大規模言語モデル(LLM)の高度な医療環境への展開は、AIアライメントの重要な課題である。
既存の公正性評価手法は、医療被害の多次元的な性質を無視する単純な指標を使用するため、これらの文脈では不十分である。
本稿では,hARMs(mFARM$)に基づく多面的公正度評価(マルチメトリック・フェアネス・アセスメント)を提案する。
提案した$mFARM$のメトリクスは、さまざまな設定下でより効果的に微妙なバイアスをキャプチャします。
論文 参考訳（メタデータ） (2025-09-02T06:47:57Z) - Forest vs Tree: The $(N, K)$ Trade-off in Reproducible ML Evaluation [5.506095201822833]
信頼性の高い機械学習評価に必要なアイテム数(N$)とアイテムあたりのレスポンス数(K$)のトレードオフについて検討する。
人間の不一致の原因は、少なくとも1つのメトリクスでテストされたデータセットに対して、1000ドル以下で、N倍のK$が伴う可能性がある。
論文 参考訳（メタデータ） (2025-08-05T17:18:34Z) - Revisiting LLM Value Probing Strategies: Are They Robust and Expressive? [81.49470136653665]
広範に利用されている3つの探索戦略における値表現の頑健さと表現性を評価する。
人口統計学的文脈は自由テキスト生成にはほとんど影響を与えず、モデルの値は値に基づく行動の好みと弱い相関しか示さない。
論文 参考訳（メタデータ） (2025-07-17T18:56:41Z) - Implications on Feature Detection when using the Benefit-Cost Ratio [0.0]
一般的なトレードオフ選択は、両者の比率であるBCR(benefit-cost ratio)である。
大きなコスト差と小さな効果の大きさの状況では、BCRは関連する特徴を欠き、安価なノイズ特徴を好んだ。
単純な利益-コスト比は、コストを組み込むための簡単なソリューションを提供するが、リスクを認識しておくことが重要です。
論文 参考訳（メタデータ） (2020-08-12T08:25:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。