論文の概要: SFGA: A Statistics-First Gating Architecture with Adjudicative Escalation for Trustworthy SFT Data Procurement
- arxiv url: http://arxiv.org/abs/2607.18960v1
- Date: Tue, 21 Jul 2026 10:52:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.396304
- Title: SFGA: A Statistics-First Gating Architecture with Adjudicative Escalation for Trustworthy SFT Data Procurement
- Title(参考訳): SFGA:信頼できるSFTデータ取得のための適応的エスカレーションを備えた統計第一のゲーティングアーキテクチャ
- Abstract要約: 我々は、調達をコストに配慮したルーティング問題として扱う統計第一のゲーティングアーキテクチャであるsysを提案する。
ゲートは間隔が狭く、サンプルサイズが適切で、軸が一致する場合にのみ決定を受理する。
コンサイドの勝利率は0.80、ポジションフリップ率は52%である。
- 参考スコア(独自算出の注目度): 2.8129261352670003
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Procuring supervised fine-tuning (SFT) data forces a buyer to decide, before any downstream training, whether a candidate corpus is worth acquiring. We present \sys{}, a statistics-first gating architecture that treats procurement as a cost-aware routing problem over three intrinsic quality axes -- diversity, utility, and redundancy. Cheap blind measurements are summarised into per-axis estimates with confidence intervals; a gate accepts a decision only when intervals are tight, sample sizes are adequate, and the axes agree, otherwise it escalates the case to an adjudicative debate between a buy-advocate and a reject-advocate judge, resolved by a presiding verdict. On a controlled benchmark of 12 datasets ($2{\times}3{\times}2$ grid over the three axes) with 5 seeds, the gate reaches 0.90 accuracy and 0.83 $F_1$ at \$0.017 per unit, sitting between an always-verify baseline (0.75) and an oracle upper bound (0.98) while spending less than always-escalate (\$0.020). We further report honest negative diagnostics of the debate path: a con-side win rate of 0.80 ($p\approx3{\times}10^{-6}$) and a 52\% position-flip rate under advocate swapping expose negativity and positional biases that a naive LLM-judge would hide. We frame the injected-knob evaluation explicitly as a controlled synthetic benchmark for measurement fidelity and routing calibration, and delimit external validity as future work.
- Abstract(参考訳): 教師付き微調整(SFT)データを取得すると、買い手は下流でのトレーニングの前に、候補コーパスが取得する価値があるかどうかを判断せざるを得なくなる。
本稿では,3つの内在的な品質軸(多様性,有用性,冗長性)上での調達をコストを意識したルーティング問題として扱う統計第一のゲーティングアーキテクチャである‘sys{}’を提案する。
ゲートは、間隔が狭く、サンプルサイズが適切である場合にのみ決定を受理し、軸が一致し、そうでなければ、主審判決によって解決された、買い取り請求者と拒否請求者の間の弁論的な議論に事件をエスカレートする。
5つのシードを持つ12のデータセット(2{\times}3{\times}2$のグリッド)の制御されたベンチマークにおいて、ゲートは0.90の精度で0.83ドルのF_1$、1単位あたり0.017ドルに達し、常に検証されたベースライン(0.75)とオラクルの上界(0.98)の間に座って、常にエスカレートする(0.020ドル)。
コンサイドの勝利率は0.80 (p\approx3{\times}10^{-6}$) であり,提案者の下では52 % のポジションフリップ率を示す。
実測精度と経路キャリブレーションのための制御された合成ベンチマークとして, インジェクテッド・ノブ評価を明示的に設定し, 将来の作業として外部の妥当性を排除した。
関連論文リスト
- When Should a World Model Move? Loss-Conditioned State Execution [4.142275163201261]
損失条件付き状態実行は、世界モデルの固定可能な提案を実行するか、現在の状態を保持するかを決定するモデルに依存しない手法である。
我々は、状態移動性を損失低減可能な補正の存在として定式化し、特定の提案の利点と区別する。
パブリック予測とアクション条件のダイナミックスベンチマークの実験では、サポートされたアップデートと、認定とカバレッジの間のトレードオフが示されている。
論文 参考訳(メタデータ) (2026-09-14T16:12:03Z) - Pricing the Risk of Runtime Compression: Anytime-Valid Admission and a Served-Output Law for Compressed Serving State [6.272878315342466]
プロダクションサービススタック(100%要求)における長期要求のたびに、組合予算が枯渇していることを示します。
私たちはそれを、352,333のライブトラフィックに対する入場呼び出しの1つに制限のある、有能で物理的に説明された台帳に置き換える。
値付けられたバウンダリは要求に何の価値もないので、第3のリンクは定量化器である。
論文 参考訳(メタデータ) (2026-08-16T15:37:44Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳(メタデータ) (2026-08-08T13:22:14Z) - Detecting and Discriminating Operator Misspecification in Hybrid PDE-Parameter Learning: a Reference-Free Instrument, with Discrimination Bounded In Sample [0.0]
私たちは1つのフィットから読み取る楽器を作り、オラクルは持っていません。
回復時に神経推定器がTikhonov-regularized inversionに負ける、事前登録された負の機器である、装置の盲点を報告する。
論文 参考訳(メタデータ) (2026-08-04T21:20:44Z) - Uncertainty-guided active learning for surrogate prediction of stream-finishing wear fields [37.82552353322716]
我々は、幾何学から直接、侵食を規定する3つの分野を予測する不確実性誘導型サロゲートフレームワークを提案する。
このサロゲートは、不一致が不確実性を推定する深いアンサンブルを使用し、最も不確実な方向に対してDEMシミュレーションを実行するアクティブラーニング戦略を可能にする。
論文 参考訳(メタデータ) (2026-08-01T11:12:39Z) - One Human, $N$ Agents: Audit-Budget Allocation for LLM Agent Fleets under Miscalibrated, Correlated Confidence [41.99844472131922]
一人の人間が1ラウンド当たり$N$ LLMエージェントを予算$B ll N$監査で監査しなければならない。
我々はこれを、2段階のガウス的コーパスに対する予算付きノイズ検査としてモデル化し、信頼度の高い監査がランダムである場合の誤校正しきい値($*$過去)を特定する。
論文 参考訳(メタデータ) (2026-07-30T14:52:36Z) - Trustworthy synthetic data for campaign decision support: strategy simulation fidelity and the PolicySynth framework [0.8757175705879833]
プライバシの制約により、実際のデータの使用が制限されないため、意思決定支援システムは、合成顧客人口に対して、いつまでも分析を継続する傾向にある。
実人口と同一のGo/no-goキャンペーン決定を合成集団がどれだけ頻繁に獲得するかを評価する基準である戦略シミュレーション忠実度(SSF)を提示する。
政策シンスの平均SSFは0.923と0.960で、種子と種子のばらつきは電気通信のCTGANの約10倍、銀行の2.5倍である。
論文 参考訳(メタデータ) (2026-07-13T08:51:39Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳(メタデータ) (2026-06-09T02:11:01Z) - A Joint Finite-Sample Certificate for Adaptive Selective Conformal Risk Control [0.9668407688201359]
選択したリスクを直接比率として扱うことにより、有界、おそらくは非単調な損失の証明を与える。
1/pmin$から1/sqrtpmin$への受け入れフロア依存を鋭くする。
この証明書は、Hoeffding--CRCに対する認証受け入れフロンティアを$+22$ ppで開く。
論文 参考訳(メタデータ) (2026-06-07T08:55:44Z) - Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。
EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
論文 参考訳(メタデータ) (2026-05-28T09:45:47Z) - Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。
本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
論文 参考訳(メタデータ) (2026-05-07T06:31:34Z) - Training-Free Probabilistic Time-Series Forecasting with Conformal Seasonal Pools [0.0]
コンフォーマル・シーズン・プール(Conformal Seasonal Pools)は、訓練のない確率的時系列予測装置である。
CSPは、学習されたパラメータやトレーニングなしで、これらすべてを達成する。
論文 参考訳(メタデータ) (2026-05-05T14:16:35Z) - Incompressible Knowledge Probes: Estimating Black-Box LLM Parameter Counts via Factual Capacity [0.3951796994513004]
iKPs(textbfIncompressible Knowledge Probes)は,7層にまたがる1,400の事実質問のベンチマークである。
89のオープンウェイトモデル (135M-1,600B) において、IKP精度からパラメータ数へのログ線形マッピングを19のベンダーで調整する。
Mixture-of-Expertsモデルでは、全パラメータがアクティブパラメータよりもはるかに優れた知識を予測する。
論文 参考訳(メタデータ) (2026-04-27T15:46:23Z) - Learning in Prophet Inequalities with Noisy Observations [38.27113852163736]
オンライン意思決定と最適停止における基本的な問題である預言不平等について検討する。
我々は,低信頼度しきい値を用いた学習と意思決定を統合するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2026-04-02T08:55:56Z) - ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。
ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
論文 参考訳(メタデータ) (2025-12-01T09:44:31Z) - ORCA: Open-ended Response Correctness Assessment for Audio Question Answering [41.72231074041232]
本研究では,予測精度と不確実性の両方を予測するために,ベータ分布を用いた人的判断の変動をモデル化するフレームワークORCAを提案する。
我々は15のLALMから11,721のアノテーションを収集し,0.82(クリッペンドルフのα)のアノテータ間契約を達成した。
論文 参考訳(メタデータ) (2025-11-28T14:41:48Z) - Log-Sum-Exponential Estimator for Off-Policy Evaluation and Learning [50.93804891554481]
従来の逆確率スコア推定よりも優れた対数推定演算子(log-sum-exponential (LSE)演算子)に基づく新しい推定器を提案する。
我々のLSE推定器は, 重み付き条件下での分散低減とロバスト性を示す。
政治以外の学習シナリオでは、LSE推定器と最適ポリシーの間のパフォーマンスギャップである後悔の限界を確立します。
論文 参考訳(メタデータ) (2025-06-07T17:37:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。