論文の概要: When Are Predictions Enough? An Evaluation Protocol for Frozen Expert Composition
- arxiv url: http://arxiv.org/abs/2611.13356v1
- Date: Mon, 09 Nov 2026 23:30:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.6244
- Title: When Are Predictions Enough? An Evaluation Protocol for Frozen Expert Composition
- Title(参考訳): 予測が十分であるのはいつか : 凍結した専門家構成の評価プロトコル
- Abstract要約: 再利用可能な評価プロトコルを導入し、DF40から21個の凍結したディープフェイク検出器に適用し、評価選択が結論をどう変えるかを評価する。
このプロトコルは、強力な予測ベースラインを使用し、シンプルで大きな機能コンバインダを比較し、アーキテクチャとトレーニングデータを別々に変更し、列車/テストのオーバーラップ制御を備えた保留ジェネレータによる結果を報告する。
- 参考スコア(独自算出の注目度): 43.0484058393522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Practitioners often combine independently trained models while keeping their weights frozen. These experts are commonly combined through their final predictions, although their internal features may retain useful information that those predictions omit. We ask when combining features improves on combining predictions, and how to make that comparison fair. We introduce a reusable evaluation protocol, apply it to 21 frozen deepfake detectors from DF40 (Yan et al., 2024), and audit how evaluation choices change the conclusions. The protocol uses strong prediction baselines, compares simple and larger feature combiners, varies architecture and training data separately, and reports results by held-out generator with train/test overlap controls. Under leave-one-generator-out evaluation, logistic regression on the features of six architecture-diverse experts improves macro AUROC by 0.081 over the best tested prediction combiner in each fold, with gains on seven of eight generators. The larger network shows no clear improvement over the linear model (approximately 3.5M versus 10K parameters), suggesting that access to richer information matters more than additional combiner capacity on this pool. Features may help when they retain information that the predictions omit and that transfers to new generators. Predictions may be enough when the strongest prediction baseline already performs well, while neither approach reliably compensates for poor expert transfer. Weakening prediction baselines on the overlap-affected standard split inflates the apparent feature advantage by up to 0.172 AUROC. Overlap-aware evaluation also changes the estimated gain, though the contrast does not isolate overlap. Results by generator and expert pool show where the advantage holds, weakens, or reverses. Without these controls, the same benchmark can support different conclusions.
- Abstract(参考訳): 実践者は、重量を凍らせながら、独立して訓練されたモデルを組み合わせることも多い。
これらの専門家は最終的な予測を通じて一般的に結合されるが、内部の特徴はそれらの予測が省略される有用な情報を保持する可能性がある。
機能の組み合わせが予測の組み合わせを改善するタイミングと、その比較を公平にする方法を問う。
再利用可能な評価プロトコルを導入し、DF40(Yan et al , 2024)から21個の凍結したディープフェイク検出器に適用し、評価選択が結論をどう変えるかを評価する。
このプロトコルは、強力な予測ベースラインを使用し、シンプルで大きな機能コンバインダを比較し、アーキテクチャとトレーニングデータを別々に変更し、列車/テストのオーバーラップ制御を備えた保留ジェネレータによる結果を報告する。
6つのアーキテクチャ・多様性の専門家の特徴に対するロジスティック回帰は、各折り畳みの最良の予測コンバインダよりもAUROCを0.081改善し、8つのジェネレータのうち7つをゲインする。
より大きなネットワークは、線形モデル(約3.5Mと10Kのパラメータ)よりも明確な改善を示さず、よりリッチな情報へのアクセスは、このプールのコンバインダー容量以上の意味があることを示唆している。
予測が省略され、新しいジェネレータに転送される情報を保持するのに役立つかもしれない。
予測は、最強の予測ベースラインがすでにうまく機能している場合に十分である。
重なり合う標準分割に基づく予測基準の弱めは、最大0.172 AUROCによる明らかな特徴の利点を膨らませる。
オーバーラップ・アウェアの評価も推定利得を変化させるが、コントラストは重複を分離しない。
ジェネレータとエキスパートプールによる結果は、利点がどこにあるか、弱まるか、あるいは逆になるかを示しています。
これらのコントロールがなければ、同じベンチマークは異なる結論をサポートすることができる。
関連論文リスト
- EviCast: Forecasting Retrieval Gains Through Shared Response Calibration [81.48214908232247]
介入エビデンス-状態分解による検索値を予測するフレームワークであるEviCastを紹介する。
EviCastは、制御されたエビデンス状態に対するジェネレータの応答を測定し、この共有プロファイルと各候補レトリバーのオフラインエビデンス状態分布を組み合わせる。
状態制限解析は、そのバイナリおよびトポロジ対応のインスタンス化が正確で、共有キャリブレーションがレトリバーごとのキャリブレーションよりも統計的に効率的である場合に特徴付けられる。
論文 参考訳(メタデータ) (2026-11-02T01:55:58Z) - Sparse Incident-Cluster Learning for 12-hour Port Flood Pre-warning in Digital-Twin Analytics [9.39026429591892]
ポートフラッドデジタル双生児は、破壊前にオペレーターに警告する分析を必要とする。
公式な警告インシデントは少なく、隣接する観測は時間的に依存している。
インシデントクラスタ学習問題として,12時間の浸水予報を定式化する。
論文 参考訳(メタデータ) (2026-09-05T14:10:09Z) - Do AI Forecast Ensembles Sample the Correct Conditional Distribution? [0.3538763598295922]
我々は,米国東海岸の干潟8地点で,確率的海底海水準予測のための拡散モデルを訓練した。
その結果,各駅における正の技量とリードタイムの正の技量と,共同空間構造が気候学的なドローよりも悪いことが判明した。
論文 参考訳(メタデータ) (2026-08-09T23:16:10Z) - Conformal Prediction for Ensembles: Improving Efficiency via Score-Based Aggregation [18.928543069018865]
等角予測は分布仮定を避ける一つの方法である。
しかし、予測領域をマージすることで、コンフォメーションスコアに存在する構造が犠牲になり、保守性はさらに低下する。
そこで本研究では,新しいフレームワークを分類と予測列最適化の両方で効果的に活用できることを述べる。
論文 参考訳(メタデータ) (2024-05-25T14:11:01Z) - Confidence and Dispersity Speak: Characterising Prediction Matrix for
Unsupervised Accuracy Estimation [51.809741427975105]
この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。
我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。
核の基準は既存の手法よりも正確で堅牢であることを示す。
論文 参考訳(メタデータ) (2023-02-02T13:30:48Z) - Restricted Bernoulli Matrix Factorization: Balancing the trade-off
between prediction accuracy and coverage in classification based
collaborative filtering [45.335821132209766]
本稿では,Restricted Bernoulli Matrix Factorization (ResBeMF) を提案する。
提案モデルでは,他のレコメンデーションモデルと比較して,品質指標のバランスが良好である。
論文 参考訳(メタデータ) (2022-10-05T13:48:19Z) - Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。
我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。
そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
論文 参考訳(メタデータ) (2021-09-30T19:19:09Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳(メタデータ) (2021-06-22T18:29:58Z) - Anti-Distillation: Improving reproducibility of deep networks [3.7311680121118345]
同一のアーキテクチャと同一の訓練されたパラメータセットを持つとされる2つのモデルであっても、以前は見えなかった個々の例で非常に異なる予測を行うことができる。
アンチ蒸留は、サンプルのミニバッチよりも出力を非相関化する技術によって、コンポーネントを互いにアンサンブルする。
実験結果から, ベンチマークおよび実データセット上でのアンチ蒸留により, 精度の高い予測差の低減が得られた。
論文 参考訳(メタデータ) (2020-10-19T23:47:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。