Fugu-MT 論文翻訳(概要): BayesAME: Bayesian Active Model Evaluation

論文の概要: BayesAME: Bayesian Active Model Evaluation

arxiv url: http://arxiv.org/abs/2607.27023v1
Date: Wed, 29 Jul 2026 15:20:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-30 21:06:25.722838
Title: BayesAME: Bayesian Active Model Evaluation
Title（参考訳）: BayesAME: Bayesian Active Model Evaluation
Abstract要約: BayesAMEは、コアセットサイズの自動決定に特化したシーケンシャルなベイズフレームワークである。我々はベイズAMEが既存の手法の逐次的適応を一貫して上回っていることを示す。また、従来のバイナリスコアよりも連続応答のログライクフィグレーションを活用することで、推定精度が大幅に向上する点も強調する。
参考スコア（独自算出の注目度）: 27.758157009505908
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Evaluating large generative models across benchmarks is time-consuming and computationally expensive. This drives the need for methods that can estimate full benchmark performance by evaluating models on only a subset of items, known as a coreset. Current literature mostly requires the practitioner to input a coreset size. However, when reliable performance estimation takes priority over efficiency, an evaluation method should also be capable of automatically determining a coreset size that reflects this priority. We introduce BayesAME, a sequential Bayesian framework specifically targeting automatic determination of the coreset size. BayesAME models performance as a random variable by defining a latent ability for each group of items sharing the same historical model performances, with a joint prior distribution encoding the belief that the target model behaves similarly to these historical models. The posterior distribution over these abilities is used to derive performance estimators, quantify performance uncertainty, and select items to add to the coreset via an information-gain criterion. The coreset is iteratively augmented until the performance estimate fluctuation and the performance uncertainty fall below their respective user-defined thresholds. We propose a multi-target extension that captures performance correlations across multiple target models to further reduce the coreset size. Through extensive experiments across diverse benchmarks, we demonstrate that BayesAME consistently outperforms sequential adaptations of existing methods. Crucially, our comprehensive analysis addresses recent skepticism in the literature, establishing that non-random coreset selection is advantageous over random selection. Finally, we highlight that leveraging continuous response log-likelihoods over traditional binary scores significantly enhances estimation accuracy.
Abstract（参考訳）: ベンチマーク全体で大きな生成モデルを評価するのは、時間と計算コストがかかる。これにより、コアセットとして知られる項目のサブセットのみに関するモデルを評価することで、完全なベンチマークパフォーマンスを見積もることができるメソッドの必要性が高まっます。現在の文献では、主に実践者がコアセットのサイズを入力する必要がある。しかし、信頼性の高い性能推定が効率よりも優先される場合、評価手法は、この優先度を反映したコアセットサイズを自動的に決定できる。本稿では,コアセットサイズの自動決定を対象とする連続ベイズフレームワークBayesAMEを紹介する。 BayesAMEは、同じ履歴モデルのパフォーマンスを共有する項目群ごとに潜在能力を定義することで、ランダム変数としてパフォーマンスをモデル化する。これらの能力に対する後続分布は、性能推定器を導出し、性能の不確実性を定量化し、情報ゲイン基準を介してコアセットに追加する項目を選択するために用いられる。コアセットは、パフォーマンス見積の変動とパフォーマンスの不確実性がそれぞれのユーザ定義しきい値以下になるまで反復的に拡張される。本稿では,コアセットサイズをより小さくするために,複数のターゲットモデル間の性能相関をキャプチャするマルチターゲット拡張を提案する。様々なベンチマークの広範な実験を通して、ベイズAMEは既存の手法の逐次的適応を一貫して上回っていることを示す。重要な点として、我々の包括的な分析は最近の文献の懐疑論に対処し、ランダム選択よりも非ランダムなコアセット選択が有利であることを示す。最後に、従来のバイナリスコアに連続的な応答ログを組み込むことで、推定精度が大幅に向上する点を強調した。

関連論文リスト

Learning More from Less: Unlocking Internal Representations for Benchmark Compression [37.69575776639016]
異種隠蔽状態を統一潜在空間に整列させて代表コアセットを構成するREPCOREを導入する。 5つのベンチマークと200以上のモデルの実験は、ランキングの相関と推定精度において、出力ベースラインよりも一貫した利得を示している。
論文参考訳（メタデータ） (2026-01-31T13:11:39Z)
Scales++: Compute Efficient Evaluation Subset Selection with Cognitive Scales Embeddings [23.9553588103042]
本稿では,タスク項目自体の本質的な特性に基づいて選択を行うことを論じ,サブセット選択をベンチマークする項目中心のアプローチを提案する。 Scales++は、競争力のある予測忠実性を達成しながら、事前選択コストを18倍以上削減します。この項目中心のアプローチは,忠実度を著しく低下させることなく,より効率的なモデル評価を可能にすることを実証する。
論文参考訳（メタデータ） (2025-10-30T11:28:58Z)
The Lie of the Average: How Class Incremental Learning Evaluation Deceives You? [48.83567710215299]
クラスインクリメンタルラーニング(CIL)では、モデルが学習済みのクラスを忘れずに、新しいクラスを継続的に学習する必要がある。我々は、ロバストなCIL評価プロトコルは、性能分布全体を正確に特徴付け、推定するべきであると論じる。我々は,タスク間類似度を用いて,極端なクラスシーケンスを適応的に識別し,サンプリングする評価プロトコルEDGEを提案する。
論文参考訳（メタデータ） (2025-09-26T17:00:15Z)
Preference Trajectory Modeling via Flow Matching for Sequential Recommendation [50.077447974294586]
シーケンスレコメンデーションは、履歴的なインタラクションシーケンスに基づいて、各ユーザの次の項目を予測する。 FlowRecはシンプルだが効果的なシーケンシャルレコメンデーションフレームワークである。我々は,ガウス雑音に代えてパーソナライズされた行動に基づく事前分布を構築し,ユーザの嗜好軌跡をモデル化するためのベクトル場を学習する。
論文参考訳（メタデータ） (2025-08-25T02:55:42Z)
Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文参考訳（メタデータ） (2025-05-21T07:16:44Z)
Beyond One-Size-Fits-All: Tailored Benchmarks for Efficient Evaluation [19.673388630963807]
本論文では,各対象モデルに合わせてカスタマイズした評価を行うTaloredBenchを提案する。 Global-coresetはまず、ターゲットモデル毎に最も一貫性のあるソースモデルを特定するプローブとして構築される。拡張性のあるK-Medoidsクラスタリングアルゴリズムが提案され、Global-coresetを各ターゲットモデルに適したNative-coresetに拡張する。
論文参考訳（メタデータ） (2025-02-19T09:31:50Z)
Leveraging Uncertainty Estimates To Improve Classifier Performance [4.4951754159063295]
バイナリ分類では、正のクラスのモデルスコアが、アプリケーション要求に基づいて選択されたしきい値を超えるかどうかに基づいて、インスタンスのラベルを予測する。しかし、モデルスコアは真の肯定率と一致しないことが多い。これは特に、クラス間の差分サンプリングを含むトレーニングや、トレインとテスト設定間の分散ドリフトがある場合に当てはまる。
論文参考訳（メタデータ） (2023-11-20T12:40:25Z)
Refined Coreset Selection: Towards Minimal Coreset Size under Model Performance Constraints [69.27190330994635]
コアセットの選択は、計算コストの削減とディープラーニングアルゴリズムのデータ処理の高速化に強力である。本稿では,モデル性能とコアセットサイズに対する最適化優先順序を維持する革新的な手法を提案する。実験的に、広範な実験によりその優位性が確認され、しばしばより小さなコアセットサイズでモデル性能が向上する。
論文参考訳（メタデータ） (2023-11-15T03:43:04Z)
Post-Selection Confidence Bounds for Prediction Performance [2.28438857884398]
機械学習では、潜在的に多くの競合モデルから有望なモデルを選択し、その一般化性能を評価することが重要な課題である。本稿では,評価セットの予測性能に基づいて選択された複数のモデルに対して,有効な低信頼境界を求めるアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-10-24T13:28:43Z)
Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation [87.54604263202941]
本稿では,従来の推定値の修正に部分的レイヤを反復的に活用する,小さなディープニューラルネットワークを提案する。学習したゲーティング基準を用いて、ウェイトシェアリングループから抜け出すかどうかを判断し、モデルにサンプルごとの適応を可能にする。提案手法は,広く使用されているベンチマークの精度と効率の両面から,最先端の2D/3Dハンドポーズ推定手法より一貫して優れている。
論文参考訳（メタデータ） (2021-11-11T23:31:34Z)
Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文参考訳（メタデータ） (2020-03-14T22:29:50Z)
On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。異なる家族間でのモデルランキングの相関はみられない。
論文参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。