論文の概要: Automatic design optimization of preference-based subjective evaluation
with online learning in crowdsourcing environment
- arxiv url: http://arxiv.org/abs/2403.06100v1
- Date: Sun, 10 Mar 2024 05:55:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 08:30:24.129426
- Title: Automatic design optimization of preference-based subjective evaluation
with online learning in crowdsourcing environment
- Title（参考訳）: クラウドソーシング環境におけるオンライン学習による嗜好に基づく主観評価の自動最適化
- Authors: Yusuke Yasuda and Tomoki Toda
- Abstract要約: ペアの組み合わせ選択とオンライン学習による評価ボリュームの割り当ての観点から,選好に基づく主観評価の自動最適化手法を提案する。
合成音声の嗜好に基づく主観評価実験では,ペアの組み合わせを351対から83対に減らし,評価精度を損なうことなく30対から663対に最適な評価量を割り当て,予算配分を無駄にすることで,テストの最適化に成功した。
- 参考スコア（独自算出の注目度）: 40.08488986902563
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A preference-based subjective evaluation is a key method for evaluating
generative media reliably. However, its huge combinations of pairs prohibit it
from being applied to large-scale evaluation using crowdsourcing. To address
this issue, we propose an automatic optimization method for preference-based
subjective evaluation in terms of pair combination selections and allocation of
evaluation volumes with online learning in a crowdsourcing environment. We use
a preference-based online learning method based on a sorting algorithm to
identify the total order of evaluation targets with minimum sample volumes. Our
online learning algorithm supports parallel and asynchronous execution under
fixed-budget conditions required for crowdsourcing. Our experiment on
preference-based subjective evaluation of synthetic speech shows that our
method successfully optimizes the test by reducing pair combinations from 351
to 83 and allocating optimal evaluation volumes for each pair ranging from 30
to 663 without compromising evaluation accuracies and wasting budget
allocations.
- Abstract（参考訳）: 嗜好に基づく主観評価は、生成媒体を確実に評価するための重要な方法である。
しかし、その巨大な組み合わせは、クラウドソーシングによる大規模評価に適用できない。
本稿では,クラウドソーシング環境におけるオンライン学習による組み合わせ選択と評価ボリュームの割り当てという観点から,嗜好に基づく主観評価の自動最適化手法を提案する。
分類アルゴリズムに基づく選好ベースのオンライン学習手法を用いて,評価対象の合計順序を最小サンプル量で識別する。
クラウドソーシングに必要な固定予算条件下での並列および非同期実行をサポートする。
提案手法は, 合成音声の嗜好に基づく主観評価実験において, ペアの組み合わせを351から83に削減し, 評価精度を損なうことなく, 30から663までのペアに対して最適な評価量を割り当てることで, テストの最適化に成功した。
関連論文リスト
- Ordinal Preference Optimization: Aligning Human Preferences via NDCG [28.745322441961438]
我々は、NDCGを異なる代理損失で近似することで、エンドツーエンドの選好最適化アルゴリズムを開発する。
OPOは、AlpacaEvalのような評価セットや一般的なベンチマークにおいて、既存のペアワイズおよびリストワイズアプローチよりも優れています。
論文 参考訳（メタデータ） (2024-10-06T03:49:28Z) - An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
まず最適化モデルを構築し,非単調な選好をモデル化する。
本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。
2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
論文 参考訳（メタデータ） (2024-09-04T14:36:20Z) - Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。
学習シナリオにおける同値性に基づく単一のフレームワークを提案する。
我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
論文 参考訳（メタデータ） (2024-05-09T12:52:22Z) - Stop Relying on No-Choice and Do not Repeat the Moves: Optimal,
Efficient and Practical Algorithms for Assortment Optimization [38.57171985309975]
本研究では,emphPlackett Luce (PL) を用いたコンソーシアム選択問題に対する効率的なアルゴリズムを開発した。
提案手法は,既存の手法の限界を無視し,実用的かつ確実に最適である。
論文 参考訳（メタデータ） (2024-02-29T07:17:04Z) - A unified surrogate-based scheme for black-box and preference-based
optimization [2.561649173827544]
ブラックボックスと嗜好に基づく最適化問題は密接に関連しており、同じアプローチのファミリを用いて解決可能であることを示す。
一般的なMSRSフレームワークを一般化した最適化手法である一般化されたメトリック応答面(gMRS)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-03T08:47:54Z) - Better than Average: Paired Evaluation of NLP Systems [31.311553903738798]
評価スコアのインスタンスレベルのペアリングを考慮に入れることの重要性を示す。
平均, 中央値, BT と 2 種類のBT (Elo と TrueSkill) を用いて評価スコアの完全な解析を行うための実用的なツールをリリースする。
論文 参考訳（メタデータ） (2021-10-20T19:40:31Z) - Adaptive Sampling for Heterogeneous Rank Aggregation from Noisy Pairwise
Comparisons [85.5955376526419]
ランキングアグリゲーション問題では、各項目を比較する際に、様々な精度レベルが示される。
本稿では,ノイズのあるペアワイズ比較によってアイテムのランクを推定する,除去に基づくアクティブサンプリング戦略を提案する。
提案アルゴリズムは,商品の真のランキングを高い確率で返却できることを示す。
論文 参考訳（メタデータ） (2021-10-08T13:51:55Z) - Learning How to Optimize Black-Box Functions With Extreme Limits on the
Number of Function Evaluations [3.0969191504482243]
ブラックボックス最適化では,約100桁の関数評価が極めて限られた数しか手頃な価格で行われない。
本稿では,確立された手法を用いて各バッチの点集合を提案し,これらの候補点から,並列に実行できる試行回数をダウンセレクトする手法を提案する。
我々は、正規化コストの平均50%の削減を達成し、これは非常に大きな性能改善である。
論文 参考訳（メタデータ） (2021-03-18T15:30:15Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-15T10:08:39Z) - SetRank: A Setwise Bayesian Approach for Collaborative Ranking from
Implicit Feedback [50.13745601531148]
提案手法は,提案システムにおける暗黙的フィードバックの特性に対応するために,協調的ランキング(SeetRank)のためのセッティングワイドベイズ的手法を提案する。
具体的には、SetRankは、新しい設定された選好比較の後方確率を最大化することを目的としている。
また、SetRankの理論解析により、余剰リスクの境界が$sqrtM/N$に比例できることを示す。
論文 参考訳（メタデータ） (2020-02-23T06:40:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。