論文の概要: A Note on Data Simulations for Voting by Evaluation
- arxiv url: http://arxiv.org/abs/2104.07666v1
- Date: Thu, 15 Apr 2021 07:50:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-19 14:23:39.500652
- Title: A Note on Data Simulations for Voting by Evaluation
- Title(参考訳): 評価による投票データシミュレーションに関する一考察
- Authors: Antoine Rolland (ERIC), Jean-Baptiste Aubin (PSPM), Ir\`ene Gannaz
(PSPM), Samuela Leoni
- Abstract要約: シミュレーションモデルは評価に基づく投票規則の分析には適さない。
評価に基づく投票入力を生成するシミュレーションモデルを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Voting rules based on evaluation inputs rather than preference orders have
been recently proposed, like majority judgement, range voting or approval
voting. Traditionally, probabilistic analysis of voting rules supposes the use
of simulation models to generate preferences data, like the Impartial Culture
(IC) or Impartial and Anonymous Culture (IAC) models. But these simulation
models are not suitable for the analysis of evaluation-based voting rules as
they generate preference orders instead of the needed evaluations. We propose
in this paper several simulation models for generating evaluation-based voting
inputs. These models, inspired by classical ones, are defined, tested and
compared for recommendation purpose.
- Abstract(参考訳): 選好順序よりも評価入力に基づく投票ルールが最近提案されており、多数決、範囲投票、承認投票などがある。
伝統的に、投票規則の確率論的分析は、不偏文化(ic)や不偏文化(iac)モデルのような選好データを生成するためにシミュレーションモデルを使うことを前提としている。
しかし、これらのシミュレーションモデルは、必要な評価ではなく選好順序を生成するため、評価に基づく投票規則の分析には適していない。
本稿では,評価に基づく投票入力を生成するためのシミュレーションモデルを提案する。
これらのモデルは、古典的なモデルにインスパイアされ、推奨目的のために定義され、テストされ、比較される。
関連論文リスト
- Aligning Large Language Models by On-Policy Self-Judgment [52.25915009010184]
大規模言語モデルと人間の嗜好を整合させる既存のアプローチは、オンライン学習のために別々の報酬モデル(RM)を必要とするトレードオフに直面しています。
本稿では,オンライン学習を行い,パラメータ効率の高いアライメントフレームワーク,メソッドを提案する。
また, さらなる評価を行なわずに, サンプリング自体がさらなる性能向上に寄与することを示した。
論文 参考訳(メタデータ) (2024-02-17T11:25:26Z) - Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。
我々はLSMに答えを自己評価するように指示する。
自己評価に基づくスコアリング手法をベンチマークする。
論文 参考訳(メタデータ) (2023-12-14T19:09:22Z) - OMNIINPUT: A Model-centric Evaluation Framework through Output
Distribution [31.00645110294068]
我々は,AI/MLモデルの予測品質を,可能なすべての入力に対して評価するモデル中心評価フレームワークOmniInputを提案する。
提案手法では, 学習モデルの入力と出力分布を求めるために, 効率的なサンプリング器を用いる。
実験により,OmniInputはモデル間のよりきめ細かい比較を可能にした。
論文 参考訳(メタデータ) (2023-12-06T04:53:12Z) - Leveraging Uncertainty Estimates To Improve Classifier Performance [4.4951754159063295]
バイナリ分類では、正のクラスのモデルスコアが、アプリケーション要求に基づいて選択されたしきい値を超えるかどうかに基づいて、インスタンスのラベルを予測する。
しかし、モデルスコアは真の肯定率と一致しないことが多い。
これは特に、クラス間の差分サンプリングを含むトレーニングや、トレインとテスト設定間の分散ドリフトがある場合に当てはまる。
論文 参考訳(メタデータ) (2023-11-20T12:40:25Z) - FLASK: Fine-grained Language Model Evaluation based on Alignment Skill
Sets [72.54255857335549]
FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。
モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
論文 参考訳(メタデータ) (2023-07-20T14:56:35Z) - How to Estimate Model Transferability of Pre-Trained Speech Models? [84.11085139766108]
事前学習音声モデルの伝達可能性推定のためのスコアベースアセスメントフレームワーク
ベイズ確率推定と最適輸送という2つの表現理論を利用して、PSM候補のランクスコアを生成する。
本フレームワークは,候補モデルやレイヤを実際に微調整することなく,転送可能性スコアを効率的に計算する。
論文 参考訳(メタデータ) (2023-06-01T04:52:26Z) - Exploring validation metrics for offline model-based optimisation with
diffusion models [50.404829846182764]
モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。
モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。
本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
論文 参考訳(メタデータ) (2022-11-19T16:57:37Z) - LDNet: Unified Listener Dependent Modeling in MOS Prediction for
Synthetic Speech [67.88748572167309]
本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。
より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
論文 参考訳(メタデータ) (2021-10-18T08:52:31Z) - Realistic Evaluation Principles for Cross-document Coreference
Resolution [19.95214898312209]
我々は、モデルが標準ECB+データセットの合成トピック構造を利用するべきではないと主張している。
私たちは、より現実的な評価原則が競争モデルに与える影響を実証的に示します。
論文 参考訳(メタデータ) (2021-06-08T09:05:21Z) - Multi-agent simulation of voter's behaviour [2.2043969529099097]
本研究の目的は,投票方式による有権者行動のシミュレートである。
提案手法では, 投票過程を複数反復でモデル化するために, 投票結果を考慮したマルチエージェントシミュレーションを用いる。
論文 参考訳(メタデータ) (2021-01-27T16:48:03Z) - Evaluating approval-based multiwinner voting in terms of robustness to
noise [10.135719343010177]
承認ベースのマルチウィンナー投票は常に妥当な雑音に対して堅牢であることを示す。
ノイズに対する頑丈さの観点から、ルールの階層構造を提示することで、この発見をさらに洗練します。
論文 参考訳(メタデータ) (2020-02-05T13:17:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。