論文の概要: Aggregation of Pareto optimal models
- arxiv url: http://arxiv.org/abs/2112.04161v1
- Date: Wed, 8 Dec 2021 08:21:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-13 15:19:51.575042
- Title: Aggregation of Pareto optimal models
- Title（参考訳）: パレート最適モデルの集約
- Authors: Hamed Hamze Bajgiran and Houman Owhadi
- Abstract要約: 統計的決定論において、モデルが最適であるとは、他のモデルが少なくとも1つの自然状態のリスクを減らし、他のモデルに対するリスクを減らさないことをいう。
本稿では4つの論理的なステップで答えを示す。
すべての有理/一貫性アグリゲーション規則は階層的ベイズモデリングの一般化に従わなければならないことを示す。
- 参考スコア（独自算出の注目度）: 0.8122270502556374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In statistical decision theory, a model is said to be Pareto optimal (or
admissible) if no other model carries less risk for at least one state of
nature while presenting no more risk for others. How can you rationally
aggregate/combine a finite set of Pareto optimal models while preserving Pareto
efficiency? This question is nontrivial because weighted model averaging does
not, in general, preserve Pareto efficiency. This paper presents an answer in
four logical steps: (1) A rational aggregation rule should preserve Pareto
efficiency (2) Due to the complete class theorem, Pareto optimal models must be
Bayesian, i.e., they minimize a risk where the true state of nature is averaged
with respect to some prior. Therefore each Pareto optimal model can be
associated with a prior, and Pareto efficiency can be maintained by aggregating
Pareto optimal models through their priors. (3) A prior can be interpreted as a
preference ranking over models: prior $\pi$ prefers model A over model B if the
average risk of A is lower than the average risk of B. (4) A
rational/consistent aggregation rule should preserve this preference ranking:
If both priors $\pi$ and $\pi'$ prefer model A over model B, then the prior
obtained by aggregating $\pi$ and $\pi'$ must also prefer A over B. Under these
four steps, we show that all rational/consistent aggregation rules are as
follows: Give each individual Pareto optimal model a weight, introduce a weak
order/ranking over the set of Pareto optimal models, aggregate a finite set of
models S as the model associated with the prior obtained as the weighted
average of the priors of the highest-ranked models in S. This result shows that
all rational/consistent aggregation rules must follow a generalization of
hierarchical Bayesian modeling. Following our main result, we present
applications to Kernel smoothing, time-depreciating models, and voting
mechanisms.
- Abstract（参考訳）: 統計決定論において、モデルがパレート最適(あるいは許容できる)であるとは、他のモデルが少なくとも一つの自然状態に対するリスクが少なく、他のモデルにこれ以上のリスクを示さない場合に言う。
パレート効率を保ちながら、パレート最適モデルの有限集合を合理的に集約/組み合わせるにはどうすればよいか。
重み付きモデル平均化は一般にパレート効率を保たないため、この問題は自明ではない。
1) 有理集約則はパレート効率を保存すべき(2) 完全類定理により、パレート最適モデルはベイズ型でなければならない、すなわち、自然の真の状態が以前よりも平均化されるリスクを最小限に抑える。
したがって、それぞれのパレート最適モデルを事前に関連付けることができ、パレート最適モデルを事前を通じて集約することでパレート効率を維持することができる。
(3) A prior can be interpreted as a preference ranking over models: prior $\pi$ prefers model A over model B if the average risk of A is lower than the average risk of B. (4) A rational/consistent aggregation rule should preserve this preference ranking: If both priors $\pi$ and $\pi'$ prefer model A over model B, then the prior obtained by aggregating $\pi$ and $\pi'$ must also prefer A over B. Under these four steps, we show that all rational/consistent aggregation rules are as follows: Give each individual Pareto optimal model a weight, introduce a weak order/ranking over the set of Pareto optimal models, aggregate a finite set of models S as the model associated with the prior obtained as the weighted average of the priors of the highest-ranked models in S. This result shows that all rational/consistent aggregation rules must follow a generalization of hierarchical Bayesian modeling.
主な結果に続いて,カーネルのスムース化,時間短縮モデル,投票機構に関するアプリケーションを提示する。
関連論文リスト
- MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
モデルマージは、同じトレーニング済みモデルから細調整された複数のシングルタスクモデルをマルチタスクモデルに結合する効果的なアプローチである。
既存のモデルマージ手法は、平均的なタスク精度の向上に重点を置いている。
Amortized Pareto Front (MAP) を用いた新しい低計算アルゴリズム Model Merging を導入する。
論文 参考訳（メタデータ） (2024-06-11T17:55:25Z) - Soft Preference Optimization: Aligning Language Models to Expert Distributions [40.84391304598521]
SPOは、Large Language Models (LLMs)のような生成モデルと人間の好みを整合させる手法である。
SPOは、選好損失をモデル全体の出力分布全体にわたる正規化項と統合する。
本稿では,SPOの方法論,理論的基礎,および単純さ,計算効率,アライメント精度における比較優位性について紹介する。
論文 参考訳（メタデータ） (2024-04-30T19:48:55Z) - Accelerating Ensemble Error Bar Prediction with Single Models Fits [0.5249805590164902]
Nモデルのアンサンブルは、推論に使用される場合の1つのモデルに比べて、およそN倍計算的に要求される。
本研究では,単一モデルを用いてアンサンブル誤りを予測し,完全アンサンブルを必要とせずに不確実性を推定する手法を提案する。
論文 参考訳（メタデータ） (2024-04-15T16:10:27Z) - A Nested Weighted Tchebycheff Multi-Objective Bayesian Optimization
Approach for Flexibility of Unknown Utopia Estimation in Expensive Black-box
Design Problems [0.0]
既存の研究では、未知のユートピアを定式化するための重み付きTchebycheff MOBOアプローチが実証されている。
モデルアンサンブルから回帰モデル選択手順を構築する,ネスト重み付きTchebycheff MOBOフレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-16T00:44:06Z) - Rationales for Sequential Predictions [117.93025782838123]
シーケンスモデルは現代のNLPシステムにおいて重要な要素であるが、それらの予測は説明が難しい。
モデル説明は有理だが、個々のモデル予測を説明できる文脈のサブセットを考える。
この目的を近似する効率的なグリードアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-14T01:25:15Z) - PSD Representations for Effective Probability Models [117.35298398434628]
最近提案された非負関数に対する正半定値(PSD)モデルがこの目的に特に適していることを示す。
我々はPSDモデルの近似と一般化能力の両方を特徴付け、それらが強い理論的保証を享受していることを示す。
本研究では,PSDモデルの密度推定,決定理論,推論への応用への道を開く。
論文 参考訳（メタデータ） (2021-06-30T15:13:39Z) - A bandit-learning approach to multifidelity approximation [7.960229223744695]
マルチファイデリティ近似は、科学計算とシミュレーションにおいて重要な技術である。
異なる忠実度のデータを利用して正確な推定を行うためのバンディットラーニング手法を紹介します。
論文 参考訳（メタデータ） (2021-03-29T05:29:35Z) - On Statistical Efficiency in Learning [37.08000833961712]
モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。
モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。
実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
論文 参考訳（メタデータ） (2020-12-24T16:08:29Z) - On Exploiting Hitting Sets for Model Reconciliation [53.81101846598925]
ヒューマン・アウェア・プランニングにおいて、プランニング・エージェントは、その計画がなぜ最適なのかを人間に説明する必要があるかもしれない。
この手法はモデル和解と呼ばれ、エージェントはモデルと人間のモデルの違いを調和させようとする。
我々は,計画の領域を超えて拡張されたモデル和解のための論理ベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2020-12-16T21:25:53Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳（メタデータ） (2020-10-24T07:01:24Z) - On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。
異なる家族間でのモデルランキングの相関はみられない。
論文 参考訳（メタデータ） (2020-02-17T20:13:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。