論文の概要: Heteroscedastic Preferential Bayesian Optimization with Informative Noise Distributions
- arxiv url: http://arxiv.org/abs/2405.14657v1
- Date: Thu, 23 May 2024 14:55:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 14:26:04.226633
- Title: Heteroscedastic Preferential Bayesian Optimization with Informative Noise Distributions
- Title（参考訳）: インフォーマティブ雑音分布を用いた不定格優先ベイズ最適化
- Authors: Marshal Arijona Sinaga, Julien Martinelli, Vikas Garg, Samuel Kaski,
- Abstract要約: 本研究では,不確実性を捉えるヘテロスセダスティックノイズモデルを提案する。
そのようなモデルは、取得関数にシームレスに統合することができる。
- 参考スコア（独自算出の注目度）: 19.8441514986677
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Preferential Bayesian optimization (PBO) is a sample-efficient framework for learning human preferences between candidate designs. PBO classically relies on homoscedastic noise models to represent human aleatoric uncertainty. Yet, such noise fails to accurately capture the varying levels of human aleatoric uncertainty, particularly when the user possesses partial knowledge among different pairs of candidates. For instance, a chemist with solid expertise in glucose-related molecules may easily compare two compounds from that family while struggling to compare alcohol-related molecules. Currently, PBO overlooks this uncertainty during the search for a new candidate through the maximization of the acquisition function, consequently underestimating the risk associated with human uncertainty. To address this issue, we propose a heteroscedastic noise model to capture human aleatoric uncertainty. This model adaptively assigns noise levels based on the distance of a specific input to a predefined set of reliable inputs known as anchors provided by the human. Anchors encapsulate partial knowledge and offer insight into the comparative difficulty of evaluating different candidate pairs. Such a model can be seamlessly integrated into the acquisition function, thus leading to candidate design pairs that elegantly trade informativeness and ease of comparison for the human expert. We perform an extensive empirical evaluation of the proposed approach, demonstrating a consistent improvement over homoscedastic PBO.
- Abstract（参考訳）: 優先ベイズ最適化(英: Preferential Bayesian Optimization、PBO)は、候補設計間の人間の嗜好を学習するためのサンプリング効率の高いフレームワークである。
古典的には、PBOはヒトのアレータリック不確実性を表すホモスセダティックノイズモデルに依存している。
しかし、そのようなノイズは、特にユーザーが異なる候補間の部分的知識を持っている場合、人間の失神不確かさのレベルを正確に把握することができない。
例えば、グルコース関連分子の確立した専門知識を持つ化学者は、アルコール関連分子の比較に苦労しながら、その家系の2つの化合物を簡単に比較することができる。
現在、PBOは、取得関数の最大化により、新しい候補の探索中にこの不確実性を見落とし、その結果、人間の不確実性に関連するリスクを過小評価している。
この問題に対処するため,本研究では,ヒトのアレータリック不確かさを捉えるヘテロセシダティックノイズモデルを提案する。
このモデルは、特定の入力の距離に基づいて、人間の提供するアンカーとして知られる信頼度の高い入力のセットに適応的にノイズレベルを割り当てる。
アンカーは部分的な知識をカプセル化し、異なる候補ペアを評価することの難しさに関する洞察を提供する。
このようなモデルは、取得関数にシームレスに組み込むことができ、それによって、人間の専門家に対する情報性と比較の容易さを優雅に交換する設計ペアが候補となる。
提案手法の広範な実証評価を行い, 相補的PBOに対する一貫した改善を実証した。
関連論文リスト
- Robust Estimation of Causal Heteroscedastic Noise Models [7.568978862189266]
学生の$t$-distributionは、より小さなサンプルサイズと極端な値で、全体の分布形態を著しく変えることなく、サンプル変数をサンプリングすることの堅牢さで知られている。
我々の経験的評価は、我々の推定器はより堅牢で、合成ベンチマークと実ベンチマークの総合的な性能が向上していることを示している。
論文 参考訳（メタデータ） (2023-12-15T02:26:35Z) - Modeling Uncertainty in Personalized Emotion Prediction with Normalizing
Flows [6.32047610997385]
本研究では,条件付き正規化フローを用いて予測の不確かさを捉える新しい手法を提案する。
感情認識とヘイトスピーチを含む3つの主観的NLP課題に対して,本手法の有効性を検証した。
開発した手法によって得られた情報により,従来の手法を超越したハイブリッドモデルの構築が可能となった。
論文 参考訳（メタデータ） (2023-12-10T23:21:41Z) - Human-in-the-Loop Causal Discovery under Latent Confounding using Ancestral GFlowNets [15.95243318673688]
ほとんどの因果探索アルゴリズムは不確実性推定を提供しておらず、ユーザが結果を解釈し、推論プロセスを改善することは困難である。
ベイズ情報量規準(BIC)のようなスコア関数に基づく信念分布に比例した(因果)祖先グラフのサンプリングを提案する。
次に、変数間の関係について専門家を反復的に調査する最適な実験設計を導入し、祖先グラフに対する我々の信念の不確実性を効果的に低減する。
論文 参考訳（メタデータ） (2023-09-21T12:53:45Z) - Optimizing the Noise in Self-Supervised Learning: from Importance
Sampling to Noise-Contrastive Estimation [80.07065346699005]
GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。
我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。
本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
論文 参考訳（メタデータ） (2023-01-23T19:57:58Z) - Benchmarking common uncertainty estimation methods with
histopathological images under domain shift and label noise [62.997667081978825]
リスクの高い環境では、深層学習モデルは不確実性を判断し、誤分類の可能性がかなり高い場合に入力を拒否しなければなりません。
我々は,全スライド画像の分類において,最もよく使われている不確実性と頑健さの厳密な評価を行う。
我々は一般的に,手法のアンサンブルが,ドメインシフトやラベルノイズに対するロバスト性の向上とともに,より良い不確実性評価につながることを観察する。
論文 参考訳（メタデータ） (2023-01-03T11:34:36Z) - Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。
AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。
誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
論文 参考訳（メタデータ） (2022-09-22T04:32:51Z) - Holistic Approach to Measure Sample-level Adversarial Vulnerability and
its Utility in Building Trustworthy Systems [17.707594255626216]
敵対的攻撃は、知覚不能な雑音を伴うイメージを摂動させ、誤ったモデル予測をもたらす。
本稿では,異なる視点を組み合わせることで,サンプルの敵対的脆弱性を定量化するための総合的アプローチを提案する。
サンプルレベルで確実に敵の脆弱性を推定することにより、信頼できるシステムを開発できることを実証する。
論文 参考訳（メタデータ） (2022-05-05T12:36:17Z) - The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。
特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
論文 参考訳（メタデータ） (2022-03-02T13:59:20Z) - A Study on Mitigating Hard Boundaries of Decision-Tree-based Uncertainty
Estimates for AI Models [0.0]
不確実性ラッパーは、入力品質に関連する不確実性をクラスタ化するための決定木アプローチを使用し、異なる不確実性クラスタに厳密に入力を割り当てる。
我々の目標は、解釈可能性、ランタイムの複雑さ、予測性能を維持しながら、ハードな決定境界を緩和するアプローチに置き換えることです。
論文 参考訳（メタデータ） (2022-01-10T10:29:12Z) - Analyzing and Improving the Optimization Landscape of Noise-Contrastive
Estimation [50.85788484752612]
ノイズコントラスト推定(NCE)は、非正規化確率モデルを学習するための統計的に一貫した手法である。
ノイズ分布の選択がNCEの性能に不可欠であることが実験的に観察されている。
本研究では,不適切な雑音分布を用いた場合,NCEの性能低下の原因を正式に指摘する。
論文 参考訳（メタデータ） (2021-10-21T16:57:45Z) - Provable tradeoffs in adversarially robust classification [96.48180210364893]
我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。
この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
論文 参考訳（メタデータ） (2020-06-09T09:58:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。