論文の概要: Principled Bayesian Optimisation in Collaboration with Human Experts
- arxiv url: http://arxiv.org/abs/2410.10452v1
- Date: Mon, 14 Oct 2024 12:46:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-29 21:34:52.235945
- Title: Principled Bayesian Optimisation in Collaboration with Human Experts
- Title（参考訳）: 人間専門家とのコラボレーションにおけるベイズ最適化の原理
- Authors: Wenjie Xu, Masaki Adachi, Colin N. Jones, Michael A. Osborne,
- Abstract要約: 専門家がバイナリ・アセプション/リジェクト・レコメンデーション(ラベル)を通じてアドバイスを提供するセットアップを検討する。
専門家のラベルは費用がかかることが多く、その努力を効率的に利用する必要がある。
2つの重要な保証を提供する、最初の原則付きアプローチを導入します。
- 参考スコア（独自算出の注目度）: 23.988732776208053
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Bayesian optimisation for real-world problems is often performed interactively with human experts, and integrating their domain knowledge is key to accelerate the optimisation process. We consider a setup where experts provide advice on the next query point through binary accept/reject recommendations (labels). Experts' labels are often costly, requiring efficient use of their efforts, and can at the same time be unreliable, requiring careful adjustment of the degree to which any expert is trusted. We introduce the first principled approach that provides two key guarantees. (1) Handover guarantee: similar to a no-regret property, we establish a sublinear bound on the cumulative number of experts' binary labels. Initially, multiple labels per query are needed, but the number of expert labels required asymptotically converges to zero, saving both expert effort and computation time. (2) No-harm guarantee with data-driven trust level adjustment: our adaptive trust level ensures that the convergence rate will not be worse than the one without using advice, even if the advice from experts is adversarial. Unlike existing methods that employ a user-defined function that hand-tunes the trust level adjustment, our approach enables data-driven adjustments. Real-world applications empirically demonstrate that our method not only outperforms existing baselines, but also maintains robustness despite varying labelling accuracy, in tasks of battery design with human experts.
- Abstract（参考訳）: 実世界の問題に対するベイズ最適化は、しばしば人間の専門家と対話的に行われ、それらのドメイン知識を統合することが最適化プロセスを加速する鍵となる。
我々は、バイナリアクセプション/リジェクトレコメンデーション(ラベル)を通じて、専門家が次のクエリポイントに対してアドバイスを提供する設定を検討します。
専門家のラベルは費用がかかることが多く、その努力を効率的に利用する必要がある。
2つの重要な保証を提供する、最初の原則付きアプローチを導入します。
1) ハンドオーバ保証: 非regretプロパティと同様、専門家のバイナリラベルの累積個数に基づくサブリニアを確立する。
当初はクエリ毎に複数のラベルが必要であるが、専門家ラベルの数は漸近的にゼロに収束し、専門家の努力と計算時間を節約する必要がある。
2)データ駆動型信頼水準調整によるノハーム保証:我々の適応的信頼水準は、専門家のアドバイスが敵対的であっても、アドバイスを使わずに収束率が悪くなることはないことを保証します。
信頼度調整を手作業で行うユーザ定義関数を用いた既存手法とは異なり,本手法はデータ駆動型調整を可能にする。
実世界のアプリケーションでは,本手法が既存のベースラインを上回り,ラベル付け精度が異なるにもかかわらず頑健性を維持することを実証的に実証している。
関連論文リスト
- Online Decision Mediation [72.80902932543474]
意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。
臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
論文 参考訳（メタデータ） (2023-10-28T05:59:43Z) - Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳（メタデータ） (2023-10-09T11:44:50Z) - Active Ranking of Experts Based on their Performances in Many Tasks [72.96112117037465]
我々は、dタスクのパフォーマンスに基づいて、n名のエキスパートをランク付けする問題を考察する。
我々は,各専門家のペアに対して,各タスクにおいて他方よりも優れているという,単調な仮定を定めている。
論文 参考訳（メタデータ） (2023-06-05T06:55:39Z) - Experts in the Loop: Conditional Variable Selection for Accelerating
Post-Silicon Analysis Based on Deep Learning [6.6357750579293935]
シリコン後検証は半導体製造において最も重要なプロセスの1つである。
この研究は、専門家をループに留めつつ、新しい条件変数選択アプローチを設計することを目的としている。
論文 参考訳（メタデータ） (2022-09-30T06:12:12Z) - Recommendation Systems with Distribution-Free Reliability Guarantees [83.80644194980042]
我々は、主に良いアイテムを含むことを厳格に保証されたアイテムのセットを返す方法を示す。
本手法は, 擬似発見率の厳密な有限サンプル制御によるランキングモデルを提供する。
我々はYahoo!のランキングとMSMarcoデータセットの学習方法を評価する。
論文 参考訳（メタデータ） (2022-07-04T17:49:25Z) - Uncertainty Minimization for Personalized Federated Semi-Supervised
Learning [15.123493340717303]
我々は,データ関連クライアント(ヘルパーエージェント)からのラベリング支援を部分的にラベル付けまたは未ラベルのクライアントが求めることのできる,新しい半教師付き学習パラダイムを提案する。
実験により,提案手法は部分ラベル付きデータを用いた他の関連する研究よりも優れた性能と安定な収束が得られることが示された。
論文 参考訳（メタデータ） (2022-05-05T04:41:27Z) - Confident in the Crowd: Bayesian Inference to Improve Data Labelling in
Crowdsourcing [0.30458514384586394]
我々は,コスト削減を図りながら,ラベルの品質を向上させる新しい手法を提案する。
本稿では,ベイズ推定などのより洗練された手法を用いてラベルラの性能を計測する。
提案手法は,群集内で不一致が発生した場合に高い信頼性を維持しつつ,コストと精度の両方で標準的な投票方法より優れる。
論文 参考訳（メタデータ） (2021-05-28T17:09:45Z) - RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
ラベルのないデータを利用して一般化境界を生成する手法を紹介します。
境界が0-1経験的リスク最小化に有効であることを証明します。
この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
論文 参考訳（メタデータ） (2021-05-01T17:05:29Z) - Pointwise Binary Classification with Pairwise Confidence Comparisons [97.79518780631457]
ペアワイズ比較(Pcomp)分類を提案し、ラベルのないデータのペアしか持たない。
我々はPcomp分類をノイズラベル学習に結びつけて、進歩的UREを開発し、一貫性の正則化を課すことにより改善する。
論文 参考訳（メタデータ） (2020-10-05T09:23:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。