論文の概要: The Impact of Expertise in the Loop for Exploring Machine Rationality
- arxiv url: http://arxiv.org/abs/2302.05665v1
- Date: Sat, 11 Feb 2023 11:53:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 19:21:07.111075
- Title: The Impact of Expertise in the Loop for Exploring Machine Rationality
- Title（参考訳）: 機械の合理性を探るループにおける専門家の影響
- Authors: Changkun Ou, Sven Mayer, Andreas Butz
- Abstract要約: 専門知識のレベルが結果の質とそれに対応する主観的満足度に与える影響を分析した。
初心者は、品質パフォーマンスのエキスパートレベルを達成できるが、より高い専門知識を持つ参加者は、より明確な選好で、より多くの最適化を行うことができた。
- 参考スコア（独自算出の注目度）: 35.26871426747907
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Human-in-the-loop optimization utilizes human expertise to guide machine
optimizers iteratively and search for an optimal solution in a solution space.
While prior empirical studies mainly investigated novices, we analyzed the
impact of the levels of expertise on the outcome quality and corresponding
subjective satisfaction. We conducted a study (N=60) in text, photo, and 3D
mesh optimization contexts. We found that novices can achieve an expert level
of quality performance, but participants with higher expertise led to more
optimization iteration with more explicit preference while keeping satisfaction
low. In contrast, novices were more easily satisfied and terminated faster.
Therefore, we identified that experts seek more diverse outcomes while the
machine reaches optimal results, and the observed behavior can be used as a
performance indicator for human-in-the-loop system designers to improve
underlying models. We inform future research to be cautious about the impact of
user expertise when designing human-in-the-loop systems.
- Abstract（参考訳）: ヒューマン・イン・ザ・ループ最適化は、人間の専門知識を活用し、機械最適化を反復的にガイドし、ソリューション空間における最適解を探す。
先行実験研究は主に初心者を対象とし,結果の質と主観的満足度に対する専門知識のレベルの影響を分析した。
テキスト,写真,および3dメッシュ最適化コンテキストにおける研究(n=60)を行った。
初心者は、エキスパートレベルの品質パフォーマンスを達成できるが、高い専門知識を持つ参加者は、満足度を低く保ちながら、より明示的な好みで、より最適化されたイテレーションへと導いた。
対照的に、初心者はより容易に満足し、より速く終了しました。
そこで,計算機が最適結果に達する間,専門家はより多様な結果を求め,観察された行動は基礎となるモデルを改善するためのヒューマン・イン・ザ・ループ・システム・デザイナのパフォーマンス指標として使用できることを明らかにした。
今後の研究は、人為的なループシステムの設計において、ユーザの専門知識が与える影響に注意を喚起する。
関連論文リスト
- Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。
我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。
実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文 参考訳（メタデータ） (2024-06-12T16:58:41Z) - Human-Algorithm Collaborative Bayesian Optimization for Engineering Systems [0.0]
我々は、協調ベイズ最適化のためのアプローチを概説することで、データ駆動意思決定ループに人間を再導入する。
我々の手法は、人間は連続的な選択よりも離散的な選択をより効率的に行うことができるという仮説を生かしている。
本稿では, バイオプロセス最適化やリアクトル幾何設計を含む, 応用および数値ケーススタディにまたがるアプローチを実証する。
論文 参考訳（メタデータ） (2024-04-16T23:17:04Z) - Enhanced Bayesian Optimization via Preferential Modeling of Abstract
Properties [49.351577714596544]
本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。
優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
論文 参考訳（メタデータ） (2024-02-27T09:23:13Z) - Inverse Reinforcement Learning with Sub-optimal Experts [56.553106680769474]
与えられた専門家の集合と互換性のある報酬関数のクラスの理論的性質について検討する。
以上の結果から,複数の準最適専門家の存在が,相反する報酬の集合を著しく減少させる可能性が示唆された。
我々は,最適なエージェントの1つに十分近い準最適専門家のパフォーマンスレベルが最適である場合に,最小限の最適化を行う一様サンプリングアルゴリズムを解析する。
論文 参考訳（メタデータ） (2024-01-08T12:39:25Z) - Experience-Based Evolutionary Algorithms for Expensive Optimization [8.466374531816427]
我々は、関連する問題で得られる経験をよりうまく活用することで、ハード最適化の問題を効率的に扱うことができると論じる。
本稿では,コストのかかる問題の最適化効率を高めるために,経験ベースサロゲート支援進化アルゴリズム(SAEA)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-09T05:47:14Z) - BO-Muse: A human expert and AI teaming framework for accelerated
experimental design [58.61002520273518]
我々のアルゴリズムは、人間の専門家が実験プロセスでリードすることを可能にする。
我々のアルゴリズムは、AIや人間よりも高速に、サブ線形に収束することを示す。
論文 参考訳（メタデータ） (2023-03-03T02:56:05Z) - Incorporating Expert Prior Knowledge into Experimental Design via
Posterior Sampling [58.56638141701966]
実験者は、グローバルな最適な場所に関する知識を得ることができる。
グローバル最適化に関する専門家の事前知識をベイズ最適化に組み込む方法は不明である。
効率の良いベイズ最適化手法は、大域的最適の後方分布の後方サンプリングによって提案されている。
論文 参考訳（メタデータ） (2020-02-26T01:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。