論文の概要: The Impact of Expertise in the Loop for Exploring Machine Rationality
- arxiv url: http://arxiv.org/abs/2302.05665v1
- Date: Sat, 11 Feb 2023 11:53:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 19:21:07.111075
- Title: The Impact of Expertise in the Loop for Exploring Machine Rationality
- Title(参考訳): 機械の合理性を探るループにおける専門家の影響
- Authors: Changkun Ou, Sven Mayer, Andreas Butz
- Abstract要約: 専門知識のレベルが結果の質とそれに対応する主観的満足度に与える影響を分析した。
初心者は、品質パフォーマンスのエキスパートレベルを達成できるが、より高い専門知識を持つ参加者は、より明確な選好で、より多くの最適化を行うことができた。
- 参考スコア(独自算出の注目度): 35.26871426747907
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Human-in-the-loop optimization utilizes human expertise to guide machine
optimizers iteratively and search for an optimal solution in a solution space.
While prior empirical studies mainly investigated novices, we analyzed the
impact of the levels of expertise on the outcome quality and corresponding
subjective satisfaction. We conducted a study (N=60) in text, photo, and 3D
mesh optimization contexts. We found that novices can achieve an expert level
of quality performance, but participants with higher expertise led to more
optimization iteration with more explicit preference while keeping satisfaction
low. In contrast, novices were more easily satisfied and terminated faster.
Therefore, we identified that experts seek more diverse outcomes while the
machine reaches optimal results, and the observed behavior can be used as a
performance indicator for human-in-the-loop system designers to improve
underlying models. We inform future research to be cautious about the impact of
user expertise when designing human-in-the-loop systems.
- Abstract(参考訳): ヒューマン・イン・ザ・ループ最適化は、人間の専門知識を活用し、機械最適化を反復的にガイドし、ソリューション空間における最適解を探す。
先行実験研究は主に初心者を対象とし,結果の質と主観的満足度に対する専門知識のレベルの影響を分析した。
テキスト,写真,および3dメッシュ最適化コンテキストにおける研究(n=60)を行った。
初心者は、エキスパートレベルの品質パフォーマンスを達成できるが、高い専門知識を持つ参加者は、満足度を低く保ちながら、より明示的な好みで、より最適化されたイテレーションへと導いた。
対照的に、初心者はより容易に満足し、より速く終了しました。
そこで,計算機が最適結果に達する間,専門家はより多様な結果を求め,観察された行動は基礎となるモデルを改善するためのヒューマン・イン・ザ・ループ・システム・デザイナのパフォーマンス指標として使用できることを明らかにした。
今後の研究は、人為的なループシステムの設計において、ユーザの専門知識が与える影響に注意を喚起する。
関連論文リスト
- Enhanced Bayesian Optimization via Preferential Modeling of Abstract
Properties [49.351577714596544]
本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。
優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
論文 参考訳(メタデータ) (2024-02-27T09:23:13Z) - Inverse Reinforcement Learning with Sub-optimal Experts [56.553106680769474]
与えられた専門家の集合と互換性のある報酬関数のクラスの理論的性質について検討する。
以上の結果から,複数の準最適専門家の存在が,相反する報酬の集合を著しく減少させる可能性が示唆された。
我々は,最適なエージェントの1つに十分近い準最適専門家のパフォーマンスレベルが最適である場合に,最小限の最適化を行う一様サンプリングアルゴリズムを解析する。
論文 参考訳(メタデータ) (2024-01-08T12:39:25Z) - Experience-Based Evolutionary Algorithms for Expensive Optimization [8.466374531816427]
我々は、関連する問題で得られる経験をよりうまく活用することで、ハード最適化の問題を効率的に扱うことができると論じる。
本稿では,コストのかかる問題の最適化効率を高めるために,経験ベースサロゲート支援進化アルゴリズム(SAEA)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-09T05:47:14Z) - BO-Muse: A human expert and AI teaming framework for accelerated
experimental design [58.61002520273518]
我々のアルゴリズムは、人間の専門家が実験プロセスでリードすることを可能にする。
我々のアルゴリズムは、AIや人間よりも高速に、サブ線形に収束することを示す。
論文 参考訳(メタデータ) (2023-03-03T02:56:05Z) - Training Learned Optimizers with Randomly Initialized Learned Optimizers [49.67678615506608]
ランダムに学習した人の集団は、オンラインの方法でゼロから学習することができる。
人口ベーストレーニングの形式は、この自己学習の組織化に使用される。
このタイプのフィードバックループは、機械学習の将来において重要かつ強力なものになると思います。
論文 参考訳(メタデータ) (2021-01-14T19:07:17Z) - Descending through a Crowded Valley - Benchmarking Deep Learning
Optimizers [29.624308090226375]
本研究は,これらの逸話を,少なくとも証拠に裏付けられた逸話に置き換えることを目的としている。
そのために、特に人気のある15のディープラーニングの、広範囲で標準化されたベンチマークを実行します。
我々のオープンソースの成果は、新しい最適化手法のより有意義な評価のために、挑戦的でよく調整されたベースラインとして利用可能である。
論文 参考訳(メタデータ) (2020-07-03T08:19:36Z) - Incorporating Expert Prior Knowledge into Experimental Design via
Posterior Sampling [58.56638141701966]
実験者は、グローバルな最適な場所に関する知識を得ることができる。
グローバル最適化に関する専門家の事前知識をベイズ最適化に組み込む方法は不明である。
効率の良いベイズ最適化手法は、大域的最適の後方分布の後方サンプリングによって提案されている。
論文 参考訳(メタデータ) (2020-02-26T01:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。