論文の概要: From Metrics to Meaning: Time to Rethink Evaluation in Human-AI Collaborative Design
- arxiv url: http://arxiv.org/abs/2402.07911v2
- Date: Wed, 03 Sep 2025 12:36:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 21:40:46.168875
- Title: From Metrics to Meaning: Time to Rethink Evaluation in Human-AI Collaborative Design
- Title（参考訳）: メトリクスから意味へ:人間-AI協調設計における評価の再考
- Authors: Sean P. Walton, Ben J. Evans, Alma A. M. Rahat, James Stovold, Jakub Vincalek,
- Abstract要約: 本稿では,人間-AI協調システムの評価方法を再考する上での課題となる。
我々は,人間-AI共同創造システムにおいて,これまでで最大規模のフィールド研究成果を報告した。
本稿では,ユーザエクスペリエンスの中核部分として,人間-AIシステムの評価とインテリジェントシステムの検討を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As AI systems increasingly shape decision making in creative design contexts, understanding how humans engage with these tools has become a critical challenge for interactive intelligent systems research. This paper contributes a challenge to rethink how to evaluate human--AI collaborative systems, advocating for a more nuanced and multidimensional approach. Findings from one of the largest field studies to date (n = 808) of a human--AI co-creative system, The Genetic Car Designer, complemented by a controlled lab study (n = 12) are presented. The system is based on an interactive evolutionary algorithm where participants were tasked with designing a simple two dimensional representation of a car. Participants were exposed to galleries of design suggestions generated by an intelligent system, MAP--Elites, and a random control. Results indicate that exposure to galleries generated by MAP--Elites significantly enhanced both cognitive and behavioural engagement, leading to higher-quality design outcomes. Crucially for the wider community, the analysis reveals that conventional evaluation methods, which often focus on solely behavioural and design quality metrics, fail to capture the full spectrum of user engagement. By considering the human--AI design process as a changing emotional, behavioural and cognitive state of the designer, we propose evaluating human--AI systems holistically and considering intelligent systems as a core part of the user experience -- not simply a back end tool.
- Abstract（参考訳）: AIシステムが創造的デザインの文脈で意思決定を形作るにつれ、人間がこれらのツールとどのように関わるかを理解することは、インタラクティブなインテリジェントシステム研究にとって重要な課題となっている。
本稿では,人間-AI協調システムの評価方法を再考し,よりニュアンスで多次元的なアプローチを提唱する。人間-AI共同開発システムにおいて,これまで最大のフィールド研究(n = 808)のうちの1つとして,制御ラボ研究(n = 12)を補完する遺伝的カーデザイナを提示する。
このシステムはインタラクティブな進化的アルゴリズムに基づいており、参加者は車の単純な2次元の表現を設計する。
参加者は、インテリジェントシステム、MAP-エリート、ランダムコントロールによって生成された設計提案のギャラリーに露出した。その結果、MAP-エリートによって生成されたギャラリーへの露出は、認知的および行動的エンゲージメントの両方を著しく向上させ、より高品質な設計結果をもたらすことが示唆された。
より広いコミュニティにとって重要なことは、従来の評価手法は、振る舞いや設計品質の指標だけに重点を置いているが、ユーザエンゲージメントの完全なスペクトルを捉えていないことだ。
設計者の感情的,行動的,認知的状態の変化として人間-AI設計プロセスを考慮することにより,ユーザエクスペリエンスの中核部分として,人間の-AIシステムを評価し,インテリジェントシステムを検討することを提案する。
関連論文リスト
- Navigating Intelligence: A Survey of Google OR-Tools and Machine Learning for Global Path Planning in Autonomous Vehicles [49.1574468325115]
ROMIEと呼ばれる自律的な採鉱ロボットには,グローバルパスプランニングが不可欠である。
Q-Learningは最適な戦略であり、データセット全体の最適解から平均1.2%しか逸脱せず、優れた効率を示す。
論文 参考訳（メタデータ） (2025-03-05T10:12:22Z) - randomHAR: Improving Ensemble Deep Learners for Human Activity
Recognition with Sensor Selection and Reinforcement Learning [4.5830802802139585]
randomHARの基本的な考え方は、ランダムに選択されたセンサーデータに基づいて、同じアーキテクチャで一連のディープラーニングモデルをトレーニングすることだ。
既存の作業とは対照的に、このアプローチは構成モデルのアーキテクチャよりもアンサンブルプロセスを最適化する。
実験により,提案手法は最先端手法であるアンサンブルLSTMよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-07-15T10:51:03Z) - A Reinforcement Learning-assisted Genetic Programming Algorithm for Team
Formation Problem Considering Person-Job Matching [70.28786574064694]
解の質を高めるために強化学習支援遺伝的プログラミングアルゴリズム(RL-GP)を提案する。
効率的な学習を通じて得られる超ヒューリスティックなルールは、プロジェクトチームを形成する際の意思決定支援として利用することができる。
論文 参考訳（メタデータ） (2023-04-08T14:32:12Z) - Investigating Positive and Negative Qualities of Human-in-the-Loop
Optimization for Designing Interaction Techniques [55.492211642128446]
設計者は、与えられた目的の集合を最大化する設計パラメータの組み合わせを見つけるよう求められる設計最適化タスクに苦労すると言われている。
モデルベースの計算設計アルゴリズムは、設計中に設計例を生成することでデザイナを支援する。
一方、補助のためのブラックボックスメソッドは、あらゆる設計問題に対処できる。
論文 参考訳（メタデータ） (2022-04-15T20:40:43Z) - Compactness Score: A Fast Filter Method for Unsupervised Feature
Selection [66.84571085643928]
本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。
提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
論文 参考訳（メタデータ） (2022-01-31T13:01:37Z) - The Impact of Visualizing Design Gradients for Human Designers [7.976180564784953]
本稿では,パズルレベルの設計にExhaustive PCG(EPCG)を用いた混合開始ツールを提案する。
我々は、EPCGコンポーネントをオン/オフしたツールを個人が使用するオンライン人体調査を実施している。
結果から,ほとんどのユーザがツールを好まなかったものの,レベル設計プロセスが大幅に簡単になったことが示唆された。
論文 参考訳（メタデータ） (2021-10-07T05:41:09Z) - A Field Guide to Federated Optimization [161.3779046812383]
フェデレートされた学習と分析は、分散化されたデータからモデル(あるいは統計)を協調的に学習するための分散アプローチである。
本稿では、フェデレート最適化アルゴリズムの定式化、設計、評価、分析に関する勧告とガイドラインを提供する。
論文 参考訳（メタデータ） (2021-07-14T18:09:08Z) - An AI-Assisted Design Method for Topology Optimization Without
Pre-Optimized Training Data [68.8204255655161]
トポロジ最適化に基づくAI支援設計手法を提示し、最適化された設計を直接的に得ることができる。
設計は、境界条件と入力データとしての充填度に基づいて、人工ニューラルネットワーク、予測器によって提供される。
論文 参考訳（メタデータ） (2020-12-11T14:33:27Z) - Evaluating Mixed-Initiative Procedural Level Design Tools using a
Triple-Blind Mixed-Method User Study [0.0]
インタラクティブな進化的最適化を用いてレベルを生成するツールを,本研究のために設計した。
このツールは、手書き地図のレベルデザインパターンを特定し、その情報を使ってインタラクティブな最適化アルゴリズムを駆動する。
複雑なイニシアティブツールを使用したデザイナの経験を、完全にランダムなレベルの提案を提供するツールを与えられたデザイナと比較した厳密なユーザスタディが設計された。
論文 参考訳（メタデータ） (2020-05-15T11:40:53Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳（メタデータ） (2020-04-28T09:15:50Z) - Application of Deep Learning in Generating Desired Design Options:
Experiments Using Synthetic Training Dataset [5.564299196293697]
本研究では,Deep Learning (DL) アルゴリズムを用いて要求された設計オプションを生成する手法を適用した。
物体認識問題は, 異なる種類の合成2次元形状からなるトレーニングデータセットに基づいて, 未知のサンプル画像のラベルを最初に予測するために検討される。
次のステップでは、空間日光自律性(sDA)メトリクスに基づいて、所望の光/影のパフォーマンスのためのウィンドウ/壁パターンを生成するようにアルゴリズムを訓練する。
論文 参考訳（メタデータ） (2019-12-28T01:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。