Fugu-MT 論文翻訳(概要): HAIFAI: Human-AI Collaboration for Mental Face Reconstruction

論文の概要: HAIFAI: Human-AI Collaboration for Mental Face Reconstruction

arxiv url: http://arxiv.org/abs/2412.06323v1
Date: Mon, 09 Dec 2024 09:18:40 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-10 23:11:44.29634
Title: HAIFAI: Human-AI Collaboration for Mental Face Reconstruction
Title（参考訳）: 精神面再構築のための人間とAIのコラボレーション
Authors: Florian Strohm, Mihai Bâce, Andreas Bulling,
Abstract要約: 本研究では,人間の心にのみ存在する顔の視覚的表現を再構築する課題に対処する,新しい協調型人間AIシステムであるHaIFAIを提案する。ユーザは、メンタルイメージとの類似性に基づいて、AIシステムが提示する画像を反復的にランク付けする。これらのランク付けにより、システムは関連する画像の特徴を抽出し、それらを統合された特徴ベクトルに融合させ、生成モデルを使用してメンタルイメージを再構築することができる。
参考スコア（独自算出の注目度）: 12.361829928359136
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We present HAIFAI - a novel collaborative human-AI system to tackle the challenging task of reconstructing a visual representation of a face that exists only in a person's mind. Users iteratively rank images presented by the AI system based on their resemblance to a mental image. These rankings, in turn, allow the system to extract relevant image features, fuse them into a unified feature vector, and use a generative model to reconstruct the mental image. We also propose an extension called HAIFAI-X that allows users to manually refine and further improve the reconstruction using an easy-to-use slider interface. To avoid the need for tedious human data collection for model training, we introduce a computational user model of human ranking behaviour. For this, we collected a small face ranking dataset through an online crowd-sourcing study containing data from 275 participants. We evaluate HAIFAI and HAIFAI-X in a 12-participant user study and show that HAIFAI outperforms the previous state of the art regarding reconstruction quality, usability, perceived workload, and reconstruction speed. HAIFAI-X achieves even better reconstruction quality at the cost of reduced usability, perceived workload, and increased reconstruction time. We further validate the reconstructions in a subsequent face ranking study with 18 participants and show that HAIFAI-X achieves a new state-of-the-art identification rate of 60.6%. These findings represent a significant advancement towards developing new collaborative intelligent systems capable of reliably and effortlessly reconstructing a user's mental image.
Abstract（参考訳）: 本研究では,人間の心にのみ存在する顔の視覚的表現を再構築する課題に対処する,新しい協調型人間AIシステムHaIFAIを提案する。ユーザは、メンタルイメージとの類似性に基づいて、AIシステムが提示する画像を反復的にランク付けする。これらのランク付けにより、システムは関連する画像の特徴を抽出し、それらを統合された特徴ベクトルに融合させ、生成モデルを使用してメンタルイメージを再構築することができる。また,HAIFAI-Xと呼ばれる拡張も提案している。モデル学習における退屈な人的データ収集の必要性を回避するため,人間のランク付け行動の計算ユーザモデルを提案する。このために、275人の参加者のデータを含むオンラインクラウドソーシング調査を通じて、小さな顔ランキングデータセットを収集した。本研究は, HAIFAIとHAIFAI-Xを12名を対象に評価し, HAIFAIの再現性, ユーザビリティ, 認識作業量, 再建速度に関する先行技術よりも優れていたことを示す。 HAIFAI-Xは、ユーザビリティの低減、作業負荷の認識、再建時間の増加といったコストで、より優れた再構築品質を実現する。さらに,18名の被験者による顔のランキング調査を行い,HAIFAI-Xが60.6%の新しい最先端の識別率を達成したことを示す。これらの知見は、ユーザの心像を確実にかつ確実に再構築できる新しい協調的知能システムを開発するための重要な進歩を示している。

関連論文リスト

HumanDreamer-X: Photorealistic Single-image Human Avatars Reconstruction via Gaussian Restoration [29.03216532351979]
textbfHumanDreamer-Xは、マルチビューのヒューマン生成と再構築を統合パイプラインに統合する新しいフレームワークである。このフレームワークでは、初期幾何学と外観優先を提供するために、3Dガウススプラッティングが明示的な3D表現として機能する。また,多視点にわたる幾何的細部アイデンティティの整合性を効果的に向上するアテンション変調戦略を提案する。
論文参考訳（メタデータ） (2025-04-04T15:35:14Z)
LIFe-GoM: Generalizable Human Rendering with Learned Iterative Feedback Over Multi-Resolution Gaussians-on-Mesh [102.24454703207194]
スパース入力からのアニマタブルな人間のアバターの一般的なレンダリングは、大規模データのトレーニングから抽出されたデータ先行と誘導バイアスに依存する。本稿では,再建過程における標準的な人体形状表現を逐次改善する反復的フィードバック更新フレームワークを提案する。提案手法は,1秒未満のスパース入力からアニマタブルな表現を再構成し,95.1FPSのビューを1024×1024$でレンダリングし,THuman2.0上でPSNR/LPIPS*/FIDの24.65/110.82/51.27を達成する。
論文参考訳（メタデータ） (2025-02-13T18:59:19Z)
Human-inspired Explanations for Vision Transformers and Convolutional Neural Networks [8.659674736978555]
本稿では,Deep Neural Networks のための新しいヒューマンインスパイアされた視覚的説明可能性 (XAI) 手法である Foveation-based Explanations (FovEx) を紹介する。提案手法は変圧器(5つの指標のうち4つ)と畳み込みモデルの両方で最先端の性能を達成し,その汎用性を実証する。
論文参考訳（メタデータ） (2024-08-04T19:37:30Z)
Understanding and Evaluating Human Preferences for AI Generated Images with Instruction Tuning [58.41087653543607]
我々はまず,AIGCIQA2023+と呼ばれるAIGIのための画像品質評価(IQA)データベースを構築した。本稿では,AIGIに対する人間の嗜好を評価するためのMINT-IQAモデルを提案する。
論文参考訳（メタデータ） (2024-05-12T17:45:11Z)
SDFR: Synthetic Data for Face Recognition Competition [51.9134406629509]
大規模な顔認識データセットは、インターネットをクロールして個人の同意なしに収集し、法的、倫理的、プライバシー上の懸念を提起する。近年、ウェブクローリングされた顔認識データセットにおける懸念を軽減するために、合成顔認識データセットの生成が提案されている。本稿では,第18回IEEE International Conference on Automatic Face and Gesture Recognition (FG 2024)と共同で開催されているSynthetic Data for Face Recognition (SDFR)コンペティションの概要を紹介する。 SDFRコンペティションは2つのタスクに分けられ、参加者は新しい合成データセットまたは/または既存のデータセットを使用して顔認識システムを訓練することができる。
論文参考訳（メタデータ） (2024-04-06T10:30:31Z)
MOODv2: Masked Image Modeling for Out-of-Distribution Detection [57.17163962383442]
本研究は,様々なOODスコア関数を用いて,個別の事前学習課題について検討する。当社のフレームワークMOODv2は,14.30%のAUROCをImageNetで95.68%に向上し,CIFAR-10で99.98%を達成した。
論文参考訳（メタデータ） (2024-01-05T02:57:58Z)
Double-Flow GAN model for the reconstruction of perceived faces from brain activities [13.707575848841405]
そこで我々はDouble-Flow GANと呼ばれる新しい再構築フレームワークを提案する。また,画像から抽出した特徴を条件として,fMRIから条件付き再構成モデルを事前学習するための事前学習プロセスも設計した。その結果, 提案手法は, 複数の顔特性を正確に再構成し, 過去の再現モデルより優れ, 最先端の復元能力を示すことがわかった。
論文参考訳（メタデータ） (2023-12-12T18:07:57Z)
HAVE-FUN: Human Avatar Reconstruction from Few-Shot Unconstrained Images [33.298962236215964]
数枚の写真アルバムからのヒトアバターの復元について検討した。動的データを扱うために,深行テトラヘドラとスキン機構を統合する。私たちのフレームワークはHaveFunと呼ばれ、アバターの再構築、レンダリング、アニメーションを実行できます。
論文参考訳（メタデータ） (2023-11-27T10:01:31Z)
RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs [63.991802204929485]
ブラインド顔復元は、未知の劣化のあるものから高品質な顔画像の復元を目的としている。現在のアルゴリズムは、主に、高品質な詳細を補完し、驚くべき進歩を達成するために、事前を導入する。 RestoreFormer++を提案する。これは、コンテキスト情報と事前との相互作用をモデル化するための、完全な空間的アテンション機構を導入します。 RestoreFormer++は、合成と実世界の両方のデータセットで最先端のアルゴリズムより優れています。
論文参考訳（メタデータ） (2023-08-14T16:04:53Z)
HIVE: Harnessing Human Feedback for Instructional Visual Editing [127.29436858998064]
本稿では,ヒューマンフィードバックを利用した指導視覚編集(HIVE)のための新しいフレームワークを提案する。具体的には、編集された画像に対する人間のフィードバックを収集し、報酬関数を学習して、基礎となるユーザの好みをキャプチャする。次に、推定報酬に基づいて人間の好みを組み込むスケーラブルな拡散モデル微調整手法を提案する。
論文参考訳（メタデータ） (2023-03-16T19:47:41Z)
Reconstruction-guided attention improves the robustness and shape processing of neural networks [5.156484100374057]
オブジェクト再構成を生成する反復エンコーダデコーダネットワークを構築し,トップダウンの注目フィードバックとして利用する。本モデルでは,様々な画像摂動に対して強い一般化性能を示す。本研究は、再構成に基づくフィードバックのモデリングが、強力な注意機構を持つAIシステムを実現することを示す。
論文参考訳（メタデータ） (2022-09-27T18:32:22Z)
Conformer and Blind Noisy Students for Improved Image Quality Assessment [80.57006406834466]
知覚品質評価(IQA)のための学習ベースアプローチは、通常、知覚品質を正確に測定するために歪んだ画像と参照画像の両方を必要とする。本研究では,変換器を用いた全参照IQAモデルの性能について検討する。また,全教師モデルから盲人学生モデルへの半教師付き知識蒸留に基づくIQAの手法を提案する。
論文参考訳（メタデータ） (2022-04-27T10:21:08Z)
Multi-View Consistency Loss for Improved Single-Image 3D Reconstruction of Clothed People [36.30755368202957]
本稿では,1枚の画像から3次元人物形状復元の精度を向上させるための新しい手法を提案する。衣服、髪、体の大きさ、ポーズ、カメラの視点などによる形状の変化が大きいため、衣服の復元の正確さと完全性は限られている。
論文参考訳（メタデータ） (2020-09-29T17:18:00Z)
Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
論文参考訳（メタデータ） (2020-08-16T13:38:41Z)
Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Estimation [92.86123832948809]
本稿では,2つの繰り返しネットワーク間の反復的協調による深層面超解像(FSR)手法を提案する。各繰り返しステップにおいて、リカバリブランチは、ランドマークの事前の知識を利用して、高品質な画像を生成する。新しい注意融合モジュールはランドマークマップのガイダンスを強化するために設計されている。
論文参考訳（メタデータ） (2020-03-29T16:04:48Z)
Joint Deep Learning of Facial Expression Synthesis and Recognition [97.19528464266824]
顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
論文参考訳（メタデータ） (2020-02-06T10:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。