論文の概要: HAIFAI: Human-AI Interaction for Mental Face Reconstruction
- arxiv url: http://arxiv.org/abs/2412.06323v2
- Date: Tue, 25 Feb 2025 14:31:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-26 19:56:49.673784
- Title: HAIFAI: Human-AI Interaction for Mental Face Reconstruction
- Title（参考訳）: 精神面再構成のための人間とAIのインタラクション
- Authors: Florian Strohm, Mihai Bâce, Andreas Bulling,
- Abstract要約: 本研究では,人間の心にのみ存在する顔の視覚的表現を再構築する課題に取り組むために,人間とAIが対話する新しい2段階システムであるHAIFAIを提案する。
第1段階では、ユーザーは心的イメージとの類似性に基づいて、再現システムが提示する画像を反復的にランク付けする。
これらのランク付けにより、システムは関連する画像の特徴を抽出し、それらを統合された特徴ベクトルに融合させ、生成モデルを使用してメンタルイメージの初期再構成を生成する。
- 参考スコア（独自算出の注目度）: 12.361829928359136
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present HAIFAI - a novel two-stage system where humans and AI interact to tackle the challenging task of reconstructing a visual representation of a face that exists only in a person's mind. In the first stage, users iteratively rank images our reconstruction system presents based on their resemblance to a mental image. These rankings, in turn, allow the system to extract relevant image features, fuse them into a unified feature vector, and use a generative model to produce an initial reconstruction of the mental image. The second stage leverages an existing face editing method, allowing users to manually refine and further improve this reconstruction using an easy-to-use slider interface for face shape manipulation. To avoid the need for tedious human data collection for training the reconstruction system, we introduce a computational user model of human ranking behaviour. For this, we collected a small face ranking dataset through an online crowd-sourcing study containing data from 275 participants. We evaluate HAIFAI and an ablated version in a 12-participant user study and demonstrate that our approach outperforms the previous state of the art regarding reconstruction quality, usability, perceived workload, and reconstruction speed. We further validate the reconstructions in a subsequent face ranking study with 18 participants and show that HAIFAI achieves a new state-of-the-art identification rate of 60.6%. These findings represent a significant advancement towards developing new interactive intelligent systems capable of reliably and effortlessly reconstructing a user's mental image.
- Abstract（参考訳）: 本稿では,人間の心にのみ存在する顔の視覚的表現を再構築する困難な課題に取り組むために,人間とAIが対話する新しい2段階システムであるHaIFAIを紹介する。
第1段階では、ユーザーは心的イメージとの類似性に基づいて、再現システムが提示する画像を反復的にランク付けする。
これらのランク付けにより、システムは関連する画像の特徴を抽出し、それらを統合された特徴ベクトルに融合させ、生成モデルを使用してメンタルイメージの初期再構成を生成する。
第2段階では既存の顔編集手法を活用し,顔形状操作のためのスライダインタフェースを用いて,手作業による精細化と再現性の向上を実現している。
復元システムのトレーニングを行う上で,退屈な人的データ収集の必要性を回避するために,人間のランク付け行動の計算的ユーザモデルを導入する。
このために、275人の参加者のデータを含むオンラインクラウドソーシング調査を通じて、小さな顔ランキングデータセットを収集した。
本研究は, HAIFAIと短縮版を12名を対象に評価し, 再現性, ユーザビリティ, 知覚作業量, 再建速度など, これまでの技術よりも優れていることを示す。
さらに,18名の被験者による顔のランキング調査を行い,HAIFAIが60.6%の新しい最先端の識別率を達成したことを示す。
これらの知見は、ユーザの心像を確実にかつ確実に再構築できる、新しいインタラクティブな知能システムを開発するための大きな進歩を示している。
関連論文リスト
- HumanDreamer-X: Photorealistic Single-image Human Avatars Reconstruction via Gaussian Restoration [29.03216532351979]
textbfHumanDreamer-Xは、マルチビューのヒューマン生成と再構築を統合パイプラインに統合する新しいフレームワークである。
このフレームワークでは、初期幾何学と外観優先を提供するために、3Dガウススプラッティングが明示的な3D表現として機能する。
また,多視点にわたる幾何的細部アイデンティティの整合性を効果的に向上するアテンション変調戦略を提案する。
論文 参考訳（メタデータ） (2025-04-04T15:35:14Z) - LIFe-GoM: Generalizable Human Rendering with Learned Iterative Feedback Over Multi-Resolution Gaussians-on-Mesh [102.24454703207194]
スパース入力からのアニマタブルな人間のアバターの一般的なレンダリングは、大規模データのトレーニングから抽出されたデータ先行と誘導バイアスに依存する。
本稿では,再建過程における標準的な人体形状表現を逐次改善する反復的フィードバック更新フレームワークを提案する。
提案手法は,1秒未満のスパース入力からアニマタブルな表現を再構成し,95.1FPSのビューを1024×1024$でレンダリングし,THuman2.0上でPSNR/LPIPS*/FIDの24.65/110.82/51.27を達成する。
論文 参考訳（メタデータ） (2025-02-13T18:59:19Z) - Human-inspired Explanations for Vision Transformers and Convolutional Neural Networks [8.659674736978555]
本稿では,Deep Neural Networks のための新しいヒューマンインスパイアされた視覚的説明可能性 (XAI) 手法である Foveation-based Explanations (FovEx) を紹介する。
提案手法は変圧器(5つの指標のうち4つ)と畳み込みモデルの両方で最先端の性能を達成し,その汎用性を実証する。
論文 参考訳（メタデータ） (2024-08-04T19:37:30Z) - Understanding and Evaluating Human Preferences for AI Generated Images with Instruction Tuning [58.41087653543607]
我々はまず,AIGCIQA2023+と呼ばれるAIGIのための画像品質評価(IQA)データベースを構築した。
本稿では,AIGIに対する人間の嗜好を評価するためのMINT-IQAモデルを提案する。
論文 参考訳（メタデータ） (2024-05-12T17:45:11Z) - SDFR: Synthetic Data for Face Recognition Competition [51.9134406629509]
大規模な顔認識データセットは、インターネットをクロールして個人の同意なしに収集し、法的、倫理的、プライバシー上の懸念を提起する。
近年、ウェブクローリングされた顔認識データセットにおける懸念を軽減するために、合成顔認識データセットの生成が提案されている。
本稿では,第18回IEEE International Conference on Automatic Face and Gesture Recognition (FG 2024)と共同で開催されているSynthetic Data for Face Recognition (SDFR)コンペティションの概要を紹介する。
SDFRコンペティションは2つのタスクに分けられ、参加者は新しい合成データセットまたは/または既存のデータセットを使用して顔認識システムを訓練することができる。
論文 参考訳（メタデータ） (2024-04-06T10:30:31Z) - MOODv2: Masked Image Modeling for Out-of-Distribution Detection [57.17163962383442]
本研究は,様々なOODスコア関数を用いて,個別の事前学習課題について検討する。
当社のフレームワークMOODv2は,14.30%のAUROCをImageNetで95.68%に向上し,CIFAR-10で99.98%を達成した。
論文 参考訳（メタデータ） (2024-01-05T02:57:58Z) - Double-Flow GAN model for the reconstruction of perceived faces from brain activities [13.707575848841405]
そこで我々はDouble-Flow GANと呼ばれる新しい再構築フレームワークを提案する。
また,画像から抽出した特徴を条件として,fMRIから条件付き再構成モデルを事前学習するための事前学習プロセスも設計した。
その結果, 提案手法は, 複数の顔特性を正確に再構成し, 過去の再現モデルより優れ, 最先端の復元能力を示すことがわかった。
論文 参考訳（メタデータ） (2023-12-12T18:07:57Z) - HAVE-FUN: Human Avatar Reconstruction from Few-Shot Unconstrained Images [33.298962236215964]
数枚の写真アルバムからのヒトアバターの復元について検討した。
動的データを扱うために,深行テトラヘドラとスキン機構を統合する。
私たちのフレームワークはHaveFunと呼ばれ、アバターの再構築、レンダリング、アニメーションを実行できます。
論文 参考訳（メタデータ） (2023-11-27T10:01:31Z) - RestoreFormer++: Towards Real-World Blind Face Restoration from
Undegraded Key-Value Pairs [63.991802204929485]
ブラインド顔復元は、未知の劣化のあるものから高品質な顔画像の復元を目的としている。
現在のアルゴリズムは、主に、高品質な詳細を補完し、驚くべき進歩を達成するために、事前を導入する。
RestoreFormer++を提案する。これは、コンテキスト情報と事前との相互作用をモデル化するための、完全な空間的アテンション機構を導入します。
RestoreFormer++は、合成と実世界の両方のデータセットで最先端のアルゴリズムより優れています。
論文 参考訳（メタデータ） (2023-08-14T16:04:53Z) - HIVE: Harnessing Human Feedback for Instructional Visual Editing [127.29436858998064]
本稿では,ヒューマンフィードバックを利用した指導視覚編集(HIVE)のための新しいフレームワークを提案する。
具体的には、編集された画像に対する人間のフィードバックを収集し、報酬関数を学習して、基礎となるユーザの好みをキャプチャする。
次に、推定報酬に基づいて人間の好みを組み込むスケーラブルな拡散モデル微調整手法を提案する。
論文 参考訳（メタデータ） (2023-03-16T19:47:41Z) - Reconstruction-guided attention improves the robustness and shape
processing of neural networks [5.156484100374057]
オブジェクト再構成を生成する反復エンコーダデコーダネットワークを構築し,トップダウンの注目フィードバックとして利用する。
本モデルでは,様々な画像摂動に対して強い一般化性能を示す。
本研究は、再構成に基づくフィードバックのモデリングが、強力な注意機構を持つAIシステムを実現することを示す。
論文 参考訳（メタデータ） (2022-09-27T18:32:22Z) - Conformer and Blind Noisy Students for Improved Image Quality Assessment [80.57006406834466]
知覚品質評価(IQA)のための学習ベースアプローチは、通常、知覚品質を正確に測定するために歪んだ画像と参照画像の両方を必要とする。
本研究では,変換器を用いた全参照IQAモデルの性能について検討する。
また,全教師モデルから盲人学生モデルへの半教師付き知識蒸留に基づくIQAの手法を提案する。
論文 参考訳（メタデータ） (2022-04-27T10:21:08Z) - Multi-View Consistency Loss for Improved Single-Image 3D Reconstruction
of Clothed People [36.30755368202957]
本稿では,1枚の画像から3次元人物形状復元の精度を向上させるための新しい手法を提案する。
衣服、髪、体の大きさ、ポーズ、カメラの視点などによる形状の変化が大きいため、衣服の復元の正確さと完全性は限られている。
論文 参考訳（メタデータ） (2020-09-29T17:18:00Z) - Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。
我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。
我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
論文 参考訳（メタデータ） (2020-08-16T13:38:41Z) - Deep Face Super-Resolution with Iterative Collaboration between
Attentive Recovery and Landmark Estimation [92.86123832948809]
本稿では,2つの繰り返しネットワーク間の反復的協調による深層面超解像(FSR)手法を提案する。
各繰り返しステップにおいて、リカバリブランチは、ランドマークの事前の知識を利用して、高品質な画像を生成する。
新しい注意融合モジュールはランドマークマップのガイダンスを強化するために設計されている。
論文 参考訳（メタデータ） (2020-03-29T16:04:48Z) - Joint Deep Learning of Facial Expression Synthesis and Recognition [97.19528464266824]
顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。
提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。
実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
論文 参考訳（メタデータ） (2020-02-06T10:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。