Fugu-MT 論文翻訳(概要): HAIFAI: Human-AI Interaction for Mental Face Reconstruction

論文の概要: HAIFAI: Human-AI Interaction for Mental Face Reconstruction

arxiv url: http://arxiv.org/abs/2412.06323v2
Date: Tue, 25 Feb 2025 14:31:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-26 15:18:30.406173
Title: HAIFAI: Human-AI Interaction for Mental Face Reconstruction
Title（参考訳）: 精神面再構成のための人間とAIのインタラクション
Authors: Florian Strohm, Mihai Bâce, Andreas Bulling,
Abstract要約: 本研究では,人間の心にのみ存在する顔の視覚的表現を再構築する課題に取り組むために,人間とAIが対話する新しい2段階システムであるHAIFAIを提案する。第1段階では、ユーザーは心的イメージとの類似性に基づいて、再現システムが提示する画像を反復的にランク付けする。これらのランク付けにより、システムは関連する画像の特徴を抽出し、それらを統合された特徴ベクトルに融合させ、生成モデルを使用してメンタルイメージの初期再構成を生成する。
参考スコア（独自算出の注目度）: 12.361829928359136
License:
Abstract: We present HAIFAI - a novel two-stage system where humans and AI interact to tackle the challenging task of reconstructing a visual representation of a face that exists only in a person's mind. In the first stage, users iteratively rank images our reconstruction system presents based on their resemblance to a mental image. These rankings, in turn, allow the system to extract relevant image features, fuse them into a unified feature vector, and use a generative model to produce an initial reconstruction of the mental image. The second stage leverages an existing face editing method, allowing users to manually refine and further improve this reconstruction using an easy-to-use slider interface for face shape manipulation. To avoid the need for tedious human data collection for training the reconstruction system, we introduce a computational user model of human ranking behaviour. For this, we collected a small face ranking dataset through an online crowd-sourcing study containing data from 275 participants. We evaluate HAIFAI and an ablated version in a 12-participant user study and demonstrate that our approach outperforms the previous state of the art regarding reconstruction quality, usability, perceived workload, and reconstruction speed. We further validate the reconstructions in a subsequent face ranking study with 18 participants and show that HAIFAI achieves a new state-of-the-art identification rate of 60.6%. These findings represent a significant advancement towards developing new interactive intelligent systems capable of reliably and effortlessly reconstructing a user's mental image.
Abstract（参考訳）: 本稿では,人間の心にのみ存在する顔の視覚的表現を再構築する困難な課題に取り組むために,人間とAIが対話する新しい2段階システムであるHaIFAIを紹介する。第1段階では、ユーザーは心的イメージとの類似性に基づいて、再現システムが提示する画像を反復的にランク付けする。これらのランク付けにより、システムは関連する画像の特徴を抽出し、それらを統合された特徴ベクトルに融合させ、生成モデルを使用してメンタルイメージの初期再構成を生成する。第2段階では既存の顔編集手法を活用し,顔形状操作のためのスライダインタフェースを用いて,手作業による精細化と再現性の向上を実現している。復元システムのトレーニングを行う上で,退屈な人的データ収集の必要性を回避するために,人間のランク付け行動の計算的ユーザモデルを導入する。このために、275人の参加者のデータを含むオンラインクラウドソーシング調査を通じて、小さな顔ランキングデータセットを収集した。本研究は, HAIFAIと短縮版を12名を対象に評価し, 再現性, ユーザビリティ, 知覚作業量, 再建速度など, これまでの技術よりも優れていることを示す。さらに,18名の被験者による顔のランキング調査を行い,HAIFAIが60.6%の新しい最先端の識別率を達成したことを示す。これらの知見は、ユーザの心像を確実にかつ確実に再構築できる、新しいインタラクティブな知能システムを開発するための大きな進歩を示している。

関連論文リスト

Human Body Restoration with One-Step Diffusion Model and A New Benchmark [74.66514054623669]
本稿では,高品質な自動収穫・フィルタリング(HQ-ACF)パイプラインを提案する。このパイプラインは、既存のオブジェクト検出データセットやその他のラベル付けされていないイメージを活用して、高品質な人間の画像を自動的にトリミングし、フィルタリングする。また,人体修復のための新しい1段階拡散モデルであるemphOSDHumanを提案する。
論文参考訳（メタデータ） (2025-02-03T14:48:40Z)
Human-Feedback Efficient Reinforcement Learning for Online Diffusion Model Finetuning [21.707688492630304]
HEROは、人間のフィードバックを捉え、微調整のための情報学習信号を提供するオンライントレーニング手法である。 HEROは、推論、カウント、パーソナライズ、NSFWコンテンツを0.5Kのオンラインフィードバックで効果的に処理できる。
論文参考訳（メタデータ） (2024-10-07T15:12:01Z)
Are They the Same Picture? Adapting Concept Bottleneck Models for Human-AI Collaboration in Image Retrieval [3.2495565849970016]
textttCHAIRを使えば、人間が中間概念を修正できる。本手法は,外部介入を伴わずに,画像検索指標の類似モデルよりも優れた性能を示すことを示す。
論文参考訳（メタデータ） (2024-07-12T00:59:32Z)
Quality Assessment for AI Generated Images with Instruction Tuning [58.41087653543607]
我々はまず,AIGCIQA2023+と呼ばれるAIGIのための画像品質評価(IQA)データベースを構築した。本稿では,AIGIに対する人間の嗜好を評価するためのMINT-IQAモデルを提案する。
論文参考訳（メタデータ） (2024-05-12T17:45:11Z)
Enhancing Image Caption Generation Using Reinforcement Learning with Human Feedback [0.0]
本研究では,人間に好まれるキャプションを生成するために,ディープニューラルネットワークモデルの性能を増幅する潜在的手法を検討する。これは、教師付き学習と強化学習と人間のフィードバックを統合することで達成された。我々は、人間の協調型生成AIモデル分野における継続的な進歩に寄与することを願って、我々のアプローチと結果のスケッチを提供する。
論文参考訳（メタデータ） (2024-03-11T13:57:05Z)
MOODv2: Masked Image Modeling for Out-of-Distribution Detection [57.17163962383442]
本研究は,様々なOODスコア関数を用いて,個別の事前学習課題について検討する。当社のフレームワークMOODv2は,14.30%のAUROCをImageNetで95.68%に向上し,CIFAR-10で99.98%を達成した。
論文参考訳（メタデータ） (2024-01-05T02:57:58Z)
Double-Flow GAN model for the reconstruction of perceived faces from brain activities [13.707575848841405]
そこで我々はDouble-Flow GANと呼ばれる新しい再構築フレームワークを提案する。また,画像から抽出した特徴を条件として,fMRIから条件付き再構成モデルを事前学習するための事前学習プロセスも設計した。その結果, 提案手法は, 複数の顔特性を正確に再構成し, 過去の再現モデルより優れ, 最先端の復元能力を示すことがわかった。
論文参考訳（メタデータ） (2023-12-12T18:07:57Z)
HAVE-FUN: Human Avatar Reconstruction from Few-Shot Unconstrained Images [33.298962236215964]
数枚の写真アルバムからのヒトアバターの復元について検討した。動的データを扱うために,深行テトラヘドラとスキン機構を統合する。私たちのフレームワークはHaveFunと呼ばれ、アバターの再構築、レンダリング、アニメーションを実行できます。
論文参考訳（メタデータ） (2023-11-27T10:01:31Z)
RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs [63.991802204929485]
ブラインド顔復元は、未知の劣化のあるものから高品質な顔画像の復元を目的としている。現在のアルゴリズムは、主に、高品質な詳細を補完し、驚くべき進歩を達成するために、事前を導入する。 RestoreFormer++を提案する。これは、コンテキスト情報と事前との相互作用をモデル化するための、完全な空間的アテンション機構を導入します。 RestoreFormer++は、合成と実世界の両方のデータセットで最先端のアルゴリズムより優れています。
論文参考訳（メタデータ） (2023-08-14T16:04:53Z)
HIVE: Harnessing Human Feedback for Instructional Visual Editing [127.29436858998064]
本稿では,ヒューマンフィードバックを利用した指導視覚編集(HIVE)のための新しいフレームワークを提案する。具体的には、編集された画像に対する人間のフィードバックを収集し、報酬関数を学習して、基礎となるユーザの好みをキャプチャする。次に、推定報酬に基づいて人間の好みを組み込むスケーラブルな拡散モデル微調整手法を提案する。
論文参考訳（メタデータ） (2023-03-16T19:47:41Z)
Conformer and Blind Noisy Students for Improved Image Quality Assessment [80.57006406834466]
知覚品質評価(IQA)のための学習ベースアプローチは、通常、知覚品質を正確に測定するために歪んだ画像と参照画像の両方を必要とする。本研究では,変換器を用いた全参照IQAモデルの性能について検討する。また,全教師モデルから盲人学生モデルへの半教師付き知識蒸留に基づくIQAの手法を提案する。
論文参考訳（メタデータ） (2022-04-27T10:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。