論文の概要: UniAR: Unifying Human Attention and Response Prediction on Visual Content

• arxiv url: http://arxiv.org/abs/2312.10175v1
• Date: Fri, 15 Dec 2023 19:57:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 18:13:47.012133
• Title: UniAR: Unifying Human Attention and Response Prediction on Visual Content
• Title（参考訳）: UniAR:視覚コンテンツにおける人間の注意と反応予測の統合
• Authors: Peizhao Li, Junfeng He, Gang Li, Rachit Bhargava, Shaolei Shen, Nachiappan Valliappan, Youwei Liang, Hongxiang Gu, Venky Ramachandran, Golnaz Farhadi, Yang Li, Kai J Kohlhoff, and Vidhya Navalpakkam
• Abstract要約: UniAR - 異なるタイプの視覚コンテンツにわたって暗黙的および明示的な人間の振る舞いを予測する統一モデル。 自然画像、Webページ、グラフィックデザインにまたがるさまざまなパブリックデータセットに基づいて、UniARをトレーニングします。
• 参考スコア（独自算出の注目度）: 12.281060227170792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Progress in human behavior modeling involves understanding both implicit, early-stage perceptual behavior such as human attention and explicit, later-stage behavior such as subjective ratings/preferences. Yet, most prior research has focused on modeling implicit and explicit human behavior in isolation. Can we build a unified model of human attention and preference behavior that reliably works across diverse types of visual content? Such a model would enable predicting subjective feedback such as overall satisfaction or aesthetic quality ratings, along with the underlying human attention or interaction heatmaps and viewing order, enabling designers and content-creation models to optimize their creation for human-centric improvements. In this paper, we propose UniAR -- a unified model that predicts both implicit and explicit human behavior across different types of visual content. UniAR leverages a multimodal transformer, featuring distinct prediction heads for each facet, and predicts attention heatmap, scanpath or viewing order, and subjective rating/preference. We train UniAR on diverse public datasets spanning natural images, web pages and graphic designs, and achieve leading performance on multiple benchmarks across different image domains and various behavior modeling tasks. Potential applications include providing instant feedback on the effectiveness of UIs/digital designs/images, and serving as a reward model to further optimize design/image creation.
• Abstract（参考訳）: 人間の行動モデリングの進歩は、人間の注意のような暗黙的、早期の知覚的行動と、主観的格付け/参照のような明示的な後期の行動の両方を理解することである。 しかし、ほとんどの先行研究は、暗黙的および明示的な人間の行動を分離してモデリングすることに焦点を当てている。 多様な視覚コンテンツに対して確実に機能する,人間の注意と嗜好の統一モデルの構築は可能か? このようなモデルは、全体的な満足度や美的品質評価といった主観的なフィードバックを、人間の注意や相互作用のヒートマップや視聴順序とともに予測し、デザイナーやコンテンツ制作モデルが人間中心の改善のために創造を最適化することを可能にする。 本論文では,異なるタイプの視覚コンテンツに対して暗黙的・明示的な行動を予測する統一モデルUniARを提案する。 UniARはマルチモーダルトランスフォーマーを活用し、顔ごとに異なる予測ヘッドを特徴とし、アテンションヒートマップ、スキャンパスまたは視聴順序、主観評価/参照を予測する。 自然画像、webページ、グラフィックデザインにまたがるさまざまな公開データセットでユニアルをトレーニングし、異なる画像ドメインと様々な行動モデリングタスクにまたがる複数のベンチマークで主要なパフォーマンスを達成します。 潜在的なアプリケーションには、UI/デジタルデザイン/イメージの有効性に関する即時フィードバックの提供や、デザイン/イメージ作成をさらに最適化するための報酬モデルとして機能することが含まれる。

関連論文リスト

• When Does Perceptual Alignment Benefit Vision Representations? [76.32336818860965]
  視覚モデル表現と人間の知覚的判断との整合がユーザビリティに与える影響について検討する。 モデルと知覚的判断を一致させることで、多くの下流タスクで元のバックボーンを改善する表現が得られることがわかった。 その結果,人間の知覚的知識に関する帰納バイアスを視覚モデルに注入することは,より良い表現に寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• Evaluating Multiview Object Consistency in Humans and Image Models [68.36073530804296]
  我々は、物体の形状に関するゼロショット視覚的推論を必要とする認知科学の実験的設計を活用する。 我々は500人以上の参加者から行動データの35万件の試行を収集した。 次に、一般的な視覚モデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-09-09T17:59:13Z)
• From Category to Scenery: An End-to-End Framework for Multi-Person Human-Object Interaction Recognition in Videos [9.159660801125812]
  ビデオベースのヒューマンオブジェクトインタラクション(HOI)認識は、人間とオブジェクトの間の複雑なダイナミクスを探索する。 本研究では,シーンフレームワークCATSに新たなエンドツーエンドカテゴリを提案する。 我々は,これらの拡張幾何学的視覚的特徴をノードとして構成し,人間とオブジェクトのカテゴリ間の関係を学習する。
  論文  参考訳（メタデータ） (2024-07-01T02:42:55Z)
• Aligning Vision Models with Human Aesthetics in Retrieval: Benchmarks and Algorithms [91.19304518033144]
  検索システムにおける視覚モデルと人間の審美基準の整合を図る。 本研究では、視覚モデルと人間の美学をよりよく整合させるために、視覚モデルを微調整する嗜好に基づく強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:20Z)
• Closely Interactive Human Reconstruction with Proxemics and Physics-Guided Adaption [64.07607726562841]
  既存の人間再建アプローチは主に、正確なポーズの回復や侵入を避けることに焦点を当てている。 本研究では,モノクロ映像から密に対話的な人間を再構築する作業に取り組む。 本稿では,視覚情報の欠如を補うために,確率的行動や物理からの知識を活用することを提案する。
  論文  参考訳（メタデータ） (2024-04-17T11:55:45Z)
• AlignDiff: Aligning Diverse Human Preferences via Behavior-Customisable Diffusion Model [69.12623428463573]
  AlignDiffは、人間の好みを定量化し、抽象性をカバーし、拡散計画をガイドする新しいフレームワークである。 ユーザがカスタマイズした動作と正確に一致し、効率的に切り替えることができます。 選好マッチング,スイッチング,カバーにおいて,他のベースラインに比べて優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-03T13:53:08Z)
• Human Eyes Inspired Recurrent Neural Networks are More Robust Against Adversarial Noises [7.689542442882423]
  我々は人間の脳にインスパイアされたデュアルストリーム視覚モデルを設計した。 このモデルは網膜のような入力層を特徴とし、次の焦点(固定点)を決定する2つのストリームと、固定点を取り巻く視覚を解釈する2つのストリームを含む。 このモデルを,物体認識,視線行動,対向強靭性の観点から評価した。
  論文  参考訳（メタデータ） (2022-06-15T03:44:42Z)
• Benchmarking human visual search computational models in natural scenes: models comparison and reference datasets [0.0]
  我々は、自然の場面で利用可能な最先端のビジュアル検索モデルを選択し、異なるデータセットで評価する。 本稿では,ニューラルネットワークに基づくビジュアルサーチモデルと組み合わせて,理想ベイズ探索法の改良を提案する。
  論文  参考訳（メタデータ） (2021-12-10T19:56:45Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。