論文の概要: GASP: Gated Attention For Saliency Prediction
- arxiv url: http://arxiv.org/abs/2206.04590v1
- Date: Thu, 9 Jun 2022 16:14:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-10 13:38:40.935867
- Title: GASP: Gated Attention For Saliency Prediction
- Title(参考訳): gasp: 塩分予測に注意を向ける
- Authors: Fares Abawi, Tom Weber and Stefan Wermter
- Abstract要約: 社会的手がかりの統合と影響の重み付けのためのニューラルモデルを提案する。
本研究では,視線方向と感情表現が,動的サリエンシモデルと比較して,少なくとも5%の地道改善に寄与していることを示す。
- 参考スコア(独自算出の注目度): 18.963277212703005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Saliency prediction refers to the computational task of modeling overt
attention. Social cues greatly influence our attention, consequently altering
our eye movements and behavior. To emphasize the efficacy of such features, we
present a neural model for integrating social cues and weighting their
influences. Our model consists of two stages. During the first stage, we detect
two social cues by following gaze, estimating gaze direction, and recognizing
affect. These features are then transformed into spatiotemporal maps through
image processing operations. The transformed representations are propagated to
the second stage (GASP) where we explore various techniques of late fusion for
integrating social cues and introduce two sub-networks for directing attention
to relevant stimuli. Our experiments indicate that fusion approaches achieve
better results for static integration methods, whereas non-fusion approaches
for which the influence of each modality is unknown, result in better outcomes
when coupled with recurrent models for dynamic saliency prediction. We show
that gaze direction and affective representations contribute a prediction to
ground-truth correspondence improvement of at least 5% compared to dynamic
saliency models without social cues. Furthermore, affective representations
improve GASP, supporting the necessity of considering affect-biased attention
in predicting saliency.
- Abstract(参考訳): 正当性予測とは、過剰な注意をモデル化する計算タスクを指す。
社会的手がかりは我々の注意に大きく影響を与え、その結果我々の目の動きと行動を変える。
このような特徴の有効性を強調するために,社会的手がかりの統合と影響の重み付けのためのニューラルモデルを提案する。
私たちのモデルは2つの段階からなる。
第1段階では、視線を追従し、視線方向を推定し、影響を認識することにより、2つの社会的手がかりを検出する。
これらの特徴は画像処理操作によって時空間マップに変換される。
変換された表現は第2段階(GASP)に伝播し,後期融合の様々な技法を探求し,関連する刺激に注意を向ける2つのサブネットワークを導入する。
実験により, 拡散法は静的積分法においてより良い結果が得られることが示されたが, 各モードの影響が不明な非融合法では, 動的塩分率予測の繰り返しモデルと組み合わせることで, より良い結果が得られることがわかった。
視線方向と感情表現は,社会的手がかりのない動的サリエンシモデルと比較して,少なくとも5%の地道対応改善に寄与することを示した。
さらに、情意表現は、敬礼の予測において感情バイアスの注意を考慮する必要性をサポートするため、gaspを改善する。
関連論文リスト
- Disentangled Neural Relational Inference for Interpretable Motion
Prediction [38.40799770648501]
グラフベース表現と時系列モデルを統合した変分自動エンコーダフレームワークを開発した。
本モデルでは,対話を特徴付ける解釈可能なエッジ特徴を付加した動的相互作用グラフを推論する。
シミュレーションと実世界の両方のデータセットに関する広範な実験を通じて、我々のアプローチを検証する。
論文 参考訳(メタデータ) (2024-01-07T22:49:24Z) - Disentangled Interaction Representation for One-Stage Human-Object
Interaction Detection [70.96299509159981]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。
最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。
従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
論文 参考訳(メタデータ) (2023-12-04T08:02:59Z) - What Do Deep Saliency Models Learn about Visual Attention? [28.023464783469738]
本稿では,サリエンシモデルによって学習された暗黙的特徴に光を当てる新しい分析フレームワークを提案する。
提案手法では,これらの暗黙的特徴を意味的属性に明示的に一致した解釈可能なベースに分解する。
論文 参考訳(メタデータ) (2023-10-14T23:15:57Z) - ProspectNet: Weighted Conditional Attention for Future Interaction
Modeling in Behavior Prediction [5.520507323174275]
本稿では,車両行動の連立学習と連立学習の逐次学習過程として,エンドツーエンドの連立予測問題を定式化する。
本稿では,対話型エージェントペア間の相互影響をモデル化するために,重み付けされた注目スコアを用いた共同学習ブロックであるProspectNetを提案する。
ProspectNetは2つの限界予測のCartesian製品よりも優れており、Interactive Motion Predictionベンチマークで同等のパフォーマンスを達成している。
論文 参考訳(メタデータ) (2022-08-29T19:29:49Z) - Preference Enhanced Social Influence Modeling for Network-Aware Cascade
Prediction [59.221668173521884]
本稿では,ユーザの嗜好モデルを強化することで,カスケードサイズ予測を促進する新しいフレームワークを提案する。
エンド・ツー・エンドの手法により,ユーザの情報拡散プロセスがより適応的で正確になる。
論文 参考訳(メタデータ) (2022-04-18T09:25:06Z) - An Ensemble Approach for Facial Expression Analysis in Video [5.363490780925308]
本稿では,ABAW3 2022の課題について紹介する。
論文は問題の解決に焦点を当てている。
価-覚醒推定とアクションユニット検出。
論文 参考訳(メタデータ) (2022-03-24T07:25:23Z) - Investigating Pose Representations and Motion Contexts Modeling for 3D
Motion Prediction [63.62263239934777]
歴史的ポーズシーケンスから人間の動きを予測することは、機械が人間と知的な相互作用を成功させるために不可欠である。
本研究では,様々なポーズ表現に関する詳細な研究を行い,その動作予測課題に対する効果に着目した。
AHMR(Attentive Hierarchical Motion Recurrent Network)と呼ばれる新しいRNNアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-30T10:45:22Z) - Dyadic Human Motion Prediction [119.3376964777803]
本稿では,2つの被験者の相互作用を明示的に推論する動き予測フレームワークを提案する。
具体的には,2つの被験者の運動履歴の相互依存をモデル化する一対の注意機構を導入する。
これにより、より現実的な方法で長期の運動力学を保ち、異常かつ高速な運動を予測することができる。
論文 参考訳(メタデータ) (2021-12-01T10:30:40Z) - Towards Robust and Adaptive Motion Forecasting: A Causal Representation
Perspective [72.55093886515824]
本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。
我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。
合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
論文 参考訳(メタデータ) (2021-11-29T18:59:09Z) - Variational Structured Attention Networks for Deep Visual Representation
Learning [49.80498066480928]
空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。
具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。
ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
論文 参考訳(メタデータ) (2021-03-05T07:37:24Z) - EvolveGraph: Multi-Agent Trajectory Prediction with Dynamic Relational
Reasoning [41.42230144157259]
本稿では,関係構造を明示的に認識し,潜在相互作用グラフによる予測を行う汎用軌道予測フレームワークを提案する。
将来の行動の不確実性を考慮すると、モデルはマルチモーダルな予測仮説を提供するように設計されている。
トレーニング効率を向上し、収束を加速するだけでなく、モデル性能も向上する2段トレーニングパイプラインを導入する。
論文 参考訳(メタデータ) (2020-03-31T02:49:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。