論文の概要: Learning Interactions and Relationships between Movie Characters

• arxiv url: http://arxiv.org/abs/2003.13158v1
• Date: Sun, 29 Mar 2020 23:11:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 13:59:55.942072
• Title: Learning Interactions and Relationships between Movie Characters
• Title（参考訳）: 映画キャラクタ間のインタラクションの学習と関係
• Authors: Anna Kukleva and Makarand Tapaswi and Ivan Laptev
• Abstract要約: 我々は、相互作用、関係、および関係する一対のキャラクタを学習し、共同で予測するニューラルネットワークを提案する。 ビデオ中の対話的文字のペアをローカライズすることは時間を要するプロセスであり、クリップレベルの弱いラベルから学習するためにモデルをトレーニングする。 我々は、MovieGraphsデータセット上でモデルを評価し、モダリティの影響、関係を予測するための時間的コンテキストの使用、弱いラベルを用いたパフォーマンス向上を実現した。
• 参考スコア（独自算出の注目度）: 37.27773051465456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interactions between people are often governed by their relationships. On the flip side, social relationships are built upon several interactions. Two strangers are more likely to greet and introduce themselves while becoming friends over time. We are fascinated by this interplay between interactions and relationships, and believe that it is an important aspect of understanding social situations. In this work, we propose neural models to learn and jointly predict interactions, relationships, and the pair of characters that are involved. We note that interactions are informed by a mixture of visual and dialog cues, and present a multimodal architecture to extract meaningful information from them. Localizing the pair of interacting characters in video is a time-consuming process, instead, we train our model to learn from clip-level weak labels. We evaluate our models on the MovieGraphs dataset and show the impact of modalities, use of longer temporal context for predicting relationships, and achieve encouraging performance using weak labels as compared with ground-truth labels. Code is online.
• Abstract（参考訳）: 人間の相互作用は、しばしば関係によって支配される。 逆に、社会的関係はいくつかの相互作用に基づいている。 2人の見知らぬ人は、時間とともに友達になりながら挨拶し、自己紹介する傾向にある。 我々は、この相互作用と関係の相互作用に魅了され、社会状況を理解する上で重要な側面であると信じている。 本研究では,対話や関係,関連する文字のペアを学習し,共同で予測するニューラルモデルを提案する。 インタラクションは視覚と対話の混合によって情報化され、意味のある情報を抽出するためのマルチモーダルアーキテクチャが提案される。 ビデオ中の対話的文字のペアをローカライズすることは時間を要するプロセスであり、クリップレベルの弱いラベルから学習するためにモデルをトレーニングする。 我々は,映画グラフデータセット上でモデルを評価し,モーダリティの影響,関係予測のための長い時間文脈の利用,接地ラベルと比較して弱いラベルを用いた促進性能を実現する。 コードはオンラインです。

関連論文リスト

• Modeling Memory Imprints Induced by Interactions in Social Networks [0.0]
  ソーシャルネットワークにおけるリレーションシップの重要性にもかかわらず、長期にわたるインタラクションが、リレーションシップの重要性の記憶のインプリントとどのように相関するかを探求する研究はほとんどない。 本稿では,よく知られた認知科学モデルを適用し,記憶力学を表現する。 一つの個体群で訓練されたこのモデルは、この個体群だけでなく、別の個体群でも予測し、無関係な個体間の社会的相互作用の記憶インプリントの普遍性を示唆している。
  論文  参考訳（メタデータ） (2022-10-06T20:35:07Z)
• Triangular Character Animation Sampling with Motion, Emotion, and Relation [78.80083186208712]
  本稿では,キャラクターの身体の動き,表情,社会的関係を関連づけることで,アニメーションのサンプリングと合成を行う新しい枠組みを提案する。 本手法は,3次元キャラクタアニメーションの自動生成,非プレーヤキャラクタ(NPC)間のインタラクションの合成,バーチャルリアリティ(VR)におけるマシン感情インテリジェンスの向上を支援するアニメーターを提供する。
  論文  参考訳（メタデータ） (2022-03-09T18:19:03Z)
• Distillation of Human-Object Interaction Contexts for Action Recognition [0.0]
  局所的・グローバル的文脈の相互作用を利用して人間とオブジェクトの関係を学習する。 空間と時間を通して人間と物体の相互作用を学習するGLIDN(Global-Local Interaction Distillation Network)を提案する。 GLIDNは人やオブジェクトをグラフノードにエンコードし、グラフアテンションネットワークを介して局所的およびグローバルな関係を学習する。
  論文  参考訳（メタデータ） (2021-12-17T11:39:44Z)
• SSAGCN: Social Soft Attention Graph Convolution Network for Pedestrian Trajectory Prediction [59.064925464991056]
  ソーシャルソフトアテンショングラフ畳み込みネットワーク(SSAGCN)という新しい予測モデルを提案する。 SSAGCNは、歩行者間の社会的相互作用と歩行者と環境間のシーンインタラクションを同時に扱うことを目的としている。 公開データセットの実験は、SAGCNの有効性を証明し、最先端の結果を得た。
  論文  参考訳（メタデータ） (2021-12-05T01:49:18Z)
• Spatio-Temporal Interaction Graph Parsing Networks for Human-Object Interaction Recognition [55.7731053128204]
  ビデオに基づくヒューマンオブジェクトインタラクションシーンでは、人間とオブジェクトの時間的関係をモデル化することが、ビデオに提示されるコンテキスト情報を理解するための重要な手がかりである。 実効時間関係モデリングでは、各フレームの文脈情報を明らかにするだけでなく、時間間の依存関係を直接キャプチャすることもできる。 外観特徴、空間的位置、意味情報のフル活用は、ビデオベースのヒューマンオブジェクトインタラクション認識性能を改善する鍵でもある。
  論文  参考訳（メタデータ） (2021-08-19T11:57:27Z)
• Learning Asynchronous and Sparse Human-Object Interaction in Videos [56.73059840294019]
  Asynchronous-Sparse Interaction Graph Networks(ASSIGN)は、ビデオシーン内のエンティティに関連するインタラクションイベントの構造を自動的に検出します。 ASSIGNは人間と物体の相互作用認識において試験され、人間のサブアクティビティのセグメンテーションおよびラベル付けにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-03T23:43:55Z)
• A Machine Learning Approach to Predicting Continuous Tie Strengths [0.4014524824655105]
  人々の関係は常に進化し、対人行動を変え、社会集団を定義する。 ソーシャルネットワーク内のノード間の関係は、しばしば調査によって実証的に評価される結合力によって表される。 時間とともに進化する関係の連続的な近似を可能にするシステムを提案する。
  論文  参考訳（メタデータ） (2021-01-23T05:01:05Z)
• "where is this relationship going?": Understanding Relationship Trajectories in Narrative Text [28.14874371042193]
  社会的な相互作用を記述する物語が与えられたとき、システムは根底にある関係の軌跡について推測する。 新しいデータセットであるSocial Narrative Treeを構築し、1250のストーリーからなり、様々な日々の社会的相互作用を文書化しています。
  論文  参考訳（メタデータ） (2020-10-29T02:07:05Z)
• RKT : Relation-Aware Self-Attention for Knowledge Tracing [2.9778695679660188]
  知識追跡のためのリレーショナル・アウェア・セルフアテンション・モデル(RKT)を提案する。 文脈情報を組み込んだ関係認識型自己認識層を導入する。 我々のモデルは最先端の知識追跡手法より優れている。
  論文  参考訳（メタデータ） (2020-08-28T16:47:03Z)
• ConsNet: Learning Consistency Graph for Zero-Shot Human-Object Interaction Detection [101.56529337489417]
  画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。 我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。 提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
  論文  参考訳（メタデータ） (2020-08-14T09:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。