論文の概要: Exploring Visual Engagement Signals for Representation Learning

• arxiv url: http://arxiv.org/abs/2104.07767v1
• Date: Thu, 15 Apr 2021 20:50:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-19 14:33:34.673832
• Title: Exploring Visual Engagement Signals for Representation Learning
• Title（参考訳）: 表現学習のための視覚エンゲージメント信号の探索
• Authors: Menglin Jia, Zuxuan Wu, Austin Reiter, Claire Cardie, Serge Belongie, Ser-Nam Lim
• Abstract要約: VisEは、クラスタ化されたエンゲージメント信号から派生した擬似ラベルにソーシャルイメージをマップする弱い教師付き学習アプローチである。 この方法でトレーニングされたモデルが、感情認識や政治的バイアス検出といった主観的なコンピュータビジョンタスクにどのように役立つかを研究する。
• 参考スコア（独自算出の注目度）: 56.962033268934015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual engagement in social media platforms comprises interactions with photo posts including comments, shares, and likes. In this paper, we leverage such visual engagement clues as supervisory signals for representation learning. However, learning from engagement signals is non-trivial as it is not clear how to bridge the gap between low-level visual information and high-level social interactions. We present VisE, a weakly supervised learning approach, which maps social images to pseudo labels derived by clustered engagement signals. We then study how models trained in this way benefit subjective downstream computer vision tasks such as emotion recognition or political bias detection. Through extensive studies, we empirically demonstrate the effectiveness of VisE across a diverse set of classification tasks beyond the scope of conventional recognition.
• Abstract（参考訳）: ソーシャルメディアプラットフォームにおけるビジュアルエンゲージメントは、コメントや共有などを含む写真投稿とのインタラクションを含んでいる。 本稿では,表現学習の補助信号として視覚的エンゲージメントの手がかりを利用する。 しかし、エンゲージメント信号からの学習は、低レベルの視覚情報と高レベルの社会的相互作用のギャップを埋める方法が明確でないため、簡単ではない。 本稿では、ソーシャルイメージをクラスタ化エンゲージメント信号から導出した擬似ラベルにマッピングする、弱教師付き学習手法VisEを提案する。 この方法でトレーニングされたモデルが、感情認識や政治的バイアス検出といった主観的なコンピュータビジョンタスクにどのように役立つかを研究する。 広範な研究を通じて,従来の認識範囲を超えて,多様な分類タスクにおけるviseの有効性を実証的に実証した。

関連論文リスト

• Visual In-Context Learning for Large Vision-Language Models [62.5507897575317]
  大規模視覚言語モデル(LVLM)では、言語間相互作用や表現格差の課題により、ICL(In-Context Learning)の有効性が制限されている。 本稿では,視覚的記述型検索,意図的画像要約,意図的記述型合成を含む新しい視覚的記述型学習(VICL)手法を提案する。 提案手法は'Retrieval & Rerank'パラダイムを用いて画像を検索し,タスク意図とタスク固有の視覚的パーシングで画像を要約し,言語による実演を構成する。
  論文  参考訳（メタデータ） (2024-02-18T12:43:38Z)
• StyleEDL: Style-Guided High-order Attention Network for Image Emotion Distribution Learning [69.06749934902464]
  StyleEDLと呼ばれる画像感情分布学習のためのスタイル誘導型高次アテンションネットワークを提案する。 StyleEDLは視覚内容の階層的スタイリスティック情報を探索することにより、画像のスタイリスティックな表現を対話的に学習する。 さらに、コンテンツ依存の感情表現を動的に生成するスタイリスティックなグラフ畳み込みネットワークを導入する。
  論文  参考訳（メタデータ） (2023-08-06T03:22:46Z)
• Visual resemblance and communicative context constrain the emergence of graphical conventions [21.976382800327965]
  描画は視覚世界についてコミュニケーションするための多彩な媒体を提供する。 視聴者は、自分の参照するエンティティ(つまり画像)にのみ類似する能力に基づいて、図面を理解できますか? 彼らはこれらの実体(記号)との共有だが任意の関連に基づく図面を理解できますか。
  論文  参考訳（メタデータ） (2021-09-17T23:05:36Z)
• Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
  逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。 望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。 変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-16T00:15:18Z)
• CoCon: Cooperative-Contrastive Learning [52.342936645996765]
  自己教師付き視覚表現学習は効率的な映像分析の鍵である。 最近の画像表現の学習の成功は、コントラスト学習がこの課題に取り組むための有望なフレームワークであることを示唆している。 コントラスト学習の協調的バリエーションを導入し、ビュー間の相補的な情報を活用する。
  論文  参考訳（メタデータ） (2021-04-30T05:46:02Z)
• Multimodal Contrastive Training for Visual Representation Learning [45.94662252627284]
  マルチモーダルデータを取り入れた視覚表現の学習手法を開発した。 本手法は,各モダリティおよびセマンティクス情報内の本質的なデータ特性をクロスモーダル相関から同時に利用する。 統合フレームワークにマルチモーダルトレーニングを組み込むことで,より強力で汎用的な視覚的特徴を学習することができる。
  論文  参考訳（メタデータ） (2021-04-26T19:23:36Z)
• Embodied Visual Active Learning for Semantic Segmentation [33.02424587900808]
  本研究では,エージェントが3次元環境を探索し,視覚シーン理解の獲得を目指す,具体化されたビジュアルアクティブラーニングの課題について検討する。 我々は、学習と事前指定の両方のエージェントのバッテリーを開発し、環境に関する異なるレベルの知識で開発する。 本研究では,matterport3dシミュレータを用いて提案手法を広範囲に評価し,本手法が比較対象よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-17T11:02:34Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。