論文の概要: SentiFormer: Metadata Enhanced Transformer for Image Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2502.15322v1
• Date: Fri, 21 Feb 2025 09:22:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:10:49.256561
• Title: SentiFormer: Metadata Enhanced Transformer for Image Sentiment Analysis
• Title（参考訳）: SentiFormer:画像知覚解析のためのメタデータ強化変換器
• Authors: Bin Feng, Shulan Ruan, Mingzheng Yang, Dongxuan Han, Huijie Liu, Kai Zhang, Qi Liu,
• Abstract要約: 感情分析のためのメタデータ拡張変換器(SentiFormer)を提案する。 各メタデータの適切な重み付けを適応的に学習するために、適応関連学習モジュールを設計する。 我々は,適応的に学習した表現を融合し,最終的な予測を行うクロスモーダル融合モジュールを開発した。
• 参考スコア（独自算出の注目度）: 8.823200970018487
• License:
• Abstract: As more and more internet users post images online to express their daily emotions, image sentiment analysis has attracted increasing attention. Recently, researchers generally tend to design different neural networks to extract visual features from images for sentiment analysis. Despite the significant progress, metadata, the data (e.g., text descriptions and keyword tags) for describing the image, has not been sufficiently explored in this task. In this paper, we propose a novel Metadata Enhanced Transformer for sentiment analysis (SentiFormer) to fuse multiple metadata and the corresponding image into a unified framework. Specifically, we first obtain multiple metadata of the image and unify the representations of diverse data. To adaptively learn the appropriate weights for each metadata, we then design an adaptive relevance learning module to highlight more effective information while suppressing weaker ones. Moreover, we further develop a cross-modal fusion module to fuse the adaptively learned representations and make the final prediction. Extensive experiments on three publicly available datasets demonstrate the superiority and rationality of our proposed method.
• Abstract（参考訳）: インターネットユーザーが日々の感情を表現するために画像をオンラインで投稿するケースが増えている中、イメージの感情分析が注目を集めている。 近年、研究者は感情分析のために画像から視覚的特徴を抽出するために異なるニューラルネットワークを設計する傾向にある。 大幅な進歩にもかかわらず、画像を記述するためのメタデータ(例:テキスト記述、キーワードタグ)は、このタスクでは十分に検討されていない。 本稿では,感情分析のためのメタメタデータ拡張トランスフォーマ(SentiFormer)を提案する。 具体的には、まず画像の複数のメタデータを取得し、多様なデータの表現を統一する。 各メタデータの適切な重み付けを適応的に学習するために、より弱いメタデータを抑えつつ、より効果的な情報を強調する適応関連学習モジュールを設計する。 さらに,適応的に学習した表現を融合し,最終的な予測を行うクロスモーダル融合モジュールを開発した。 3つの公開データセットに対する大規模な実験により,提案手法の優位性と合理性を示した。

関連論文リスト

• ARMADA: Attribute-Based Multimodal Data Augmentation [93.05614922383822]
  Attribute-based Multimodal Data Augmentation (ARMADA) は、知識誘導による視覚属性の操作による新しいマルチモーダルデータ拡張手法である。 ARMADAは、新しいマルチモーダルデータ生成フレームワークである。 (i) 意味的に一貫性があるがユニークな画像-テキストペア生成のために、シンボリックKBから知識基底属性を抽出する。 これはまた、解釈可能性の向上と現実世界の接地のために外部の知識プロキシを活用する必要性を強調している。
  論文  参考訳（メタデータ） (2024-08-19T15:27:25Z)
• Language Guided Domain Generalized Medical Image Segmentation [68.93124785575739]
  単一ソースドメインの一般化は、より信頼性が高く一貫性のあるイメージセグメンテーションを現実の臨床環境にわたって約束する。 本稿では,テキストエンコーダ機能によって案内されるコントラスト学習機構を組み込むことで,テキスト情報を明確に活用する手法を提案する。 文献における既存手法に対して,本手法は良好な性能を発揮する。
  論文  参考訳（メタデータ） (2024-04-01T17:48:15Z)
• DAMSDet: Dynamic Adaptive Multispectral Detection Transformer with Competitive Query Selection and Adaptive Feature Fusion [82.2425759608975]
  赤外可視物体検出は、赤外画像と可視画像の相補的情報を融合することにより、フルデイ物体検出の堅牢化を目指している。 本稿では,この2つの課題に対処する動的適応型マルチスペクトル検出変換器(DAMSDet)を提案する。 4つの公開データセットの実験は、他の最先端の手法と比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2024-03-01T07:03:27Z)
• MetaSegNet: Metadata-collaborative Vision-Language Representation Learning for Semantic Segmentation of Remote Sensing Images [7.0622873873577054]
  リモートセンシング画像のセグメンテーションのための新しいメタデータ協調セグメンテーションネットワーク(MetaSegNet)を提案する。 一元的視覚データのみを使用する一般的なモデル構造とは異なり、我々は自由に利用可能なリモートセンシング画像メタデータから重要な特徴を抽出する。 画像エンコーダ,テキストエンコーダ,およびクロスモーダルアテンション融合サブネットワークを構築し,画像とテキストの特徴を抽出する。
  論文  参考訳（メタデータ） (2023-12-20T03:16:34Z)
• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• Effective Data Augmentation With Diffusion Models [65.09758931804478]
  我々は、事前訓練されたテキスト・画像拡散モデルによりパラメータ化された画像・画像変換によるデータ拡張の多様性の欠如に対処する。 本手法は,市販の拡散モデルを用いて画像のセマンティクスを編集し,いくつかのラベル付き例から新しい視覚概念に一般化する。 本手法は,実世界の雑草認識タスクと数ショット画像分類タスクにおいて評価し,テスト領域における精度の向上を観察する。
  論文  参考訳（メタデータ） (2023-02-07T20:42:28Z)
• Data Augmentation for Meta-Learning [58.47185740820304]
  メタ学習アルゴリズムは、各トレーニングステップでデータ、クエリデータ、タスクをサンプリングする。 データ拡張は、クラス毎に利用可能な画像の数を増やすだけでなく、全く新しいクラス/タスクを生成するためにも使用できる。 提案したメタ固有データ拡張は,数ショットの分類ベンチマークにおいて,メタラーナーの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-10-14T13:48:22Z)
• Learning to Represent Image and Text with Denotation Graph [32.417311523031195]
  本稿では,画像とテキスト間の暗黙的・視覚的接地表現の集合から学習表現を提案する。 得られた構造的関係を利用して,最先端のマルチモーダル学習モデルをさらに改良できることを示す。
  論文  参考訳（メタデータ） (2020-10-06T18:00:58Z)
• Domain Adaptation with Morphologic Segmentation [8.0698976170854]
  本稿では,任意の入力領域(実領域と合成領域)の画像を一様出力領域に変換するために,形態的セグメンテーションを用いた新しいドメイン適応フレームワークを提案する。 私たちのゴールは、複数のソースからのデータを共通の表現に統一する前処理のステップを確立することです。 都市景観のシミュレートと実データの4つのデータ集合上で, 定性的に定量的に評価し, 提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2020-06-16T17:06:02Z)
• Learning Test-time Augmentation for Content-based Image Retrieval [42.188013259368766]
  オフザシェルフ畳み込みニューラルネットワークは、多くの画像検索タスクにおいて優れた結果をもたらす。 既存の画像検索手法では、ターゲットデータ特有のバリエーションに適応するために、事前訓練されたネットワークを微調整または修正する必要がある。 本手法は, テスト時に強調した画像から抽出した特徴を, 強化学習を通じて学習したポリシーに則って集約することにより, 既製の特徴の分散を促進させる。
  論文  参考訳（メタデータ） (2020-02-05T05:08:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。