論文の概要: It's Just a Matter of Time: Detecting Depression with Time-Enriched Multimodal Transformers

• arxiv url: http://arxiv.org/abs/2301.05453v1
• Date: Fri, 13 Jan 2023 09:40:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-16 14:37:37.951515
• Title: It's Just a Matter of Time: Detecting Depression with Time-Enriched Multimodal Transformers
• Title（参考訳）: 時間の問題:時間に富んだマルチモーダル変圧器で抑うつを検知する
• Authors: Ana-Maria Bucur, Adrian Cosma, Paolo Rosso, Liviu P. Dinu
• Abstract要約: 本稿では,ソーシャルメディア投稿からうつ病を検出するための柔軟な時間拡張型マルチモーダルトランスフォーマーアーキテクチャを提案する。 我々のモデルはユーザーレベルで直接動作し、時間2vecの位置埋め込みを用いて、投稿間の相対時間で拡張する。 EmoBERTaとCLIPの埋め込みを用いた手法は、2つのマルチモーダルデータセット上の他の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 24.776445591293186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depression detection from user-generated content on the internet has been a long-lasting topic of interest in the research community, providing valuable screening tools for psychologists. The ubiquitous use of social media platforms lays out the perfect avenue for exploring mental health manifestations in posts and interactions with other users. Current methods for depression detection from social media mainly focus on text processing, and only a few also utilize images posted by users. In this work, we propose a flexible time-enriched multimodal transformer architecture for detecting depression from social media posts, using pretrained models for extracting image and text embeddings. Our model operates directly at the user-level, and we enrich it with the relative time between posts by using time2vec positional embeddings. Moreover, we propose another model variant, which can operate on randomly sampled and unordered sets of posts to be more robust to dataset noise. We show that our method, using EmoBERTa and CLIP embeddings, surpasses other methods on two multimodal datasets, obtaining state-of-the-art results of 0.931 F1 score on a popular multimodal Twitter dataset, and 0.902 F1 score on the only multimodal Reddit dataset.
• Abstract（参考訳）: インターネット上のユーザー生成コンテンツからの抑うつ検出は、研究コミュニティにおける長年の関心事であり、心理学者にとって貴重なスクリーニングツールを提供している。 ソーシャルメディアプラットフォームのユビキタスな利用は、投稿や他のユーザーとの対話におけるメンタルヘルスの顕在化を探求するための完璧な道筋を示している。 現在のソーシャルメディアからのうつ病検出手法は主にテキスト処理に焦点をあてており、利用者が投稿した画像も活用できるのはごくわずかである。 本研究では,画像およびテキスト埋め込み抽出のための事前学習モデルを用いて,ソーシャルメディア投稿から抑うつを検出するためのフレキシブルな時間エンリッチマルチモーダルトランスアーキテクチャを提案する。 我々のモデルはユーザーレベルで直接動作し、時間2vecの位置埋め込みを用いて、投稿間の相対時間で拡張する。 さらに,無作為なサンプルと無秩序なポストの集合で動作し,データセットのノイズに対してより堅牢なモデル変種を提案する。 提案手法はemoberta と clip embeddeds を用いて,2つのマルチモーダルデータセット上の他の手法を上回り,人気のマルチモーダルtwitterデータセットで0.931 f1,唯一のマルチモーダルredditデータセットで 0.902 f1 という最新結果を得た。

関連論文リスト

• Multi-modal Stance Detection: New Datasets and Model [56.97470987479277]
  テキストと画像からなるツイートに対するマルチモーダル姿勢検出について検討する。 我々は、シンプルで効果的なマルチモーダル・プロンプト・チューニング・フレームワーク(TMPT)を提案する。 TMPTはマルチモーダル姿勢検出における最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-22T05:24:19Z)
• Reading Between the Frames: Multi-Modal Depression Detection in Videos from Non-Verbal Cues [11.942057763913208]
  世界的障害への顕著な貢献者である抑うつは、人口のかなりの部分に影響を与える。 ソーシャルメディアのテキストからうつ病を検知する試みは広く行われているが、ユーザー生成ビデオコンテンツからうつ病を検知する研究はごくわずかしか行われていない。 本研究では, ノイズの多い実世界のビデオにおいて, 多様なモーダル性から非言語的抑うつの手がかりを識別できる, 単純で柔軟なマルチモーダル時間モデルを提案する。
  論文  参考訳（メタデータ） (2024-01-05T10:47:42Z)
• An Attention-Based Denoising Framework for Personality Detection in Social Media Texts [1.4887196224762684]
  ユーザ生成テキストに基づくパーソナリティ検出は、ユーザポートレートを構築するために使用できる普遍的な方法である。 本稿では,注目情報抽出機構(AIEM)を提案する。 ゴールド標準のTwitter-Myers-Briggs Type Indicatorデータセットでは,平均精度が10.2%向上した。
  論文  参考訳（メタデータ） (2023-11-16T14:56:09Z)
• Detecting and Grounding Multi-Modal Media Manipulation and Beyond [93.08116982163804]
  マルチモーダルフェイクメディア(DGM4)の新たな研究課題について述べる。 DGM4は、マルチモーダルメディアの真正性を検出するだけでなく、操作されたコンテンツも検出することを目的としている。 本稿では,異なるモーダル間のきめ細かい相互作用を完全に捉えるために,新しい階層型マルチモーダルマニピュレーションrEasoning tRansformer(HAMMER)を提案する。
  論文  参考訳（メタデータ） (2023-09-25T15:05:46Z)
• Towards Better Multi-modal Keyphrase Generation via Visual Entity Enhancement and Multi-granularity Image Noise Filtering [79.44443231700201]
  マルチモーダルなキーフレーズ生成は、入力されたテキストイメージペアのコアポイントを表すキーフレーズのセットを作成することを目的としている。 入力されたテキストと画像はしばしば完全に一致しないので、画像はモデルにノイズをもたらす可能性がある。 本稿では,モデル入力を外部知識で豊かにするだけでなく,画像ノイズを効果的にフィルタする,新しいマルチモーダル・キーフレーズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2023-09-09T09:41:36Z)
• Multimodal Detection of Bots on X (Twitter) using Transformers [6.390468088226495]
  本稿では,ソーシャルメディアにおけるボット検出手法を提案する。 ユーザ記述フィールドと3つのチャネルの画像のみを使用します。 Cresci'17とTwiBot-20データセットで実施された実験は、我々の導入したアプローチの貴重な利点を示している。
  論文  参考訳（メタデータ） (2023-08-28T10:51:11Z)
• Depression detection in social media posts using affective and social norm features [84.12658971655253]
  ソーシャルメディア投稿からの抑うつ検出のための奥深いアーキテクチャを提案する。 我々は、後期融合方式を用いて、ポストとワードの敬称と道徳的特徴をアーキテクチャに組み込んだ。 提案された機能を含めると、両方の設定で最先端の結果が得られます。
  論文  参考訳（メタデータ） (2023-03-24T21:26:27Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• GAME-ON: Graph Attention Network based Multimodal Fusion for Fake News Detection [6.037721620350107]
  我々は,マルチモーダルフェイクニュース検出のためのより堅牢なデータ表現を学習するための,グラフニューラルネットワークに基づくエンドツーエンドトレーニング可能なフレームワークであるGAME-ONを提案する。 当社のモデルはTwitter上で平均11%向上し、Weiboでは2.6%のマージンで競争力を維持する一方で、最も優れた最先端ベースラインよりも65%少ないパラメータを使用する。
  論文  参考訳（メタデータ） (2022-02-25T03:27:37Z)
• Twitter-COMMs: Detecting Climate, COVID, and Military Multimodal Misinformation [83.2079454464572]
  本稿では,DARPAセマンティック・フォレスティクス(SemaFor)プログラムにおける画像テキスト不整合検出へのアプローチについて述べる。 Twitter-COMMsは大規模マルチモーダルデータセットで、884万のツイートが気候変動、新型コロナウイルス、軍用車両のトピックに関連する。 我々は、最先端のCLIPモデルに基づいて、自動生成されたランダムとハードのネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガ
  論文  参考訳（メタデータ） (2021-12-16T03:37:20Z)
• Explainable Depression Detection with Multi-Modalities Using a Hybrid Deep Learning Model on Social Media [21.619614611039257]
  階層型アテンションネットワークMDHANを用いた解釈型マルチモーダルデプレッション検出を提案する。 本モデルは,ソーシャルメディアに公開メッセージを投稿している利用者の抑うつを検知する際の予測性能の向上に寄与する。
  論文  参考訳（メタデータ） (2020-07-03T12:11:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。