論文の概要: VIS-DICT: A Visual Dictionary for Missing Modality Imputation in Social Network Depression Detection

• arxiv url: http://arxiv.org/abs/2609.05537v1
• Date: Wed, 02 Sep 2026 08:13:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 13:25:34.236985
• Title: VIS-DICT: A Visual Dictionary for Missing Modality Imputation in Social Network Depression Detection
• Title（参考訳）: VIS-DICT: ソーシャルネットワークの抑うつ検出におけるモダリティ・インプットの欠如に関するビジュアル辞書
• Abstract要約: ソーシャルメディアの投稿を追跡することは、うつ病の早期兆候を見つけるのに役立つ。 多くのソーシャルメディア投稿には画像がないため、マルチモーダルモデルの使用が困難である。 完全トレーニングポストから平均画像ベクトルに単語をリンクすることで視覚的特徴の欠落を解消するVis-Dictを導入する。
• 参考スコア（独自算出の注目度）: 0.17205106391379021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tracking social media posts can help spot early signs of depression. Recent studies show that combining text and images works better for detecting depression than using text alone. However, many social media posts do not have images, which makes it hard to use multimodal models. Most existing methods fill in missing images using retrieval or generative models that need extra training. In this paper, we introduce Vis-Dict, a dictionary-based method that builds missing visual features by linking words to average image vectors from complete training posts. These estimated visual features are then combined with text to track changes in user behavior over time. We tested Vis-Dict on a social media dataset using user timelines of up to 512 posts and compared it with other missing-data methods. The results show that Vis-Dict performs on par with generative networks, reaching an F1-score of 0.9454 and an ROC-AUC of 0.9890. Most importantly, Vis-Dict achieves this strong performance with zero trainable parameters for image generation. These findings show that directly connecting words to visual features is an effective and practical way to handle missing images in depression detection systems.
• Abstract（参考訳）: ソーシャルメディアの投稿を追跡することは、うつ病の早期兆候を見つけるのに役立つ。 近年の研究では、テキストと画像の組み合わせは、テキスト単独の使用よりも抑うつの検出に有効であることが示されている。 しかし、多くのソーシャルメディア投稿には画像がないため、マルチモーダルモデルの使用が困難である。 既存のほとんどの方法は、余分な訓練を必要とする検索モデルや生成モデルを使って、欠落したイメージを埋める。 本稿では、単語と平均画像ベクトルを完全トレーニングポストからリンクすることで、欠落した視覚特徴を構築できる辞書ベースのVis-Dictを紹介する。 これらの推定された視覚機能はテキストと組み合わせて、時間の経過とともにユーザーの行動の変化を追跡する。 ソーシャルメディア上のVis-Dictを、最大512の投稿のユーザタイムラインを用いてテストし、他の欠落データ手法と比較した。 その結果、Vis-Dictは生成ネットワークと同等に動作し、F1スコアは0.9454、ROC-AUCは0.9890に達した。 最も重要なことは、Vis-Dictは画像生成のためのトレーニング可能なパラメータをゼロにすることで、この強力な性能を達成することである。 これらの結果から, 抑うつ検出システムにおいて, 単語と視覚的特徴を直接接続することは, 欠落画像の処理に効果的かつ実用的な方法であることが示唆された。

関連論文リスト

• The Many Senses of Visual Similarity: A Text-Prompted Image Perceptual Metric [78.74729751232852]
  画像三重項に対する人間の類似性判定の大規模データセットを提案する。 視覚言語モデルを微調整して,テキストプロンプト画像の知覚的類似度測定値を生成する。 TPIPSは人間の知覚とより密接に一致し、トレーニング分布を超えて確実に一般化する。
  論文  参考訳（メタデータ） (2026-07-20T17:59:51Z)
• Towards Better Multi-modal Keyphrase Generation via Visual Entity Enhancement and Multi-granularity Image Noise Filtering [79.44443231700201]
  マルチモーダルなキーフレーズ生成は、入力されたテキストイメージペアのコアポイントを表すキーフレーズのセットを作成することを目的としている。 入力されたテキストと画像はしばしば完全に一致しないので、画像はモデルにノイズをもたらす可能性がある。 本稿では,モデル入力を外部知識で豊かにするだけでなく,画像ノイズを効果的にフィルタする,新しいマルチモーダル・キーフレーズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2023-09-09T09:41:36Z)
• Improving Multimodal Datasets with Image Captioning [65.74736570293622]
  生成したキャプションが非記述テキストによるWebスクラッピングデータポイントの有用性を高める方法について検討する。 DataComp の大規模字幕 (1.28B 画像テキストペア) を用いた実験により,合成テキストの限界について考察した。
  論文  参考訳（メタデータ） (2023-07-19T17:47:12Z)
• Revisiting the Role of Language Priors in Vision-Language Models [90.0317841097143]
  視覚言語モデル(VLM)は、微調整なしで、ゼロショット方式で様々な視覚的理解タスクに適用される。 我々は、画像から次の単語を生成するために訓練された$textitgenerative VLMs$について研究する。 画像テキスト検索の図解的タスクにおけるゼロショット性能を,8つの人気のある視覚言語ベンチマークで検証する。
  論文  参考訳（メタデータ） (2023-06-02T19:19:43Z)
• Scene Text Recognition with Image-Text Matching-guided Dictionary [17.073688809336456]
  Scene Image-Text Matching (SITM) ネットワークを利用した辞書言語モデルを提案する。 ITCにインスパイアされたSITMネットワークは、すべての候補の視覚的特徴とテキスト的特徴を組み合わせて、特徴空間における最小距離の候補を特定する。 本手法は6つの主要なベンチマークにおいて,通常の手法よりも優れた結果(93.8%の精度)が得られる。
  論文  参考訳（メタデータ） (2023-05-08T07:47:49Z)
• Borrowing Human Senses: Comment-Aware Self-Training for Social Media Multimodal Classification [5.960550152906609]
  視覚的および言語的類似性を共同で活用することで,ユーザコメントからヒントを抽出する。 分類タスクは教師-学生のフレームワークにおける自己学習を通じて探索され、通常はラベル付きデータスケールに動機づけられる。 その結果,提案手法は従来の最先端モデルの性能をさらに向上させることが示された。
  論文  参考訳（メタデータ） (2023-03-27T08:59:55Z)
• It's Just a Matter of Time: Detecting Depression with Time-Enriched Multimodal Transformers [24.776445591293186]
  本稿では,ソーシャルメディア投稿からうつ病を検出するための柔軟な時間拡張型マルチモーダルトランスフォーマーアーキテクチャを提案する。 我々のモデルはユーザーレベルで直接動作し、時間2vecの位置埋め込みを用いて、投稿間の相対時間で拡張する。 EmoBERTaとCLIPの埋め込みを用いた手法は、2つのマルチモーダルデータセット上の他の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-13T09:40:19Z)
• NewsStories: Illustrating articles with visual summaries [49.924916589209374]
  我々は,3300万記事,2200万画像,100万ビデオを含む大規模マルチモーダルデータセットを提案する。 現状の画像テキストアライメント手法は、複数の画像を持つ長い物語に対して堅牢ではないことを示す。 本稿では,GoodNewsデータセット上で,ゼロショット画像セット検索において,これらの手法を10%向上させる直感的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-07-26T17:34:11Z)
• Learning to Generate Scene Graph from Natural Language Supervision [52.18175340725455]
  シーングラフと呼ばれる画像内の局所化オブジェクトとその関係をグラフィカルに表現するために,画像と文のペアから学習する最初の方法の1つを提案する。 既製のオブジェクト検出器を利用してオブジェクトのインスタンスを識別し、ローカライズし、検出された領域のラベルとキャプションから解析された概念をマッチングし、シーングラフを学習するための"擬似ラベル"を作成する。
  論文  参考訳（メタデータ） (2021-09-06T03:38:52Z)
• Deep Multimodal Image-Text Embeddings for Automatic Cross-Media Retrieval [0.0]
  視覚と言語表現を同時に学習するための,エンドツーエンドの深層マルチモーダル畳み込み再帰ネットワークを提案する。 このモデルは、どのペアがマッチ(正)か、どれがミスマッチ(負)かをヒンジベースの三重項ランキングを用いて学習する。
  論文  参考訳（メタデータ） (2020-02-23T23:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。