論文の概要: Stochastic Neighbor Embedding of Multimodal Relational Data for
Image-Text Simultaneous Visualization
- arxiv url: http://arxiv.org/abs/2005.00670v1
- Date: Sat, 2 May 2020 00:39:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 11:31:59.408267
- Title: Stochastic Neighbor Embedding of Multimodal Relational Data for
Image-Text Simultaneous Visualization
- Title（参考訳）: 画像-テキスト同時可視化のためのマルチモーダル関係データの確率的近傍埋め込み
- Authors: Morihiro Mizutani, Akifumi Okuno, Geewook Kim, Hidetoshi Shimodaira
- Abstract要約: t-stochastic Neighbor Embedding (t-SNE) は低次元の特徴ベクトルを計算し、観測されたデータベクトルの類似性を維持する。
MR-SNEは、単一のデータ領域のみを対象として設計されているが、マルチモーダルデータには向いていない。
FlickrとAnimal with Attributes 2データセットの可視化を通じて、提案したMR-SNEは他のグラフ埋め込みベースのアプローチと比較する。
- 参考スコア（独自算出の注目度）: 15.503712537120432
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal relational data analysis has become of increasing importance in
recent years, for exploring across different domains of data, such as images
and their text tags obtained from social networking services (e.g., Flickr). A
variety of data analysis methods have been developed for visualization; to give
an example, t-Stochastic Neighbor Embedding (t-SNE) computes low-dimensional
feature vectors so that their similarities keep those of the observed data
vectors. However, t-SNE is designed only for a single domain of data but not
for multimodal data; this paper aims at visualizing multimodal relational data
consisting of data vectors in multiple domains with relations across these
vectors. By extending t-SNE, we herein propose Multimodal Relational Stochastic
Neighbor Embedding (MR-SNE), that (1) first computes augmented relations, where
we observe the relations across domains and compute those within each of
domains via the observed data vectors, and (2) jointly embeds the augmented
relations to a low-dimensional space. Through visualization of Flickr and
Animal with Attributes 2 datasets, proposed MR-SNE is compared with other graph
embedding-based approaches; MR-SNE demonstrates the promising performance.
- Abstract（参考訳）: 近年、画像や、ソーシャルネットワークサービス(例えばflickr)から取得したテキストタグなど、さまざまな領域にわたるデータ探索において、マルチモーダルなリレーショナルデータ分析の重要性が高まっている。
例えば、t-SNE(t-Stochastic Neighbor Embedding)は低次元の特徴ベクトルを計算し、それらの類似性は観測されたデータベクトルの値を保持する。
しかし、t-SNEは単一のデータ領域のみを対象として設計されており、マルチモーダルデータではなく、これらのベクトルをまたいだ関係を持つ複数の領域のデータベクトルからなるマルチモーダルリレーショナルデータを可視化することを目的としている。
そこで、t-sneを拡張して、(1)領域間の関係を観測し、観測されたデータベクトルを介して各領域内の関係を計算し、(2)低次元空間に共同で拡張関係を埋め込み、(1)拡張関係を計算するマルチモーダル関係確率的近傍埋め込み(mr-sne)を提案する。
FlickrとAnimal with Attributes 2データセットの可視化を通じて、提案されたMR-SNEは他のグラフ埋め込みベースのアプローチと比較される。
関連論文リスト
- Entropic Optimal Transport Eigenmaps for Nonlinear Alignment and Joint Embedding of High-Dimensional Datasets [11.105392318582677]
本稿では,理論的保証付きデータセットの整列と共同埋め込みの原理的アプローチを提案する。
提案手法は,2つのデータセット間のEOT計画行列の先頭特異ベクトルを利用して,それらの共通基盤構造を抽出する。
EOT計画では,高次元状態において,潜伏変数の位置で評価されたカーネル関数を近似することにより,共有多様体構造を復元する。
論文 参考訳（メタデータ） (2024-07-01T18:48:55Z) - Multi-Relational Graph Neural Network for Out-of-Domain Link Prediction [12.475382123139024]
本稿では,領域外一般化問題に対処するため,GOODと呼ばれる新しいグラフニューラルネットワークモデルを提案する。
GOODは、既知の関係タイプから予測を効果的に一般化し、最先端の結果を得ることができる。
論文 参考訳（メタデータ） (2024-03-17T18:08:22Z) - AlignMiF: Geometry-Aligned Multimodal Implicit Field for LiDAR-Camera
Joint Synthesis [98.3959800235485]
近年,複数のモダリティを単一のフィールド内で探索する手法がいくつか存在しており,異なるモダリティから暗黙的な特徴を共有して再現性能を向上させることを目的としている。
本研究では,LiDAR-カメラ共同合成の多モード暗黙的場に関する包括的解析を行い,その根底にある問題はセンサの誤配にあることを示した。
幾何学的に整合した多モード暗黙の場であるAlignMiFを導入し,2つのモジュール,Geometry-Aware Alignment (GAA) とShared Geometry Initialization (SGI)を提案する。
論文 参考訳（メタデータ） (2024-02-27T13:08:47Z) - Learnable Pillar-based Re-ranking for Image-Text Retrieval [119.9979224297237]
画像テキスト検索は、モダリティギャップを埋め、意味的類似性に基づいてモダリティコンテンツを検索することを目的としている。
一般的なポストプロセッシング手法であるリグレードは, 単一モダリティ検索タスクにおいて, 隣り合う関係を捕捉する優位性を明らかにしている。
本稿では,画像テキスト検索のための新しい学習可能な柱型リグレードパラダイムを提案する。
論文 参考訳（メタデータ） (2023-04-25T04:33:27Z) - Linking data separation, visual separation, and classifier performance
using pseudo-labeling by contrastive learning [125.99533416395765]
最終分類器の性能は、潜在空間に存在するデータ分離と、射影に存在する視覚的分離に依存すると論じる。
本研究は,ヒト腸管寄生虫の5つの現実的課題の画像データセットを1%の教師付きサンプルで分類し,その結果を実証する。
論文 参考訳（メタデータ） (2023-02-06T10:01:38Z) - Cross-Domain Few-Shot Relation Extraction via Representation Learning
and Domain Adaptation [1.1602089225841632]
短いショット関係抽出は、各関係にラベル付き文がほとんどない新しい関係を認識することを目的としている。
従来の距離法に基づく数ショット関係抽出アルゴリズムは、訓練された距離関数を用いて、クエリ文の埋め込みに埋め込まれた少数のラベル付き文によって生成されたプロトタイプを比較することにより、関係を識別する。
我々は,先行知識からより解釈可能で効率的なプロトタイプを学習し,様々な領域における新たな関係をより効果的に抽出するために,関係の本質的な意味論を学習することを提案する。
論文 参考訳（メタデータ） (2022-12-05T19:34:52Z) - coVariance Neural Networks [119.45320143101381]
グラフニューラルネットワーク(GNN)は、グラフ構造化データ内の相互関係を利用して学習する効果的なフレームワークである。
我々は、サンプル共分散行列をグラフとして扱う、共分散ニューラルネットワーク(VNN)と呼ばれるGNNアーキテクチャを提案する。
VNN の性能は PCA ベースの統計手法よりも安定していることを示す。
論文 参考訳（メタデータ） (2022-05-31T15:04:43Z) - Log-Euclidean Signatures for Intrinsic Distances Between Unaligned
Datasets [47.20862716252927]
我々は、多様体学習を用いて、異なるデータセットの固有幾何学構造を比較する。
対数ユークリッド計量の下限に基づいて、理論上動機付けられた新しい距離を定義する。
論文 参考訳（メタデータ） (2022-02-03T16:37:23Z) - Domain2Vec: Domain Embedding for Unsupervised Domain Adaptation [56.94873619509414]
従来の教師なしドメイン適応は、限られた数のドメイン間の知識伝達を研究する。
本稿では,特徴不整合とグラム行列の連成学習に基づいて,視覚領域のベクトル表現を提供する新しいDomain2Vecモデルを提案する。
我々の埋め込みは、異なるドメイン間の視覚的関係に関する直感と一致するドメイン類似性を予測できることを示した。
論文 参考訳（メタデータ） (2020-07-17T22:05:09Z) - The Immersion of Directed Multi-graphs in Embedding Fields.
Generalisations [0.0]
本稿では,ハイブリッドカテゴリー,シンボル,知覚感覚,知覚潜在データを表す汎用モデルについて概説する。
この表現は、コンピュータビジョンにおける様々な機械学習モデル、NLP/NLUで現在使用されている。
これは、様々な潜在空間からの埋め込みを表す少なくともいくつかのエッジ属性を持つ有向リレーショナル型マルチグラフを提供することによって達成される。
論文 参考訳（メタデータ） (2020-04-28T09:28:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。