Fugu-MT 論文翻訳(概要): Cross-Modal Contrastive Representation Learning for Audio-to-Image Generation

論文の概要: Cross-Modal Contrastive Representation Learning for Audio-to-Image Generation

arxiv url: http://arxiv.org/abs/2207.12121v1
Date: Wed, 20 Jul 2022 10:00:49 GMT
ステータス: 処理完了
システム内更新日: 2022-08-07 14:33:46.010502
Title: Cross-Modal Contrastive Representation Learning for Audio-to-Image Generation
Title（参考訳）: 音声対画像生成のためのクロスモーダルコントラスト表現学習
Authors: HaeChun Chung, JooYong Shim, Jong-Kook Kim
Abstract要約: 音声から有用な特徴を抽出するために,クロスモーダルコントラスト表現学習を提案する。実験の結果,CMCRLは過去の研究よりも画像の品質を向上させることがわかった。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multiple modalities for certain information provide a variety of perspectives on that information, which can improve the understanding of the information. Thus, it may be crucial to generate data of different modality from the existing data to enhance the understanding. In this paper, we investigate the cross-modal audio-to-image generation problem and propose Cross-Modal Contrastive Representation Learning (CMCRL) to extract useful features from audios and use it in the generation phase. Experimental results show that CMCRL enhances quality of images generated than previous research.
Abstract（参考訳）: 特定の情報に対する複数のモダリティは、その情報に対する様々な視点を提供し、情報の理解を改善することができる。したがって、既存のデータと異なるモダリティのデータを生成して理解を深めることが重要かもしれない。本稿では,音声から有用な特徴を抽出し,生成フェーズで使用するために,クロスモーダル音声対画像生成問題を調査し,クロスモーダルコントラスト表現学習(cmcrl)を提案する。実験の結果,CMCRLは過去の研究よりも画像の品質を向上させることがわかった。

関連論文リスト

Dual Advancement of Representation Learning and Clustering for Sparse and Noisy Images [14.836487514037994]
SNI(Sparse and Noisy Image)は、効果的な表現学習とクラスタリングに重要な課題を提起する。本稿では、マスク画像モデリングから得られた表現を強化するために、DARLC(Dual Advancement of Representation Learning and Clustering)を提案する。我々のフレームワークは、局所的な認識性、特異性、関係意味論の理解を高めることによって、表現の学習を改善する包括的なアプローチを提供する。
論文参考訳（メタデータ） (2024-09-03T10:52:27Z)
FORESEE: Multimodal and Multi-view Representation Learning for Robust Prediction of Cancer Survival [3.4686401890974197]
マルチモーダル情報のマイニングにより患者生存を確実に予測する新しいエンドツーエンドフレームワークFOESEEを提案する。クロスフュージョントランスフォーマーは、細胞レベル、組織レベル、腫瘍の不均一度レベルの特徴を効果的に利用し、予後を相関させる。ハイブリットアテンションエンコーダ(HAE)は、コンテキストアテンションモジュールを用いて、コンテキスト関係の特徴を取得する。また、モダリティ内の損失情報を再構成する非対称マスク型3重マスク型オートエンコーダを提案する。
論文参考訳（メタデータ） (2024-05-13T12:39:08Z)
StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。本研究は,各種データセットを対象とした総合的な実験を含む。
論文参考訳（メタデータ） (2023-08-20T12:43:52Z)
Assessor360: Multi-sequence Network for Blind Omnidirectional Image Quality Assessment [50.82681686110528]
Blind Omnidirectional Image Quality Assessment (BOIQA)は、全方位画像(ODI)の人間の知覚品質を客観的に評価することを目的としている。 ODIの品質評価は、既存のBOIQAパイプラインがオブザーバのブラウジングプロセスのモデリングを欠いているという事実によって著しく妨げられている。 Assessor360と呼ばれるBOIQAのための新しいマルチシーケンスネットワークを提案する。
論文参考訳（メタデータ） (2023-05-18T13:55:28Z)
Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
論文参考訳（メタデータ） (2023-03-31T18:03:30Z)
Retrieval-Augmented Transformer for Image Captioning [51.79146669195357]
我々は、kNNメモリを用いた画像キャプション手法を開発し、外部コーパスから知識を抽出して生成プロセスを支援する。我々のアーキテクチャは、視覚的類似性に基づく知識検索と、識別可能なエンコーダと、トークンを予測するためにkNN拡張アテンション層を組み合わせる。 COCOデータセットで実施した実験結果は、明示的な外部メモリを利用することで、生成プロセスの助けとなり、キャプションの品質が向上することを示した。
論文参考訳（メタデータ） (2022-07-26T19:35:49Z)
Cross-Modality Sub-Image Retrieval using Contrastive Multimodal Image Representations [3.3754780158324564]
異なるモダリティによってキャプチャされた類似(または同じ)コンテンツのイメージは、共通の構造をほとんど共有しないため、モダリティ間の画像検索は困難である。本稿では,モダリティ間の逆(サブ)画像検索のためのアプリケーション非依存のコンテンツベース画像検索システムを提案する。
論文参考訳（メタデータ） (2022-01-10T19:04:28Z)
Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。 on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文参考訳（メタデータ） (2022-01-07T07:46:01Z)
Audio-to-Image Cross-Modal Generation [0.0]
クロスモーダル表現学習は、異なるモーダルからの情報を1つの表現に統合することができる。オーディオデータから画像アーキタイプを再構成するために、可変オートエンコーダ(VAE)を訓練する。その結果, 生成した画像が相対的に不整合(多様性)である場合でも, 適切な画像分類に欠かせない特徴が保存されていることが示唆された。
論文参考訳（メタデータ） (2021-09-27T21:25:31Z)
Cross-Modal Retrieval Augmentation for Multi-Modal Classification [61.5253261560224]
画像の非構造化外部知識源とそれに対応するキャプションを用いて視覚的質問応答を改善する。まず,画像とキャプションを同一空間に埋め込むための新しいアライメントモデルを訓練し,画像検索の大幅な改善を実現する。第2に、トレーニングされたアライメントモデルを用いた検索強化マルチモーダルトランスは、強いベースライン上でのVQAの結果を改善することを示す。
論文参考訳（メタデータ） (2021-04-16T13:27:45Z)
Learning Audio-Visual Correlations from Variational Cross-Modal Generation [35.07257471319274]
我々は,モーダル間生成の観点から,音声と視覚の相関関係を自己監督的に学習する。学習した相関関係は、オーディオ-視覚的クロスモーダルなローカライゼーションや検索など、複数の下流タスクに容易に適用できる。
論文参考訳（メタデータ） (2021-02-05T21:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。