論文の概要: LISA: Localized Image Stylization with Audio via Implicit Neural Representation

• arxiv url: http://arxiv.org/abs/2211.11381v1
• Date: Mon, 21 Nov 2022 11:51:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 23:22:57.633948
• Title: LISA: Localized Image Stylization with Audio via Implicit Neural Representation
• Title（参考訳）: LISA:入射ニューラル表現による音声による局所画像スティル化
• Authors: Seung Hyun Lee, Chanyoung Kim, Wonmin Byeon, Sang Ho Yoon, Jinkyu Kim, Sangpil Kim
• Abstract要約: LISA(Localized Image Stylization with Audio)という新しいフレームワークを提案する。 LISAは、オーディオ駆動のローカライズされたイメージスタイリングを実行する。 提案手法は,他の音声誘導方式よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 17.672008998994816
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present a novel framework, Localized Image Stylization with Audio (LISA) which performs audio-driven localized image stylization. Sound often provides information about the specific context of the scene and is closely related to a certain part of the scene or object. However, existing image stylization works have focused on stylizing the entire image using an image or text input. Stylizing a particular part of the image based on audio input is natural but challenging. In this work, we propose a framework that a user provides an audio input to localize the sound source in the input image and another for locally stylizing the target object or scene. LISA first produces a delicate localization map with an audio-visual localization network by leveraging CLIP embedding space. We then utilize implicit neural representation (INR) along with the predicted localization map to stylize the target object or scene based on sound information. The proposed INR can manipulate the localized pixel values to be semantically consistent with the provided audio input. Through a series of experiments, we show that the proposed framework outperforms the other audio-guided stylization methods. Moreover, LISA constructs concise localization maps and naturally manipulates the target object or scene in accordance with the given audio input.
• Abstract（参考訳）: 本稿では,LISA(Localized Image Stylization with Audio)という,音声駆動のローカライズ画像スタイリングを行う新しいフレームワークを提案する。 サウンドはしばしばシーンの特定のコンテキストに関する情報を提供し、シーンやオブジェクトの特定の部分と密接に関連している。 しかし、既存の画像スタイリング作業は、画像やテキスト入力を用いて全体像をスタイリングすることに集中している。 音声入力に基づいて画像の特定の部分をスタイリングするのは自然だが難しい。 本研究では、ユーザが入力画像中の音源をローカライズするための音声入力を提供するフレームワークと、対象物やシーンを局所的にスタイリングするフレームワークを提案する。 LISA はまず,CLIP 埋め込み空間を活用することで,音声-視覚的ローカライゼーションネットワークを用いた微妙なローカライゼーションマップを生成する。 次に、暗黙的ニューラル表現(INR)と予測位置マップを用いて、音情報に基づいて対象物やシーンをスタイリングする。 提案したINRは、提供された音声入力とセマンティックに一致するように、局所化画素値を操作できる。 一連の実験を通して,提案手法が他の音声誘導方式よりも優れていることを示す。 さらに、LISAは簡潔なローカライゼーションマップを構築し、所定の音声入力に応じて対象物やシーンを自然に操作する。

関連論文リスト

• Zero-shot audio captioning with audio-language model guidance and audio context keywords [59.58331215337357]
  タスク固有の訓練を必要とせず、テキストキャプション内の一般的な音声信号を要約する新しいフレームワークであるZerAuCapを提案する。 本フレームワークは,事前学習された大言語モデル(LLM)を用いて,事前学習された音声モデルによって指導されたテキストを生成し,キャプションを生成する。 提案手法は,AudioCaps と Clotho のデータセットにゼロショット音声キャプションを付加することで,最先端の音声キャプションを実現する。
  論文  参考訳（メタデータ） (2023-11-14T18:55:48Z)
• Can CLIP Help Sound Source Localization? [19.370071553914954]
  音声信号をCLIPのテキストエンコーダと互換性のあるトークンに変換するフレームワークを提案する。 これらの埋め込みを直接利用することにより,提案手法は提供音声のための音声グラウンドマスクを生成する。 この結果から,事前学習した画像テキストモデルを用いることで,より完全でコンパクトな音像定位写像を生成できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-07T15:26:57Z)
• Sound Source Localization is All about Cross-Modal Alignment [53.957081836232206]
  モーダルな意味理解は、真の音源定位には不可欠である。 音響と視覚の相互作用をよりよく学習するために,音源定位を伴う共同作業を提案する。 本手法は,音源定位法とクロスモーダル検索法の両方において,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-19T16:04:50Z)
• Sound to Visual Scene Generation by Audio-to-Visual Latent Alignment [22.912401512161132]
  我々は、各モデルコンポーネントの学習手順をスケジューリングして、オーディオ・視覚的モダリティを関連付けるモデルの設計を行う。 入力音声を視覚的特徴に変換し,事前学習した生成器を用いて画像を生成する。 VEGAS と VGGSound のデータセットは,従来の手法よりもかなりよい結果が得られる。
  論文  参考訳（メタデータ） (2023-03-30T16:01:50Z)
• Self-Supervised Predictive Learning: A Negative-Free Method for Sound Source Localization in Visual Scenes [91.59435809457659]
  自己監督予測学習(英: Self-Supervised Predictive Learning, SSPL)は、音像定位法である。 SSPLはSoundNet-Flickrの8.6% cIoUと3.4% AUCの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2022-03-25T01:42:42Z)
• Visual Sound Localization in the Wild by Cross-Modal Interference Erasing [90.21476231683008]
  現実のシナリオでは、オーディオは通常、オフスクリーンサウンドとバックグラウンドノイズによって汚染される。 本研究では,音声-視覚的音源定位問題に対処する干渉消去(IEr)フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:06:19Z)
• Class-aware Sounding Objects Localization via Audiovisual Correspondence [51.39872698365446]
  複雑な視覚的シナリオにおける音像の局所化と認識を行うための2段階の学習フレームワークを提案する。 我々は、カクテルパーティーのシナリオでクラス認識オブジェクトのローカライズマップを生成し、サイレントエリアの抑制にオーディオ視覚対応を使用する。 実写ビデオと合成ビデオの両方の実験では、オブジェクトのローカライズと認識だけでなく、サイレントビデオのフィルタリングにも優れていることが示されている。
  論文  参考訳（メタデータ） (2021-12-22T09:34:33Z)
• Discriminative Sounding Objects Localization via Self-supervised Audiovisual Matching [87.42246194790467]
  自己教師付きクラス認識オブジェクトの定位を行うための2段階学習フレームワークを提案する。 我々は,無声オブジェクトをフィルタリングし,異なるクラスの音響オブジェクトの位置を指摘するのに,我々のモデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-12T05:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。