論文の概要: See & Sniff: Learning Visuo-Olfactory Representations

• arxiv url: http://arxiv.org/abs/2606.27307v1
• Date: Thu, 25 Jun 2026 17:26:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.37878
• Title: See & Sniff: Learning Visuo-Olfactory Representations
• Title（参考訳）: See & Sniff: Visuo-Olfactory Representationsを学ぶ
• Abstract要約: SmellNet-Vは,匂いの識別が意味圏内の視覚的変換にほとんど不変であるという知見に基づいて構築された,スケーラブルなビズオ嗅覚データセットである。 これにより、ニオイのみのサンプルをセマンティックに整列したWebイメージで合成し、アンモダル嗅覚データセットをクロスモーダルベンチマークに変換することができる。 本研究では,密集した局所的アライメントを通じて共同嗅覚表現を学習する自己教師型フレームワークであるSeee & Sniffを提案する。
• 参考スコア（独自算出の注目度）: 42.26043073031702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While modern multimodal models integrate vision with language, audio, or touch, olfaction remains largely unexplored due to the lack of paired visuo-olfactory data. We introduce SmellNet-V, a scalable visuo-olfactory dataset built on the insight that odor identity is largely invariant to visual transformations within a semantic category. This allows us to synthetically pair smell-only samples with semantically aligned in-the-wild web images, converting a unimodal olfactory dataset into a cross-modal benchmark without costly co-collection. Building on this dataset, we propose See & Sniff, a self-supervised framework that learns joint visuo-olfactory representations via dense local alignment and naturally produces smell saliency maps for spatial grounding of odor sources. We further introduce pixel-level smell localization task and a benchmark for evaluation. Our method surpasses smell-only baselines by 7% in smell classification from smell alone and generalizes to cross-modal retrieval and smell localization, establishing visuo-olfactory learning as a new direction in multimodal perception.
• Abstract（参考訳）: 現代のマルチモーダルモデルは、視覚を言語、オーディオ、タッチと統合しているが、ペアのビジュオ嗅覚データが欠如しているため、オルフアクションはほとんど探索されていない。 SmellNet-Vは,匂いの識別が意味圏内の視覚的変換にほとんど不変であるという知見に基づいて構築された,スケーラブルなビズオ嗅覚データセットである。 これにより、セマンティックに整列したWebイメージで匂いのみのサンプルを合成し、不定形嗅覚データセットをコストがかからないクロスモーダルなベンチマークに変換することができる。 このデータセットに基づいて,密集した局所的なアライメントを通して共同嗅覚表現を学習し,匂い源の空間的接地のための嗅覚塩味マップを自然に生成する自己教師型フレームワークであるSeee & Sniffを提案する。 さらに,画素レベルの嗅覚定位タスクと評価のためのベンチマークを導入する。 本手法は嗅覚のみの匂い分類において, 嗅覚のみを7%超え, クロスモーダル検索と嗅覚定位に一般化し, ビスオ嗅覚学習を多モーダル知覚の新しい方向として確立する。

関連論文リスト

• What Images Cannot Say: Language-Guided Olfactory Representation Learning [17.56125098945589]
  本稿では,視覚と嗅覚のセマンティックブリッジとして言語指導を利用するフレームワークSCENTを紹介する。 我々は、電子ノイズ信号を視覚的およびテキスト的表現に整合した共有埋め込み空間にマッピングする嗅覚エンコーダを訓練する。 本研究は,マルチモーダル学習における嗅覚の基盤となる文脈意味情報の重要性を明らかにするものである。
  論文  参考訳（メタデータ） (2026-07-07T15:31:55Z)
• AromaGen: Interactive Generation of Rich Olfactory Experiences with Multimodal Language Models [29.111586871914167]
  AromaGenはAIを利用したウェアラブルインタフェースで、自由形式のテキストや視覚的な入力からリアルタイムに汎用のアロマを生成することができる。 AromaGenは、ゼロショット生成において人間と合成された混合物と一致し、反復精製後にそれらを著しく上回っている。
  論文  参考訳（メタデータ） (2026-04-02T05:47:07Z)
• VIGIL: Tackling Hallucination Detection in Image Recontextualization [0.0]
  幻覚の詳細な分類を提供する最初のベンチマークデータセットとフレームワークであるVIGILを紹介する。 本研究は,幻覚を5つのカテゴリに分解することで,マルチモーダル評価において大きなギャップを解消する。 我々のアーキテクチャは、オブジェクトレベルの忠実さ、背景の一貫性、欠落検出をターゲットとした一連の特別なステップを通じて、再構成された画像を処理する。
  論文  参考訳（メタデータ） (2026-02-16T10:47:10Z)
• New York Smells: A Large Multimodal Dataset for Olfaction [93.162210916881]
  ニューヨーク・スメルズ(New York Smells)は、野生で撮影された画像と嗅覚信号の大規模なデータセットである。 我々のデータセットには、屋内と屋外の環境にまたがる3,500個の異なる物体から7000個の匂いとイメージのペアが含まれています。 我々のベンチマークには3つのタスクがある: クロスモーダルな匂いとイメージの検索、シーン、物体、物質を嗅覚だけで認識すること、草種間のきめ細かい識別。
  論文  参考訳（メタデータ） (2025-11-25T17:44:50Z)
• A Novel Taxonomy and Classification Scheme for Code Smell Interactions [2.6597689982591044]
  本研究では,新しい分類法とコード臭の相互作用の分類法を提案する。 いくつかの一般的な機械学習(ML)モデルを用いて実験が実施されている。 結果は、主にドメイン内のインタースメル検出というコード臭いの相互作用の存在を示しています。
  論文  参考訳（メタデータ） (2025-04-25T16:24:11Z)
• DiffVein: A Unified Diffusion Network for Finger Vein Segmentation and Authentication [50.017055360261665]
  DiffVeinは、静脈分割と認証タスクを同時に処理する統合拡散モデルベースのフレームワークである。 これら2つのブランチ間の機能相互作用を改善するために,2つの特別なモジュールを導入する。 このようにして、我々のフレームワークは拡散とセグメンテーションの埋め込みの間の動的相互作用を可能にする。
  論文  参考訳（メタデータ） (2024-02-03T06:49:42Z)
• Dual-View Data Hallucination with Semantic Relation Guidance for Few-Shot Image Recognition [49.26065739704278]
  本稿では、意味的関係を利用して、画像認識のための二重視点データ幻覚を導出するフレームワークを提案する。 インスタンスビューデータ幻覚モジュールは、新規クラスの各サンプルを幻覚して新しいデータを生成する。 プロトタイプビューデータ幻覚モジュールは、意味認識尺度を利用して、新しいクラスのプロトタイプを推定する。
  論文  参考訳（メタデータ） (2024-01-13T12:32:29Z)
• A Diffusion Weighted Graph Framework for New Intent Discovery [25.364554033681515]
  New Intent Discovery (NID)は、ラベルのないデータから、新しいインテントと既知のインテントの両方を認識することを目的としている。 従来の手法では、量と品質のバランスが取れないノイズの多い監視信号を生成する。 本稿では,データ固有の意味的類似性と構造的関連性の両方を捉えるために,DWGF(Diffusion Weighted Graph Framework)を提案する。
  論文  参考訳（メタデータ） (2023-10-24T13:43:01Z)
• Domain Adaptive Synapse Detection with Weak Point Annotations [63.97144211520869]
  弱点アノテーションを用いたドメイン適応型シナプス検出のためのフレームワークであるAdaSynを提案する。 I SBI 2023のWASPSYNチャレンジでは、我々の手法が第1位にランクインした。
  論文  参考訳（メタデータ） (2023-08-31T05:05:53Z)
• Learning Signal-Agnostic Manifolds of Neural Fields [50.066449953522685]
  ニューラルネットワークを利用して、画像、形状、オーディオ、およびモーダル・オーディオヴィジュアル領域の基盤となる構造を捉える。 GEMの基底多様体を横切ることで、信号領域に新しいサンプルを生成できることが示される。
  論文  参考訳（メタデータ） (2021-11-11T18:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。