論文の概要: What Images Cannot Say: Language-Guided Olfactory Representation Learning

• arxiv url: http://arxiv.org/abs/2607.06402v1
• Date: Tue, 07 Jul 2026 15:31:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.574881
• Title: What Images Cannot Say: Language-Guided Olfactory Representation Learning
• Title（参考訳）: 言語指導による嗅覚表現学習(Language-Guided Olfactory Representation Learning)
• Abstract要約: 本稿では,視覚と嗅覚のセマンティックブリッジとして言語指導を利用するフレームワークSCENTを紹介する。 我々は、電子ノイズ信号を視覚的およびテキスト的表現に整合した共有埋め込み空間にマッピングする嗅覚エンコーダを訓練する。 本研究は,マルチモーダル学習における嗅覚の基盤となる文脈意味情報の重要性を明らかにするものである。
• 参考スコア（独自算出の注目度）: 17.56125098945589
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Images tell us what a scene looks like, but rarely what it would feel like to be there. While recent datasets pair visual scenes with electronic-nose measurements, aligning smell signals with images remains challenging because many olfactory cues arise from contextual environmental factors that are not directly visible in pixels. We introduce SCENT, a multimodal framework that uses language guidance as a semantic bridge between vision and olfaction. Our approach leverages Vision-Language Models (VLMs) to generate scene descriptors capturing objects, environmental context, and plausible ambient smell cues suggested by the visual scene. These descriptors provide semantic guidance for learning olfactory representations. We train a smell encoder that maps electronic-nose signals into a shared embedding space aligned with both visual and textual representations, and introduce a languageguided latent decomposition that separates object-specific odors from contextual environmental contributions. Experiments on the New York Smells dataset demonstrate that SCENT significantly improves crossmodal retrieval compared to vision-only baselines, achieving state-of-theart performance on smell-to-image and smell-to-text retrieval tasks. In addition, our framework produces interpretable olfactory representations that enable the disentanglement of complex smell mixtures. Our results reveal the importance of contextual semantic information for grounding olfactory perception in multimodal learning and pave the way for future research in this area.
• Abstract（参考訳）: 画像はシーンがどんなものかを教えてくれます。 最近のデータセットは、視覚的なシーンと電子ノイズ測定を組み合わせているが、嗅覚信号と画像の一致は、多くの嗅覚的手がかりが、直接ピクセルで見えない環境要因から生じるため、依然として困難である。 本稿では,視覚と嗅覚のセマンティックブリッジとして言語指導を利用するマルチモーダルフレームワークSCENTを紹介する。 提案手法では,視覚言語モデル(VLM)を用いて,物体をキャプチャするシーン記述子を生成する。 これらの記述子は、嗅覚表現を学習するための意味的なガイダンスを提供する。 我々は、電子ノイズ信号を視覚的およびテキスト的表現に整合した共有埋め込み空間にマッピングする嗅覚エンコーダを訓練し、オブジェクト固有の匂いを文脈的環境貢献から分離する言語誘導潜時分解を導入する。 New York Smellsデータセットの実験では、SCENTは視覚のみのベースラインに比べてクロスモーダル検索を著しく改善し、嗅覚と匂いからテキストへの検索タスクで最先端のパフォーマンスを達成する。 さらに,本フレームワークは,複雑な匂いの混合物の絡み合わせを可能にする,解釈可能な嗅覚表現を生成する。 本研究は,マルチモーダル学習における嗅覚の基盤となる文脈意味情報の重要性を明らかにし,今後の研究の道を開くものである。

関連論文リスト

• See & Sniff: Learning Visuo-Olfactory Representations [42.26043073031702]
  SmellNet-Vは,匂いの識別が意味圏内の視覚的変換にほとんど不変であるという知見に基づいて構築された,スケーラブルなビズオ嗅覚データセットである。 これにより、ニオイのみのサンプルをセマンティックに整列したWebイメージで合成し、アンモダル嗅覚データセットをクロスモーダルベンチマークに変換することができる。 本研究では,密集した局所的アライメントを通じて共同嗅覚表現を学習する自己教師型フレームワークであるSeee & Sniffを提案する。
  論文  参考訳（メタデータ） (2026-06-25T17:26:47Z)
• New York Smells: A Large Multimodal Dataset for Olfaction [93.162210916881]
  ニューヨーク・スメルズ(New York Smells)は、野生で撮影された画像と嗅覚信号の大規模なデータセットである。 我々のデータセットには、屋内と屋外の環境にまたがる3,500個の異なる物体から7000個の匂いとイメージのペアが含まれています。 我々のベンチマークには3つのタスクがある: クロスモーダルな匂いとイメージの検索、シーン、物体、物質を嗅覚だけで認識すること、草種間のきめ細かい識別。
  論文  参考訳（メタデータ） (2025-11-25T17:44:50Z)
• StableSemantics: A Synthetic Language-Vision Dataset of Semantic Representations in Naturalistic Images [5.529078451095096]
  視覚シーンの意味を理解することはコンピュータビジョンの基本的な課題である。 テキストと画像のフレームワークの最近の進歩は、自然のシーン統計を暗黙的に捉えるモデルにつながっている。 提案するStableSemanticsは、224万件の人為的なプロンプト、処理された自然言語キャプション、200万以上の合成画像、そして個々の名詞のチャンクに対応する1000万のアテンションマップからなるデータセットである。
  論文  参考訳（メタデータ） (2024-06-19T17:59:40Z)
• VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning [66.23296689828152]
  我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。 まず、VLLMに対して、視覚的文脈に関連して、被験者の明らかな感情を自然言語で記述するように促す。 第二に、記述は視覚入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用される。
  論文  参考訳（メタデータ） (2024-04-10T15:09:15Z)
• CLEAR: Improving Vision-Language Navigation with Cross-Lingual, Environment-Agnostic Representations [98.30038910061894]
  VLN(Vision-and-Language Navigation)タスクでは、エージェントが言語命令に基づいて環境をナビゲートする必要がある。 CLEAR: 言語横断表現と環境非依存表現を提案する。 我々の言語と視覚表現は、Room-to-Room and Cooperative Vision-and-Dialogue Navigationタスクにうまく転送できる。
  論文  参考訳（メタデータ） (2022-07-05T17:38:59Z)
• SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense Reasoning [61.57887011165744]
  マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。 視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T03:16:30Z)
• Integrating Visuospatial, Linguistic and Commonsense Structure into Story Visualization [81.26077816854449]
  まず、構造的入力を符号化するための選挙区解析木の利用について検討する。 第二に、構造化されたインプットをコモンセンス情報で強化し、この外部知識が視覚的ストーリーの生成に与える影響について検討する。 第3に、境界ボックスと高密度キャプションによって視覚構造を組み込んで、生成された画像の文字やオブジェクトに関するフィードバックを提供する。
  論文  参考訳（メタデータ） (2021-10-21T00:16:02Z)
• COBE: Contextualized Object Embeddings from Narrated Instructional Video [52.73710465010274]
  そこで本稿では,教師ビデオの自動書き起こしからコンテキスト適応型オブジェクト埋め込みを学習するための新しいフレームワークを提案する。 言語の意味的・構成的構造を視覚的検知器を訓練し,オブジェクトとその関連するナレーションの文脈的単語埋め込みを予測する。 実験の結果,検出器は多種多様なコンテキストオブジェクト情報を予測し,少数ショットおよびゼロショット学習の設定において極めて有効であることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T19:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。