論文の概要: COLIP-2: Olfaction-Vision-Language Embeddings

• arxiv url: http://arxiv.org/abs/2607.17559v1
• Date: Mon, 20 Jul 2026 05:08:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.504118
• Title: COLIP-2: Olfaction-Vision-Language Embeddings
• Title（参考訳）: COLIP-2:Olfaction-Vision-Language Embeddings
• Abstract要約: Contrastive Olfaction-Language-Image Pre-Training 2 (COLIP-2) モデルは、視覚と言語の中で、嗅覚を第一級市民として位置づけるマルチモーダル埋め込み空間である。 分子構造、ガスセンサ、匂い記述言語、画像はすべて単一の共有表現空間に訓練され、検出されたアロマをシーン内のオブジェクトに確率的にローカライズすることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Contrastive Olfaction-Language-Image Pre-training 2 (COLIP-2) model is a multimodal embeddings space that places olfaction as a first-class citizen among vision and language. Molecular structure, gas-sensor readings, odor-descriptor language, and images are all trained into a single shared representation space, so that a robot can localize a detected aroma to objects in a scene probabilistically. No ImageNet-scale datasets of paired image-scent examples exists which warrants the need for their collection. Our intent with the release of COLIP-2 is to demonstrate the limit of what can be built for robotics with open-sourced olfactory data in order to ground the argument for why new methodologies and datasets are necessary in order to enable advanced olfactory-oriented perception capabilities. We enumerate results from internal testing of the COLIP-2 architecture and make necessary optimizations to run the model at the edge for real-time robotics applications. While developed with robotics in mind, the design of COLIP-2 has been influenced by experts across many disciplines of science in academia and industry, and we hope that the model can be useful in any multimodal domain requiring olfactory intelligence.
• Abstract（参考訳）: Contrastive Olfaction-Language-Image Pre-Training 2 (COLIP-2) モデルは、視覚と言語の中で、嗅覚を第一級市民として位置づけるマルチモーダル埋め込み空間である。 分子構造、ガスセンサ、匂い記述言語、画像はすべて単一の共有表現空間に訓練され、検出されたアロマをシーン内のオブジェクトに確率的にローカライズすることができる。 ペアイメージのサンプルのImageNetスケールデータセットは存在せず、コレクションの必要性を保証している。 COLIP-2のリリースにおける我々の意図は、より高度な嗅覚指向の知覚機能を実現するために、なぜ新しい方法論とデータセットが必要なのかという議論を根拠として、オープンソースの嗅覚データを用いてロボット工学のために構築できるものの限界を実証することである。 我々は、COLIP-2アーキテクチャの内部テストの結果を列挙し、リアルタイムロボティクスアプリケーションのためのエッジでのモデル実行に必要な最適化を行う。 ロボット工学を念頭に置いて開発されたCOLIP-2の設計は、学術分野や産業分野のさまざまな分野の専門家の影響を受けており、このモデルが嗅覚を必要とするあらゆるマルチモーダル領域で有用であることを願っている。

関連論文リスト

• Break Out the Silverware -- Semantic Understanding of Stored Household Items [5.413873477820601]
  Stored Household Item Challengeは、サービスロボットの認知能力を評価するためのベンチマークタスクである。 構造化シーン理解と大規模言語モデル推論を組み合わせたハイブリッドエージェントパイプラインであるNOAMを紹介する。
  論文  参考訳（メタデータ） (2025-12-25T15:21:49Z)
• Space-LLaVA: a Vision-Language Model Adapted to Extraterrestrial Applications [14.89043819048682]
  宇宙ロボティクスのためのFMを構築する動機となる宇宙ロボティクスには,3つの課題がある。 宇宙基盤モデルへの第一歩として、3つの地球外データベースを微細なアノテーションで拡張する。 我々は、地球外環境のセマンティックな特徴に適応するために、ビジョン・ランゲージ・モデル(Vision-Language Model)を微調整する。
  論文  参考訳（メタデータ） (2024-08-12T05:07:24Z)
• LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning [50.99807031490589]
  LLARVAは,ロボット学習タスク,シナリオ,環境を統一するための,新しい指導指導法で訓練されたモデルである。 我々は,Open X-Embodimentデータセットから8.5Mの画像-視覚的トレースペアを生成し,モデルを事前学習する。 実験によって強い性能が得られ、LLARVAは現代のいくつかのベースラインと比較してよく機能することを示した。
  論文  参考訳（メタデータ） (2024-06-17T17:55:29Z)
• RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control [140.48218261864153]
  本研究では,インターネット規模のデータに基づいて学習した視覚言語モデルを,エンドツーエンドのロボット制御に直接組み込む方法について検討する。 提案手法は,インターネット規模のトレーニングから,RT-2による創発的能力の獲得を可能にした。
  論文  参考訳（メタデータ） (2023-07-28T21:18:02Z)
• Kosmos-2: Grounding Multimodal Large Language Models to the World [107.27280175398089]
  マルチモーダル大言語モデル(MLLM)であるKosmos-2を紹介する。 オブジェクト記述(例えば、バウンディングボックス)の認識と、視覚の世界へのテキストの接地を可能にする。 コードと事前訓練されたモデルはhttps://aka.ms/kosmos-2.comで入手できる。
  論文  参考訳（メタデータ） (2023-06-26T16:32:47Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)
• Visual Affordance Prediction for Guiding Robot Exploration [56.17795036091848]
  我々は,ロボット探索を導くための視覚能力の学習手法を開発した。 VQ-VAEの潜伏埋め込み空間における条件分布の学習にはTransformerベースのモデルを用いる。 本稿では,ロボット操作における視覚的目標条件付きポリシー学習において,目標サンプリング分布として機能することで探索を導くために,トレーニングされた余裕モデルをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2023-05-28T17:53:09Z)
• Grounded Decoding: Guiding Text Generation with Grounded Models for Embodied Agents [111.15288256221764]
  グラウンデッドデコーディングプロジェクトは、両方のモデルの知識を活用することで、ロボット環境で複雑な長期タスクを解決することを目的としている。 我々はこれを確率的フィルタリングに類似した問題として、言語モデルの下で高い確率を持つシーケンスをデコードし、基底モデル対象のセットで高い確率を示す。 本研究では,3つのシミュレーション領域と実世界の領域にまたがって,そのような基底モデルがどのように得られるのかを実証し,両モデルの知識を活用して,ロボット環境での複雑な長期的タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-03-01T22:58:50Z)
• When Transformer Meets Robotic Grasping: Exploits Context for Efficient Grasp Detection [1.7013938542585925]
  本稿では,ロボットグリップ検出のためのトランスフォーマーアーキテクチャTF-Graspを提案する。 フレームワークには2つの精巧な設計があり、視覚的な把握作業に適している。 TF-Graspは、最先端の把握畳み込みモデルよりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-02-24T05:47:25Z)
• Few-Shot Visual Grounding for Natural Human-Robot Interaction [0.0]
  本稿では,人間ユーザによって音声で示される,混み合ったシーンから対象物を分割するソフトウェアアーキテクチャを提案する。 システムのコアでは、視覚的な接地のためにマルチモーダルディープニューラルネットワークを使用します。 公開シーンデータセットから収集した実RGB-Dデータに対して,提案モデルの性能を評価する。
  論文  参考訳（メタデータ） (2021-03-17T15:24:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。