論文の概要: COSMO: Combination of Selective Memorization for Low-cost Vision-and-Language Navigation

• arxiv url: http://arxiv.org/abs/2503.24065v1
• Date: Mon, 31 Mar 2025 13:24:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:33:38.559838
• Title: COSMO: Combination of Selective Memorization for Low-cost Vision-and-Language Navigation
• Title（参考訳）: COSMO:低コストビジョン・ランゲージナビゲーションのための選択記憶の組み合わせ
• Authors: Siqi Zhang, Yanyuan Qiao, Qunbo Wang, Zike Yan, Qi Wu, Zhihua Wei, Jing Liu,
• Abstract要約: VLN(Vision-and-Language Navigation)タスクは、ホームアシスタントなどの分野に応用される可能性があるため、人工知能研究において注目されている。 本稿では,COSMO(Combination of Selective MemOrization)を組み込んだ新しいアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 21.35438761539206
• License:
• Abstract: Vision-and-Language Navigation (VLN) tasks have gained prominence within artificial intelligence research due to their potential application in fields like home assistants. Many contemporary VLN approaches, while based on transformer architectures, have increasingly incorporated additional components such as external knowledge bases or map information to enhance performance. These additions, while boosting performance, also lead to larger models and increased computational costs. In this paper, to achieve both high performance and low computational costs, we propose a novel architecture with the COmbination of Selective MemOrization (COSMO). Specifically, COSMO integrates state-space modules and transformer modules, and incorporates two VLN-customized selective state space modules: the Round Selective Scan (RSS) and the Cross-modal Selective State Space Module (CS3). RSS facilitates comprehensive inter-modal interactions within a single scan, while the CS3 module adapts the selective state space module into a dual-stream architecture, thereby enhancing the acquisition of cross-modal interactions. Experimental validations on three mainstream VLN benchmarks, REVERIE, R2R, and R2R-CE, not only demonstrate competitive navigation performance of our model but also show a significant reduction in computational costs.
• Abstract（参考訳）: VLN(Vision-and-Language Navigation)タスクは、ホームアシスタントなどの分野に応用される可能性があるため、人工知能研究において注目されている。 多くの現代のVLNアプローチは、トランスフォーマーアーキテクチャに基づいているが、パフォーマンスを高めるために外部知識ベースやマップ情報などの追加コンポーネントを組み込んでいる。 これらの追加は性能を向上する一方で、より大きなモデルと計算コストを増大させる。 本稿では,高い性能と低計算コストを実現するために,COSMO (Cmbination of Selective MemOrization) を用いた新しいアーキテクチャを提案する。 具体的には、COSMOは状態空間モジュールとトランスフォーマーモジュールを統合し、VLNにカストマイズされた2つの選択状態空間モジュールであるラウンド・セレクティブ・スキャン(RSS)とクロス・モーダル・セレクティブ・ステート・スペース・モジュール(CS3)を組み込んでいる。 RSSは単一のスキャン内での総合的なモーダル間相互作用を促進する一方、CS3モジュールは選択状態空間モジュールをデュアルストリームアーキテクチャに適応させ、モーダル間相互作用の獲得を促進する。 3つの主要なVLNベンチマークであるREVERIE, R2R, R2R-CEの検証実験を行った。

関連論文リスト

• ContextFormer: Redefining Efficiency in Semantic Segmentation [48.81126061219231]
  畳み込み法は、局所的な依存関係をうまく捉えるが、長距離関係に苦慮する。 ビジョントランスフォーマー(ViT)は、グローバルなコンテキストキャプチャでは優れるが、高い計算要求によって妨げられる。 我々は,リアルタイムセマンティックセグメンテーションの効率,精度,堅牢性のバランスをとるために,CNN と ViT の強みを活用したハイブリッドフレームワーク ContextFormer を提案する。
  論文  参考訳（メタデータ） (2025-01-31T16:11:04Z)
• MetaSSC: Enhancing 3D Semantic Scene Completion for Autonomous Driving through Meta-Learning and Long-sequence Modeling [3.139165705827712]
  セマンティックシーン補完(SSC)のためのメタラーニングに基づく新しいフレームワークであるMetaSSCを紹介する。 我々のアプローチは、不完全領域のセマンティックスと幾何学を探求することを目的とした、ボクセルに基づくセマンティックセマンティックセマンティクス(SS)事前訓練タスクから始まる。 シミュレーションされた協調認識データセットを用いて、集約されたセンサデータを用いて1台の車両の知覚訓練を監督する。 このメタ知識は、二重フェーズのトレーニング戦略を通じてターゲットドメインに適応し、効率的なデプロイメントを可能にする。
  論文  参考訳（メタデータ） (2024-11-06T05:11:25Z)
• Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
  我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。 より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。 我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
  論文  参考訳（メタデータ） (2024-05-08T11:09:24Z)
• NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning [97.88246428240872]
  Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。 近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。 本稿では,自己誘導型ナビゲーション決定を実現するために,パラメータ効率の高いドメイン内トレーニングを実現する,Navigational Chain-of-Thought (NavCoT) という新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-12T07:27:02Z)
• General-Purpose Multimodal Transformer meets Remote Sensing Semantic Segmentation [35.100738362291416]
  マルチモーダルAIは、特にセマンティックセグメンテーションのような複雑なタスクのために、補完的なデータソースを活用する。 汎用マルチモーダルネットワークの最近のトレンドは、最先端の性能を達成する大きな可能性を示している。 本稿では,3次元畳み込みを利用して重要なローカル情報をエンコードし,同時にモーダルな特徴を学習するUNet型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-07T04:58:34Z)
• Can SAM Boost Video Super-Resolution? [78.29033914169025]
  単純な有効モジュールであるSAM-guidEd refinEment Module (SEEM)を提案する。 この軽量プラグインモジュールは、セマンティック・アウェア機能の生成にアテンションメカニズムを活用するように設計されている。 我々はSEEMをEDVRとBasicVSRの2つの代表的手法に適用し、最小限の実装労力で継続的に性能を向上する。
  論文  参考訳（メタデータ） (2023-05-11T02:02:53Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Squeezeformer: An Efficient Transformer for Automatic Speech Recognition [99.349598600887]
  Conformerは、そのハイブリッドアテンション・コンボリューションアーキテクチャに基づいて、様々な下流音声タスクの事実上のバックボーンモデルである。 Squeezeformerモデルを提案する。これは、同じトレーニングスキームの下で、最先端のASRモデルよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-06-02T06:06:29Z)
• STSM: Spatio-Temporal Shift Module for Efficient Action Recognition [4.096670184726871]
  本稿では,有効かつ高性能な時空間シフトモジュール(STSM)を提案する。 特に、ネットワークが2次元CNNである場合、STSMモジュールはネットワークが効率的な時空間的特徴を学習できるようにする。
  論文  参考訳（メタデータ） (2021-12-05T09:40:49Z)
• Revealing the Invisible with Model and Data Shrinking for Composite-database Micro-expression Recognition [49.463864096615254]
  入力複雑性とモデル複雑性を含む学習複雑性の影響を分析する。 より浅層構造と低分解能入力データを探索する再帰畳み込みネットワーク(RCN)を提案する。 学習可能なパラメータを増やさなくてもRCNと統合できる3つのパラメータフリーモジュールを開発した。
  論文  参考訳（メタデータ） (2020-06-17T06:19:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。