論文の概要: Malicious Path Manipulations via Exploitation of Representation Vulnerabilities of Vision-Language Navigation Systems

• arxiv url: http://arxiv.org/abs/2407.07392v1
• Date: Wed, 10 Jul 2024 06:32:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 17:41:30.241905
• Title: Malicious Path Manipulations via Exploitation of Representation Vulnerabilities of Vision-Language Navigation Systems
• Title（参考訳）: 視覚言語ナビゲーションシステムの表現脆弱性の爆発による悪意経路操作
• Authors: Chashi Mahiul Islam, Shaeke Salman, Montasir Shams, Xiuwen Liu, Piyush Kumar,
• Abstract要約: 視覚言語ナビゲーション(VLN)は、ロボットナビゲーションに対する自然言語インタフェースへの課題に対処する効果的な方法として登場した。 視覚言語モデルにおいて、全く異なる画像と無関係なテキストの表現とを無意識に修正できることが示される。 我々は,多数のランドマークを必要とするコマンドに対して,ロボットが選択経路に従うように,最小限の画像を逆向きに修正できるアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 2.021417596727425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building on the unprecedented capabilities of large language models for command understanding and zero-shot recognition of multi-modal vision-language transformers, visual language navigation (VLN) has emerged as an effective way to address multiple fundamental challenges toward a natural language interface to robot navigation. However, such vision-language models are inherently vulnerable due to the lack of semantic meaning of the underlying embedding space. Using a recently developed gradient based optimization procedure, we demonstrate that images can be modified imperceptibly to match the representation of totally different images and unrelated texts for a vision-language model. Building on this, we develop algorithms that can adversarially modify a minimal number of images so that the robot will follow a route of choice for commands that require a number of landmarks. We demonstrate that experimentally using a recently proposed VLN system; for a given navigation command, a robot can be made to follow drastically different routes. We also develop an efficient algorithm to detect such malicious modifications reliably based on the fact that the adversarially modified images have much higher sensitivity to added Gaussian noise than the original images.
• Abstract（参考訳）: コマンド理解とマルチモーダル視覚言語変換器のゼロショット認識のための大規模言語モデルの前例のない能力に基づいて、視覚言語ナビゲーション(VLN)は、ロボットナビゲーションへの自然言語インタフェースに対する複数の根本的な課題に対処する有効な方法として登場した。 しかし、そのような視覚言語モデルは、基礎となる埋め込み空間の意味の欠如により本質的に脆弱である。 最近開発された勾配に基づく最適化手法を用いて、視覚言語モデルに対して、全く異なる画像と無関係なテキストの表現を不知覚に修正できることを実証する。 これに基づいて、最小限の画像を逆向きに修正できるアルゴリズムを開発し、多数のランドマークを必要とするコマンドに対して、ロボットが選択した経路に従うようにする。 我々は、最近提案されたVLNシステムを用いて実験を行い、与えられたナビゲーションコマンドに対して、ロボットを劇的に異なる経路をたどることができることを示した。 また、逆修正された画像が元の画像よりもガウス雑音に対する感度が高いという事実に基づいて、そのような悪意のある修正を確実に検出する効率的なアルゴリズムを開発した。

関連論文リスト

• Towards Retrieval-Augmented Architectures for Image Captioning [81.11529834508424]
  本研究は,外部kNNメモリを用いた画像キャプションモデルの構築に向けた新しい手法を提案する。 具体的には、視覚的類似性に基づく知識検索コンポーネントを組み込んだ2つのモデル変種を提案する。 我々はCOCOデータセットとnocapsデータセットに対する我々のアプローチを実験的に検証し、明示的な外部メモリを組み込むことでキャプションの品質を著しく向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-05-21T18:02:07Z)
• Bridging Language, Vision and Action: Multimodal VAEs in Robotic Manipulation Tasks [0.0]
  本研究では,ロボット操作分野における教師なし視覚-言語-アクションマッピングに着目した。 本研究では,シミュレータにおけるモデルの性能を最大55%向上させるモデル不変学習法を提案する。 我々の研究は、ロボット運動軌跡の教師なし学習に現在のマルチモーダルVAEを使用することの潜在的な利点と限界にも光を当てている。
  論文  参考訳（メタデータ） (2024-04-02T13:25:16Z)
• LangNav: Language as a Perceptual Representation for Navigation [63.90602960822604]
  視覚・言語ナビゲーション(VLN)における知覚表現としての言語の利用について検討する。 提案手法では,画像キャプションや物体検出に市販の視覚システムを用いて,エージェントのエゴセントリックなパノラマビューを各ステップで自然言語記述に変換する。
  論文  参考訳（メタデータ） (2023-10-11T20:52:30Z)
• Language-Driven Representation Learning for Robotics [115.93273609767145]
  ロボット工学における視覚表現学習の最近の研究は、日々の作業を行う人間の大規模なビデオデータセットから学ぶことの可能性を実証している。 人間のビデオやキャプションから言語による表現学習を行うためのフレームワークを提案する。 我々は、Voltronの言語駆動学習が、特に高レベル制御を必要とするターゲット問題において、先行技術よりも優れていることを発見した。
  論文  参考訳（メタデータ） (2023-02-24T17:29:31Z)
• Retrieval-Augmented Transformer for Image Captioning [51.79146669195357]
  我々は、kNNメモリを用いた画像キャプション手法を開発し、外部コーパスから知識を抽出して生成プロセスを支援する。 我々のアーキテクチャは、視覚的類似性に基づく知識検索と、識別可能なエンコーダと、トークンを予測するためにkNN拡張アテンション層を組み合わせる。 COCOデータセットで実施した実験結果は、明示的な外部メモリを利用することで、生成プロセスの助けとなり、キャプションの品質が向上することを示した。
  論文  参考訳（メタデータ） (2022-07-26T19:35:49Z)
• What Matters in Language Conditioned Robotic Imitation Learning [26.92329260907805]
  オフラインのフリーフォーム模倣データセットから言語条件付きポリシーを学習する際の最も重要な課題について検討する。 本稿では,CALVINベンチマークを用いて,言語条件の難易度を向上する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T08:45:32Z)
• IR-GAN: Image Manipulation with Linguistic Instruction by Increment Reasoning [110.7118381246156]
  Incrment Reasoning Generative Adversarial Network (IR-GAN)は、画像における視覚的インクリメントと命令における意味的インクリメントとの整合性を推論することを目的としている。 まず,単語レベルと命令レベルの命令エンコーダを導入し,履歴関連命令からユーザの意図を意味的インクリメントとして学習する。 第2に、対象画像を生成するために、意味的インクリメントの表現をソースイメージに組み込んで、ソースイメージが補助的参照の役割を担っている。
  論文  参考訳（メタデータ） (2022-04-02T07:48:39Z)
• LAVT: Language-Aware Vision Transformer for Referring Image Segmentation [80.54244087314025]
  視覚トランスフォーマーエンコーダネットワークにおいて,言語的特徴と視覚的特徴を早期に融合することにより,より優れたモーダルアライメントを実現することができることを示す。 提案手法は,RefCOCO,RefCO+,G-Refの従来の最先端手法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-12-04T04:53:35Z)
• Unsupervised Change Detection in Satellite Images with Generative Adversarial Network [20.81970476609318]
  本稿では,GAN(Generative Adversarial Network)を用いた新たな変更検出フレームワークを提案する。 最適化されたGANモデルは、変更を容易に発見できる良質なコアギスター画像を生成し、その後、比較戦略を通じて変更マップを提示する。
  論文  参考訳（メタデータ） (2020-09-08T10:26:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。