論文の概要: Explore the Potential Performance of Vision-and-Language Navigation
Model: a Snapshot Ensemble Method
- arxiv url: http://arxiv.org/abs/2111.14267v1
- Date: Sun, 28 Nov 2021 23:07:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-30 14:59:59.197527
- Title: Explore the Potential Performance of Vision-and-Language Navigation
Model: a Snapshot Ensemble Method
- Title(参考訳): 視覚言語ナビゲーションモデルの潜在的な性能を探る:スナップショットアンサンブル法
- Authors: Wenda Qin, Teruhisa Misu, Derry Wijaya
- Abstract要約: VLN(Vision-and-Language Navigation)は、人工知能分野における課題である。
VLNモデルを改善するための新しい視点を提供する。
- 参考スコア(独自算出の注目度): 6.349841849317769
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Vision-and-Language Navigation (VLN) is a challenging task in the field of
artificial intelligence. Although massive progress has been made in this task
over the past few years attributed to breakthroughs in deep vision and language
models, it remains tough to build VLN models that can generalize as well as
humans. In this paper, we provide a new perspective to improve VLN models.
Based on our discovery that snapshots of the same VLN model behave
significantly differently even when their success rates are relatively the
same, we propose a snapshot-based ensemble solution that leverages predictions
among multiple snapshots. Constructed on the snapshots of the existing
state-of-the-art (SOTA) model $\circlearrowright$BERT and our past-action-aware
modification, our proposed ensemble achieves the new SOTA performance in the
R2R dataset challenge in Navigation Error (NE) and Success weighted by Path
Length (SPL).
- Abstract(参考訳): VLN(Vision-and-Language Navigation)は、人工知能分野における課題である。
深部ビジョンと言語モデルのブレークスルーが原因で、ここ数年でこのタスクは大きな進歩を遂げてきたが、人間と同様に一般化できるvlnモデルを構築するのは難しいままである。
本稿では,VLNモデルを改善するための新しい視点を提供する。
同一のVLNモデルのスナップショットは、成功率が比較的同じであっても、かなり異なる振る舞いをするという発見に基づいて、複数のスナップショット間の予測を活用するスナップショットベースのアンサンブルソリューションを提案する。
提案手法は,既存のSOTAモデルである$\circlearrowright$BERTのスナップショットと過去の動作を意識した修正に基づいて構築され,ナビゲーションエラー(NE)におけるR2RデータセットチャレンジとPath Length(SPL)の重み付けによる継承において,新たなSOTAパフォーマンスを実現する。
関連論文リスト
- Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳(メタデータ) (2024-02-07T13:41:53Z) - Test-time Adaptive Vision-and-Language Navigation [75.50521064106732]
視覚・言語ナビゲーションのためのFSTTA(Fast-Slow Test-Time Adaptation)アプローチを提案する。
高速更新フェーズでは、最近のマルチステップナビゲーションプロセスで発生する勾配を、さまざまなレベルの一貫性を持つコンポーネントに分解する。
遅い更新フェーズでは、歴史的に記録されたパラメータを収集し、同様の分解蓄積分析を行い、モデルを安定状態に戻す。
論文 参考訳(メタデータ) (2023-11-22T07:47:39Z) - Text-image Alignment for Diffusion-based Perception [13.933877942588612]
拡散モデルは、印象的なテキスト-画像合成機能を備えた生成モデルである。
自動生成キャプションによってテキスト画像のアライメントが向上し、モデルのクロスアテンションマップが大幅に向上することがわかった。
提案手法はクロスドメイン設定に一般化し,不整合ベースラインに対する改善を実現する。
論文 参考訳(メタデータ) (2023-09-29T05:16:41Z) - PASTS: Progress-Aware Spatio-Temporal Transformer Speaker For
Vision-and-Language Navigation [6.11362142120604]
ヴィジュアル・アンド・ランゲージ・ナビゲーション(VLN)は、重要な、しかし困難なクロスモーダル・ナビゲーションタスクである。
VLNの性能を高める強力な手法の1つは、データ拡張のための擬似命令を提供する独立話者モデルを使用することである。
本稿では,ネットワークのコアとしてトランスフォーマーを用いるPASTSモデルを提案する。
論文 参考訳(メタデータ) (2023-05-19T02:25:56Z) - Waypoint Models for Instruction-guided Navigation in Continuous
Environments [68.2912740006109]
本稿では,言語条件付きウェイポイント予測ネットワークのクラスを開発し,この問題について検討する。
プロファイリングされたLoCoBotロボット上でのタスク性能と実行時間の推定を行う。
我々のモデルは、VLN-CEにおける以前の仕事を上回り、新しい最先端の技術を公衆のリーダーボードに置きました。
論文 参考訳(メタデータ) (2021-10-05T17:55:49Z) - Airbert: In-domain Pretraining for Vision-and-Language Navigation [91.03849833486974]
ビジョン・アンド・ランゲージナビゲーション(VLN)は、エンボディエージェントが自然言語命令を使って現実的な環境をナビゲートできるようにすることを目的としている。
近年の方法は、VLN剤の一般化を改善するための事前学習である。
大規模かつ多様なドメイン内VLNデータセットであるBnBを紹介する。
論文 参考訳(メタデータ) (2021-08-20T10:58:09Z) - A Recurrent Vision-and-Language BERT for Navigation [54.059606864535304]
本稿では,視覚・言語ナビゲーションにおける時間認識型BERTモデルを提案する。
我々のモデルは、より複雑なエンコーダデコーダモデルを置き換えることで、最先端の結果が得られる。
論文 参考訳(メタデータ) (2020-11-26T00:23:00Z) - Towards Learning a Generic Agent for Vision-and-Language Navigation via
Pre-training [150.35927365127176]
視覚・言語ナビゲーション(VLN)タスクのための,最初の事前学習および微調整パラダイムを提案する。
自己教師付き学習方式で大量の画像-テキスト-アクション三つ子を訓練することにより、事前学習されたモデルは、視覚環境と言語命令の一般的な表現を提供する。
新たなタスクにおいてより効果的に学習し、以前は目に見えない環境でより良く一般化する。
論文 参考訳(メタデータ) (2020-02-25T03:08:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。