論文の概要: Compositional Semantics for Open Vocabulary Spatio-semantic
Representations
- arxiv url: http://arxiv.org/abs/2310.04981v1
- Date: Sun, 8 Oct 2023 03:07:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 13:56:09.922316
- Title: Compositional Semantics for Open Vocabulary Spatio-semantic
Representations
- Title(参考訳): 開語彙空間空間表現のための構成意味論
- Authors: Robin Karlsson, Francisco Lepe-Salazar, Kazuya Takeda
- Abstract要約: 汎用移動ロボットは、人間の指示なしにタスクを完了する必要がある。
本稿では,クエリー・セマンティック記憶のための学習に基づく知識表現として,潜時意味埋め込み z* を提案する。
我々は、COCO-Stuffデータセットで訓練された単純な高密度VLMが、42.23 mIoUで181の重なり合うセマンティクスについてz*を学習できることを実証した。
- 参考スコア(独自算出の注目度): 4.045603788443984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: General-purpose mobile robots need to complete tasks without exact human
instructions. Large language models (LLMs) is a promising direction for
realizing commonsense world knowledge and reasoning-based planning.
Vision-language models (VLMs) transform environment percepts into
vision-language semantics interpretable by LLMs. However, completing complex
tasks often requires reasoning about information beyond what is currently
perceived. We propose latent compositional semantic embeddings z* as a
principled learning-based knowledge representation for queryable
spatio-semantic memories. We mathematically prove that z* can always be found,
and the optimal z* is the centroid for any set Z. We derive a probabilistic
bound for estimating separability of related and unrelated semantics. We prove
that z* is discoverable by iterative optimization by gradient descent from
visual appearance and singular descriptions. We experimentally verify our
findings on four embedding spaces incl. CLIP and SBERT. Our results show that
z* can represent up to 10 semantics encoded by SBERT, and up to 100 semantics
for ideal uniformly distributed high-dimensional embeddings. We demonstrate
that a simple dense VLM trained on the COCO-Stuff dataset can learn z* for 181
overlapping semantics by 42.23 mIoU, while improving conventional
non-overlapping open-vocabulary segmentation performance by +3.48 mIoU compared
with a popular SOTA model.
- Abstract(参考訳): 汎用移動ロボットは、人間の指示なしにタスクを完了する必要がある。
大言語モデル(LLM)は、常識の世界知識と推論に基づく計画を実現するための有望な方向である。
視覚言語モデル(VLM)は環境をLLMで解釈可能な視覚言語意味論に変換する。
しかし、複雑なタスクの完了には、現在認識されていること以上の情報に関する推論が必要となることが多い。
本稿では,質問可能な時空間記憶のための学習に基づく知識表現として,潜在合成意味埋め込み z* を提案する。
数学的には、常に z* が見つかることを証明し、最適な z* は任意の集合 Z に対する中心関数である。
視覚的外観や特異な記述からの勾配降下による反復最適化により、z*が発見可能であることを示す。
4つの埋め込み空間inclについて実験的に検証した。
CLIPとSBERT。
以上の結果から,z*はSBERTで符号化された最大10のセマンティクスを表現でき,100のセマンティクスを理想的な一様分布高次元埋め込みに適用できることがわかった。
我々は、COCO-Stuffデータセットで訓練された単純な高密度VLMは、一般的なSOTAモデルと比較して、従来の非重複な開語彙セグメンテーション性能を+3.48 mIoUで改善しながら、42.23 mIoUで181の重なり合う意味を学習できることを示した。
関連論文リスト
- Fantastic Semantics and Where to Find Them: Investigating Which Layers
of Generative LLMs Reflect Lexical Semantics [55.694517197189924]
本研究では,Llama2という大言語モデルの語彙的意味論の進化について,各層の末尾に隠れた状態を探索することによって検討する。
実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。
これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
論文 参考訳(メタデータ) (2024-03-03T13:14:47Z) - Telling Left from Right: Identifying Geometry-Aware Semantic
Correspondence [84.72996365404228]
本稿では,意味的対応のための幾何学的認識の重要性を明らかにする。
この情報を活用することで,意味的対応性能が著しく向上することを示す。
我々は既存の動物ポーズ推定データセットから構築された意味対応のための新しいベンチマークを構築した。
論文 参考訳(メタデータ) (2023-11-28T18:45:13Z) - Towards Realistic Zero-Shot Classification via Self Structural Semantic
Alignment [53.2701026843921]
大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。
本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。
本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-24T17:56:46Z) - Semantic-aware Contrastive Learning for More Accurate Semantic Parsing [32.74456368167872]
そこで本研究では,意味表現の微粒化を学習できる意味認識型コントラスト学習アルゴリズムを提案する。
2つの標準データセットの実験により、我々の手法はMLEベースラインよりも大幅に改善されていることが示された。
論文 参考訳(メタデータ) (2023-01-19T07:04:32Z) - Disentangling Learnable and Memorizable Data via Contrastive Learning
for Semantic Communications [81.10703519117465]
セマンティック・レディにするために、ソースデータをアンタングルする新しい機械推論フレームワークが提案されている。
特に、データ上でインスタンスとクラスタの識別を行う新しいコントラスト学習フレームワークが提案されている。
信頼度の高い深いセマンティッククラスタは、学習可能でセマンティックリッチなデータだと考えられている。
シミュレーションの結果は, セマンティック・インパクトとミニマリズムの観点から, コントラスト学習アプローチの優位性を示した。
論文 参考訳(メタデータ) (2022-12-18T12:00:12Z) - Relate to Predict: Towards Task-Independent Knowledge Representations
for Reinforcement Learning [11.245432408899092]
強化学習は、エージェントが複雑なタスクを学習できるようにする。
知識を解釈し、タスク間で再利用することは難しい。
本稿では,対象中心の知識分離を明示する帰納的バイアスを導入する。
知識分離における明示性の程度は、学習の高速化、精度の向上、一般化の向上、理解可能性の向上と相関していることを示す。
論文 参考訳(メタデータ) (2022-12-10T13:33:56Z) - Cross-modal Representation Learning for Zero-shot Action Recognition [67.57406812235767]
我々は、ゼロショット動作認識(ZSAR)のためのビデオデータとテキストラベルを共同で符号化するクロスモーダルトランスフォーマーベースのフレームワークを提案する。
我々のモデルは概念的に新しいパイプラインを使用し、視覚的表現と視覚的意味的関連をエンドツーエンドで学習する。
実験結果から,本モデルはZSARの芸術的状況に大きく改善され,UCF101,HMDB51,ActivityNetベンチマークデータセット上でトップ1の精度が向上した。
論文 参考訳(メタデータ) (2022-05-03T17:39:27Z) - Integrating Language Guidance into Vision-based Deep Metric Learning [78.18860829585182]
埋め込み空間として意味的類似性を符号化した距離空間を学習することを提案する。
これらの空間は、トレーニング中に見られるもの以外のクラスに転送可能であるべきである。
これにより、学習された埋め込み空間は不完全な意味的コンテキストを符号化し、クラス間の意味的関係を誤って表現する。
論文 参考訳(メタデータ) (2022-03-16T11:06:50Z) - Bias-Eliminated Semantic Refinement for Any-Shot Learning [27.374052527155623]
我々は、任意のショット学習タスクの粗粒度意味記述を洗練する。
セマンティック・リファインメント(セマンティック・リファインメント)のワッサーシュタイン生成逆数ネットワーク(SRWGAN)モデルが設計されている。
6つのベンチマークデータセットでモデル性能を広範囲に評価した。
論文 参考訳(メタデータ) (2022-02-10T04:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。