論文の概要: Grounding and Distinguishing Conceptual Vocabulary Through Similarity Learning in Embodied Simulations

• arxiv url: http://arxiv.org/abs/2305.13668v1
• Date: Tue, 23 May 2023 04:22:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 19:02:33.959011
• Title: Grounding and Distinguishing Conceptual Vocabulary Through Similarity Learning in Embodied Simulations
• Title（参考訳）: 身体シミュレーションにおける類似学習による概念語彙の接地と識別
• Authors: Sadaf Ghaffari and Nikhil Krishnaswamy
• Abstract要約: そこで本研究では,具体的シミュレーションによって収集されたエージェント体験を用いて,文脈化された単語ベクトルをオブジェクト表現にグラウンド化する手法を提案する。 類似性学習を用いて、相互作用するオブジェクトの特性に基づいて、異なるオブジェクトタイプの比較を行い、オブジェクトの振る舞いに関連する共通の特徴を抽出する。
• 参考スコア（独自算出の注目度）: 4.507860128918788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel method for using agent experiences gathered through an embodied simulation to ground contextualized word vectors to object representations. We use similarity learning to make comparisons between different object types based on their properties when interacted with, and to extract common features pertaining to the objects' behavior. We then use an affine transformation to calculate a projection matrix that transforms contextualized word vectors from different transformer-based language models into this learned space, and evaluate whether new test instances of transformed token vectors identify the correct concept in the object embedding space. Our results expose properties of the embedding spaces of four different transformer models and show that grounding object token vectors is usually more helpful to grounding verb and attribute token vectors than the reverse, which reflects earlier conclusions in the analogical reasoning and psycholinguistic literature.
• Abstract（参考訳）: 本稿では,具体化シミュレーションにより収集したエージェント体験を用いて,文脈化された単語ベクトルを対象表現に接地する新しい手法を提案する。 類似性学習を用いて、相互作用するオブジェクトの特性に基づいて異なるオブジェクトタイプの比較を行い、オブジェクトの振る舞いに関連する共通の特徴を抽出する。 次に、異なるトランスフォーマティブベースの言語モデルから文脈化された単語ベクトルをこの学習空間に変換する投影行列を計算し、変換されたトークンベクトルの新しいテストインスタンスがオブジェクト埋め込み空間の正しい概念を識別するかどうかを評価する。 その結果, 4 つの変圧器モデルの埋め込み空間の性質が明らかになり, 対象のトークンベクトルの接地は, 逆よりも動詞や属性のトークンベクトルの接地に有用であることが示唆された。

関連論文リスト

• Interpretable Syntactic Representations Enable Hierarchical Word Vectors [0.0]
  現在使われている分散表現は、密度が高く解釈不能である。 本稿では,これらの単語ベクトルを構文表現の縮小に変換する手法を提案する。 結果として得られる表現はコンパクトで解釈可能であり、単語ベクトルのより良い視覚化と比較を可能にする。
  論文  参考訳（メタデータ） (2024-11-13T07:10:18Z)
• Local Topology Measures of Contextual Language Model Latent Spaces With Applications to Dialogue Term Extraction [4.887047578768969]
  本稿では,文脈言語モデルの潜在空間の局所位相の複雑性尺度を導入する。 我々の研究は、単語埋め込みの多様体仮説を探求する一連の研究を継続している。
  論文  参考訳（メタデータ） (2024-08-07T11:44:32Z)
• An Intrinsic Vector Heat Network [64.55434397799728]
  本稿では,3次元に埋め込まれた接ベクトル場を学習するためのニューラルネットワークアーキテクチャを提案する。 本研究では, ベクトル値の特徴データを空間的に伝播させるために, トレーニング可能なベクトル熱拡散モジュールを提案する。 また,四面体メッシュ生成の産業的有用性に対する本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-14T00:40:31Z)
• Observable Propagation: Uncovering Feature Vectors in Transformers [21.2431937128876]
  与えられたタスクを計算する際にトランスフォーマー言語モデルで使用される線形特徴を見つけるために「観測可能な伝搬」(略してObProp)を導入する。 我々のパラダイムは、与えられたタスクに対応する線形汎関数である「観測可能」の概念に焦点を当てている。 我々はObPropを使って、ジェンダー付き職業バイアス、政党予測、プログラミング言語検出など、様々なタスクの質的な調査を行う。
  論文  参考訳（メタデータ） (2023-12-26T19:00:56Z)
• Backpack Language Models [108.65930795825416]
  Backpacksは、強力なモデリング性能と、解釈可能性と制御のためのインターフェースを組み合わせた、新しいニューラルアーキテクチャである。 学習のあと、感覚ベクトルが特殊化され、それぞれが単語の異なる側面を符号化することがわかった。 本稿では,感覚ベクトルに介入し,制御可能なテキスト生成とデバイアスを行うシンプルなアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T09:26:23Z)
• Understanding Synonymous Referring Expressions via Contrastive Features [105.36814858748285]
  画像とオブジェクトインスタンスレベルでのコントラスト機能を学ぶためのエンドツーエンドのトレーニング可能なフレームワークを開発しています。 提案アルゴリズムをいくつかのベンチマークデータセットで評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2021-04-20T17:56:24Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)
• Principal Word Vectors [5.64434321651888]
  単語をベクトル空間に埋め込むための主成分分析を一般化する。 主語ベクトルの拡散と識別性は他の単語埋め込み法よりも高いことを示す。
  論文  参考訳（メタデータ） (2020-07-09T08:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。