論文の概要: A Benchmark for Systematic Generalization in Grounded Language
Understanding
- arxiv url: http://arxiv.org/abs/2003.05161v2
- Date: Sat, 17 Oct 2020 17:02:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 13:12:17.236099
- Title: A Benchmark for Systematic Generalization in Grounded Language
Understanding
- Title(参考訳): 接地言語理解における体系的一般化のためのベンチマーク
- Authors: Laura Ruis, Jacob Andreas, Marco Baroni, Diane Bouchacourt, Brenden M.
Lake
- Abstract要約: 人間は慣れ親しんだ部分から成り立つ不慣れな状況を記述する表現を容易に解釈する。
対照的に、現代のニューラルネットワークは、新しい構成を理解するのに苦労している。
位置言語理解における合成一般化を評価するための新しいベンチマークであるgSCANを導入する。
- 参考スコア(独自算出の注目度): 61.432407738682635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans easily interpret expressions that describe unfamiliar situations
composed from familiar parts ("greet the pink brontosaurus by the ferris
wheel"). Modern neural networks, by contrast, struggle to interpret novel
compositions. In this paper, we introduce a new benchmark, gSCAN, for
evaluating compositional generalization in situated language understanding.
Going beyond a related benchmark that focused on syntactic aspects of
generalization, gSCAN defines a language grounded in the states of a grid
world, facilitating novel evaluations of acquiring linguistically motivated
rules. For example, agents must understand how adjectives such as 'small' are
interpreted relative to the current world state or how adverbs such as
'cautiously' combine with new verbs. We test a strong multi-modal baseline
model and a state-of-the-art compositional method finding that, in most cases,
they fail dramatically when generalization requires systematic compositional
rules.
- Abstract(参考訳): 人間は慣れ親しんだ部分("greet the pink brontosaurus by the ferris wheel")からなる不慣れな状況を表す表現を容易に解釈する。
対照的に、現代のニューラルネットワークは、新しい構成を解釈するのに苦労している。
本稿では,位置言語理解における合成一般化を評価するための新しいベンチマークgSCANを提案する。
一般化の構文的な側面に焦点を当てた関連するベンチマークを超えて、gscanはグリッド世界の状態に基づいた言語を定義し、言語に動機づけられた規則を取得するための新しい評価を促進する。
例えば、エージェントは「小さな」のような形容詞が現在の世界状態に対してどのように解釈されるか、あるいは「慎重に」のような副詞が新しい動詞とどのように結合するかを理解する必要がある。
我々は,強いマルチモーダルベースラインモデルと最先端の合成法を検証したところ,一般化が体系的な構成規則を必要とする場合,ほとんどの場合,それらは劇的に失敗することがわかった。
関連論文リスト
- Learning Symbolic Rules over Abstract Meaning Representations for
Textual Reinforcement Learning [63.148199057487226]
本稿では,汎用的な意味一般化とルール誘導システムを組み合わせて,解釈可能なルールをポリシーとして学習するモジュール型 NEuroSymbolic Textual Agent (NESTA) を提案する。
実験の結果,NESTA法は,未確認テストゲームや少ないトレーニングインタラクションから学習することで,深層強化学習技術よりも優れることがわかった。
論文 参考訳(メタデータ) (2023-07-05T23:21:05Z) - On Evaluating Multilingual Compositional Generalization with Translated
Datasets [34.51457321680049]
構成一般化能力は言語によって異なることを示す。
我々は、MCWQデータセットを英語から中国語、日本語に忠実に翻訳する。
MCWQ-Rとよばれるロバストなベンチマークが得られたとしても、構成の分布は言語的な相違によって依然として苦しんでいることが示される。
論文 参考訳(メタデータ) (2023-06-20T10:03:57Z) - How Do In-Context Examples Affect Compositional Generalization? [86.57079616209474]
本稿では,コンテクスト内構成一般化を検証するためのテストスイートであるCoFeを提案する。
構成一般化性能は、文脈内例の選択によって容易に影響を受けることが判明した。
我々の系統実験は、文脈内サンプルは、テストケースと構造的に似ており、互いに異なっており、個別に単純であることを示します。
論文 参考訳(メタデータ) (2023-05-08T16:32:18Z) - Variational Cross-Graph Reasoning and Adaptive Structured Semantics
Learning for Compositional Temporal Grounding [143.5927158318524]
テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。
新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。
ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
論文 参考訳(メタデータ) (2023-01-22T08:02:23Z) - Compositional Generalization in Unsupervised Compositional
Representation Learning: A Study on Disentanglement and Emergent Language [48.37815764394315]
合成一般化を直接テストできる2つのデータセット上で、3つの教師なし表現学習アルゴリズムについて検討する。
単純なモデルと少ないラベルでボトルネック表現を直接使用すると、学習された表現そのものの前後のレイヤからの表現よりも、より悪い一般化につながる可能性がある。
驚くべきことに、不整合表現を生成する圧力の増加は、より悪い一般化を伴う表現を生成するのに対し、ELモデルからの表現は強い合成一般化を示す。
論文 参考訳(メタデータ) (2022-10-02T10:35:53Z) - Compositional Temporal Grounding with Structured Variational Cross-Graph
Correspondence Learning [92.07643510310766]
ビデオの時間的接地は、あるクエリ文に意味的に対応する1つのターゲットビデオセグメントをローカライズすることを目的としている。
新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。
出現した単語の新たな組み合わせによるクエリの一般化に失敗したことを実証的に見出した。
本稿では,ビデオと言語を複数の階層構造に明示的に分解する多変分グラフ推論フレームワークを提案する。
論文 参考訳(メタデータ) (2022-03-24T12:55:23Z) - Compositional Networks Enable Systematic Generalization for Grounded
Language Understanding [21.481360281719006]
人間は、今まで遭遇したことのない概念の組み合わせを含む新しい文を理解する際に、驚くほど柔軟です。
近年の研究では、深層ネットワークは、新しい文で表されるときの人間の言語能力を模倣できるが、体系的な変化は、ネットワークの言語理解能力の限界を明らかにする。
本稿では,gSCANデータセットの一般化問題に対処することで,これらの制限を克服できることを実証する。
論文 参考訳(メタデータ) (2020-08-06T16:17:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。