論文の概要: CompGuessWhat?!: A Multi-task Evaluation Framework for Grounded Language Learning

• arxiv url: http://arxiv.org/abs/2006.02174v1
• Date: Wed, 3 Jun 2020 11:21:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 17:10:06.408750
• Title: CompGuessWhat?!: A Multi-task Evaluation Framework for Grounded Language Learning
• Title（参考訳）: CompGuess 何? 接地言語学習のためのマルチタスク評価フレームワーク
• Authors: Alessandro Suglia, Ioannis Konstas, Andrea Vanzo, Emanuele Bastianelli, Desmond Elliott, Stella Frank and Oliver Lemon
• Abstract要約: 本稿では,属性を用いたグラウンドド言語学習のための評価フレームワークGROLLAを提案する。 また、学習したニューラル表現の品質を評価するためのフレームワークの例として、新しいデータセットCompGuessWhat!?を提案する。
• 参考スコア（独自算出の注目度）: 78.3857991931479
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Approaches to Grounded Language Learning typically focus on a single task-based final performance measure that may not depend on desirable properties of the learned hidden representations, such as their ability to predict salient attributes or to generalise to unseen situations. To remedy this, we present GROLLA, an evaluation framework for Grounded Language Learning with Attributes with three sub-tasks: 1) Goal-oriented evaluation; 2) Object attribute prediction evaluation; and 3) Zero-shot evaluation. We also propose a new dataset CompGuessWhat?! as an instance of this framework for evaluating the quality of learned neural representations, in particular concerning attribute grounding. To this end, we extend the original GuessWhat?! dataset by including a semantic layer on top of the perceptual one. Specifically, we enrich the VisualGenome scene graphs associated with the GuessWhat?! images with abstract and situated attributes. By using diagnostic classifiers, we show that current models learn representations that are not expressive enough to encode object attributes (average F1 of 44.27). In addition, they do not learn strategies nor representations that are robust enough to perform well when novel scenes or objects are involved in gameplay (zero-shot best accuracy 50.06%).
• Abstract（参考訳）: グラウンデッド言語学習へのアプローチは、典型的には、学習された隠れた表現の望ましい性質に依存しない単一のタスクベースの最終的なパフォーマンス尺度に焦点を当てている。 これを解決するために,3つのサブタスクによる属性付きグラウンドド言語学習の評価フレームワークGROLLAを提案する。 1) 目標志向の評価 2) 対象属性予測評価,及び 3)ゼロショット評価。 また、新しいデータセットCompGuessWhatを提案します。 このフレームワークの例として、学習された神経表現、特に属性の接地に関する品質を評価する。 この目的のために、オリジナルのGuessWhatを拡張します! 知覚層の上にセマンティック層を含めることによるデータセット。 具体的には、推測に関連付けられたビジュアルジェノミーシーングラフを豊かにします。 抽象属性と位置属性を持つ画像。 診断的分類器を用いることで、現在のモデルは対象属性を符号化するのに十分な表現を学習する(平均44.27のf1)。 加えて、新しいシーンやオブジェクトがゲームプレイに関与している場合(ゼロショット最高の精度50.06%)に十分な堅牢性を持つ戦略や表現を学習しない。

関連論文リスト

• Disentangling Visual Embeddings for Attributes and Objects [38.27308243429424]
  オブジェクト属性認識における合成ゼロショット学習の問題点について検討する。 以前の作業では、オブジェクト分類のために事前訓練されたバックボーンネットワークで抽出された視覚的特徴を使用する。 視覚空間における属性とオブジェクトの特徴をアンタングルできる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-05-17T17:59:36Z)
• Attribute Prototype Network for Any-Shot Learning [113.50220968583353]
  属性ローカライズ機能を統合した画像表現は、任意のショット、すなわちゼロショットと少数ショットのイメージ分類タスクに有用である、と我々は主張する。 クラスレベルの属性のみを用いてグローバルな特徴とローカルな特徴を共同で学習する新しい表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-04T02:25:40Z)
• On Guiding Visual Attention with Language Specification [76.08326100891571]
  注意をそらすのではなく,タスク関連機能に分類証拠を限定するためのアドバイスとして,ハイレベルな言語仕様を用いる。 この方法で空間的注意を監督することは、偏りのあるノイズのあるデータを用いた分類タスクの性能を向上させる。
  論文  参考訳（メタデータ） (2022-02-17T22:40:19Z)
• Towards Zero-shot Sign Language Recognition [11.952300437658703]
  本稿では,ゼロショット手話認識の問題に取り組む。 目標は、目に見えないシグネチャクラスのインスタンスを認識するために、シグネチャクラス上で学んだモデルを活用することだ。
  論文  参考訳（メタデータ） (2022-01-15T19:26:36Z)
• Unsupervised Part Discovery from Contrastive Reconstruction [90.88501867321573]
  自己監督型視覚表現学習の目標は、強く伝達可能な画像表現を学習することである。 対象部分の発見とセグメンテーションに対する教師なしアプローチを提案する。 本手法は, 細粒度, 視覚的に異なるカテゴリ間でセマンティックな部分を生成する。
  論文  参考訳（メタデータ） (2021-11-11T17:59:42Z)
• Attribute Prototype Network for Zero-Shot Learning [113.50220968583353]
  差別的グローバルな特徴と局所的な特徴を共同で学習するゼロショット表現学習フレームワークを提案する。 本モデルでは,画像中の属性の視覚的証拠を指摘し,画像表現の属性ローカライゼーション能力の向上を確認した。
  論文  参考訳（メタデータ） (2020-08-19T06:46:35Z)
• Meta-Learning with Context-Agnostic Initialisations [86.47040878540139]
  メタ学習プロセスにコンテキスト・逆成分を導入する。 これにより、コンテキストに依存しないタスクを一般化したターゲットへの微調整の初期化が実現される。 我々は,3つのメタ学習アルゴリズムと2つの問題に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2020-07-29T08:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。