論文の概要: Explicitly Representing Syntax Improves Sentence-to-layout Prediction of Unexpected Situations

• arxiv url: http://arxiv.org/abs/2401.14212v2
• Date: Tue, 16 Apr 2024 14:25:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 23:25:43.743922
• Title: Explicitly Representing Syntax Improves Sentence-to-layout Prediction of Unexpected Situations
• Title（参考訳）: 明示的表現型構文は予期せぬ状況の文-行間予測を改善する
• Authors: Wolf Nuyts, Ruben Cartuyvels, Marie-Francine Moens,
• Abstract要約: 文の構文を暗黙的にあるいは明示的にエンコードする言語表現から2次元空間レイアウトを予測することができることを示す。 本稿では,入力文の構文的構造をよりよく強制する構造的損失関数を提案する。 この損失は、木のような構造が条件付けのモダリティの下にある他の世代タスクで使われる可能性がある。
• 参考スコア（独自算出の注目度）: 21.636786771793364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recognizing visual entities in a natural language sentence and arranging them in a 2D spatial layout require a compositional understanding of language and space. This task of layout prediction is valuable in text-to-image synthesis as it allows localized and controlled in-painting of the image. In this comparative study it is shown that we can predict layouts from language representations that implicitly or explicitly encode sentence syntax, if the sentences mention similar entity-relationships to the ones seen during training. To test compositional understanding, we collect a test set of grammatically correct sentences and layouts describing compositions of entities and relations that unlikely have been seen during training. Performance on this test set substantially drops, showing that current models rely on correlations in the training data and have difficulties in understanding the structure of the input sentences. We propose a novel structural loss function that better enforces the syntactic structure of the input sentence and show large performance gains in the task of 2D spatial layout prediction conditioned on text. The loss has the potential to be used in other generation tasks where a tree-like structure underlies the conditioning modality. Code, trained models and the USCOCO evaluation set are available via github.
• Abstract（参考訳）: 自然言語文中の視覚的実体を認識し、2次元空間配置で配置するには、言語と空間の合成的理解が必要である。 このレイアウト予測のタスクは、画像の局所化と制御が可能であるため、テキストと画像の合成において有用である。 この比較研究では,文の構文を暗黙的にあるいは明示的にエンコードする言語表現から,文が訓練中に見られるものと類似した実体関係について言及した場合に,レイアウトを予測できることが示されている。 構成的理解をテストするために,学習中に見つからなかったエンティティや関係の合成を記述した文法的に正しい文とレイアウトのテストセットを収集する。 このテストセットの性能は大幅に低下し、現在のモデルはトレーニングデータの相関に頼っており、入力文の構造を理解するのに困難であることを示す。 本稿では,テキスト上で2次元空間配置予測を行うタスクにおいて,入力文の構文構造をよりよく実施し,大きな性能向上を示す構造的損失関数を提案する。 この損失は、木のような構造が条件付けのモダリティの下にある他の世代タスクで使われる可能性がある。 コード、トレーニングされたモデル、USCOCO評価セットはgithub経由で利用できる。

関連論文リスト

• ComAlign: Compositional Alignment in Vision-Language Models [2.3250871476216814]
  コンポジションアライメント(ComAlign)を導入し、テキストと画像コンポーネントのより正確な対応を見出す。 本手法は, テキストのモダリティから抽出した構成構造も画像のモダリティに残さなければならないことを強調する。 私たちは、小さなデータセットを使用して、既存のビジュアルおよび言語エンコーダの上に横たわる軽量ネットワークをトレーニングします。
  論文  参考訳（メタデータ） (2024-09-12T16:46:41Z)
• Towards a theory of how the structure of language is acquired by deep neural networks [6.363756171493383]
  木のような生成モデルを用いて、自然言語で見られる階層構造の多くをキャプチャする。 トークンとトークンの相関は文法の隠れ変数の表現を構築するのに有効であることを示す。 トレーニングセットのサイズと効果的な相関範囲の関係は、我々の合成データセットを超えていると推測する。
  論文  参考訳（メタデータ） (2024-05-28T17:01:22Z)
• A Parse-Then-Place Approach for Generating Graphic Layouts from Textual Descriptions [50.469491454128246]
  我々は、図形レイアウト、すなわちテキストからラベルへのレイアウトを作成するためのガイダンスとしてテキストを使用し、設計障壁を低くすることを目的としています。 テキストからラベルへの変換は、テキストからの暗黙的、複合的、不完全な制約を考慮する必要があるため、難しい作業である。 この問題に対処するための2段階のアプローチとして,パース・セイン・プレース(parse-then-place)を提案する。
  論文  参考訳（メタデータ） (2023-08-24T10:37:00Z)
• COSA: Concatenated Sample Pretrained Vision-Language Foundation Model [78.32081709802873]
  ほとんどの視覚言語基盤モデルは、事前トレーニングに画像テキストデータセットを使用している。 我々は,COncatenated SAmple pretrained vision- language foundation modelであるCOSAを提案する。 複数の画像テキストペアを事前学習用入力として逐次結合することで、これを実現する。 この変換により、既存の画像テキストコーパスを擬似長文ビデオパラグラフコーパスに変換する。
  論文  参考訳（メタデータ） (2023-06-15T12:29:42Z)
• Example-Based Machine Translation from Text to a Hierarchical Representation of Sign Language [1.3999481573773074]
  本稿では,テキスト・トゥ・サイン翻訳の原本について述べる。 これは、AZeeにおける手話ビデオのテキストと階層的な形式記述の間のアライメントのドメイン固有の並列コーパスを使用して、データの不足を補う。 提案アルゴリズムは、ソーステキストに存在する類似性の検出に基づいて、整列セグメントのマッチングと置換を利用して、複数の候補翻訳を構築する。 結果として得られる翻訳は、アバターシステムへの入力として使用されるように設計されたAZee式(英語版)の形式である。
  論文  参考訳（メタデータ） (2022-05-06T15:48:43Z)
• Integrating Visuospatial, Linguistic and Commonsense Structure into Story Visualization [81.26077816854449]
  まず、構造的入力を符号化するための選挙区解析木の利用について検討する。 第二に、構造化されたインプットをコモンセンス情報で強化し、この外部知識が視覚的ストーリーの生成に与える影響について検討する。 第3に、境界ボックスと高密度キャプションによって視覚構造を組み込んで、生成された画像の文字やオブジェクトに関するフィードバックを提供する。
  論文  参考訳（メタデータ） (2021-10-21T00:16:02Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Visually Grounded Compound PCFGs [65.04669567781634]
  言語理解のための視覚的基盤の爆発は、最近多くの注目を集めている。 本研究では,視覚的な文法誘導について検討し,未ラベルテキストとその視覚的キャプションから選挙区を学習する。
  論文  参考訳（メタデータ） (2020-09-25T19:07:00Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。