論文の概要: Type Diversity Enables Transformers to Generalise Compositionally

• arxiv url: http://arxiv.org/abs/2609.13144v1
• Date: Fri, 11 Sep 2026 17:59:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.833136
• Title: Type Diversity Enables Transformers to Generalise Compositionally
• Title（参考訳）: タイプ多様性によって変換器は構成を一般化できる
• Abstract要約: これまでの研究で、構造的一般化はトランスフォーマーにとってレキシカルよりも難しいことが判明した。 この違いはトランスフォーマーに固有のものではなく、語彙型の多様性が高いためである。 我々は文法フレームワークを用いて言語学的に多様なCOGSデータセットとSLOGデータセットを作成します。
• 参考スコア（独自算出の注目度）: 10.42753538728189
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compositional generalisation has been divided into lexical and structural generalisation. Previous work has found that structural generalisation is harder than lexical for Transformers. We propose that this difference is not inherent to Transformers, but due to the high diversity of lexical types and low diversity of structural types in the specific datasets of these previous works. By type diversity we mean the number of different constructors of that type, instead of, for example, the specific word combinations that might populate the structure. To test this, we vary the amounts of type diversity of lexical and structural types in previously published datasets. We create linguistically diverse variants of the COGS and SLOG datasets using Grammatical Framework. We find that type diversity correlates with compositional generalisation equally in lexical and structural test cases, supporting our hypothesis. We note a contradiction with the proposition in previous work that compound divergence explains the difficulty in compositional generalisation tasks. We further investigate the effects of other dataset properties on compositional generalisation, such as the diversity of types other than the novel test structure, and surface properties of the logical semantics format.
• Abstract（参考訳）: 構成的一般化は、語彙的および構造的一般化に分割されている。 これまでの研究で、構造的一般化はトランスフォーマーにとってレキシカルよりも難しいことが判明した。 この違いはトランスフォーマーに固有のものではなく、語彙型の多様性が高く、以前の研究の特定のデータセットにおける構造型の多様性が低いためである。 型多様性によって、例えば、構造に出現する可能性のある特定の単語の組み合わせの代わりに、そのタイプの異なるコンストラクタの数を意味する。 これをテストするために、以前に公開されたデータセットにおいて、語彙型と構造型の型多様性の量を変化させる。 我々は文法フレームワークを用いて言語学的に多様なCOGSデータセットとSLOGデータセットを作成します。 タイプ多様性は, 語彙的, 構造的テストケースにおいて, 構成的一般化と等しく相関し, 仮説を支持している。 合成一般化タスクの難しさを複合発散が説明できるという、以前の研究における命題と矛盾する点に留意する。 さらに、新しいテスト構造以外の種類の多様性や、論理的意味論形式の表面的性質など、他のデータセット特性が構成的一般化に与える影響について検討する。

関連論文リスト

• Does Data Scaling Lead to Visual Compositional Generalization? [21.242714408660508]
  構成一般化は単なるデータスケールではなく,データの多様性によってもたらされる。 この構造が効率の鍵であることを証明し、ほとんど観測されていない組み合わせから完全な一般化を可能にする。
  論文  参考訳（メタデータ） (2025-07-09T17:59:03Z)
• Evaluating Structural Generalization in Neural Machine Translation [13.880151307013318]
  SGETは,単語や文構造を制御して,様々な種類の合成一般化を包含するデータセットである。 ニューラルネットワーク翻訳モデルは、語彙的一般化よりも構造的一般化に苦慮していることを示す。 また、セマンティック解析と機械翻訳において、様々なタスクにおける評価の重要性を示す様々なパフォーマンストレンドを見出した。
  論文  参考訳（メタデータ） (2024-06-19T09:09:11Z)
• Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers [74.96551626420188]
  自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T07:10:29Z)
• How Do In-Context Examples Affect Compositional Generalization? [86.57079616209474]
  本稿では,コンテクスト内構成一般化を検証するためのテストスイートであるCoFeを提案する。 構成一般化性能は、文脈内例の選択によって容易に影響を受けることが判明した。 我々の系統実験は、文脈内サンプルは、テストケースと構造的に似ており、互いに異なっており、個別に単純であることを示します。
  論文  参考訳（メタデータ） (2023-05-08T16:32:18Z)
• Compositional Temporal Grounding with Structured Variational Cross-Graph Correspondence Learning [92.07643510310766]
  ビデオの時間的接地は、あるクエリ文に意味的に対応する1つのターゲットビデオセグメントをローカライズすることを目的としている。 新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。 出現した単語の新たな組み合わせによるクエリの一般化に失敗したことを実証的に見出した。 本稿では,ビデオと言語を複数の階層構造に明示的に分解する多変分グラフ推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-24T12:55:23Z)
• Compositional Generalization Requires Compositional Parsers [69.77216620997305]
  直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。 構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
  論文  参考訳（メタデータ） (2022-02-24T07:36:35Z)
• Improving Compositional Generalization in Classification Tasks via Structure Annotations [33.90268697120572]
  人間は構成を一般化する能力は大きいが、最先端のニューラルモデルはそれを行うのに苦労している。 まず、自然言語のシーケンス・ツー・シーケンス・データセットを、合成の一般化も必要とする分類データセットに変換する方法について検討する。 第二に、構造的ヒントを提供すること(特にトランスフォーマーモデルの注意マスクとしてパースツリーとエンティティリンクを提供すること)は、構成の一般化に役立つことを示す。
  論文  参考訳（メタデータ） (2021-06-19T06:07:27Z)
• Commutative Lie Group VAE for Disentanglement Learning [96.32813624341833]
  本研究では,データに表される因子の変動を同変的に反映する基盤構造を見いだすこととして,非絡み合い学習を考察する。 グループベースの非絡み合い学習を実現するために、Communative Lie Group VAEというシンプルなモデルが導入された。 実験により,本モデルでは,教師なしの非絡み合い表現を効果的に学習し,余分な制約を伴わずに最先端のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-06-07T07:03:14Z)
• Compositional Generalization and Natural Language Variation: Can a Semantic Parsing Approach Handle Both? [27.590858384414567]
  私たちは、自然言語のバリエーションと合成の一般化の両方を扱う意味解析アプローチを開発できますか? 我々は、この能力をよりよく評価するために、非合成データセットの新しいトレインとテスト分割を提案する。 また、NQG-T5は、高精度文法に基づくアプローチと事前学習されたシーケンス・ツー・シーケンスモデルを組み合わせたハイブリッドモデルである。
  論文  参考訳（メタデータ） (2020-10-24T00:38:27Z)
• Evaluating Transformer-Based Multilingual Text Classification [55.53547556060537]
  我々は,NLPツールが構文的・形態学的に異なる言語で不平等に機能すると主張している。 実験研究を支援するために,単語順と形態的類似度指標を算出した。
  論文  参考訳（メタデータ） (2020-04-29T03:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。