論文の概要: What makes Models Compositional? A Theoretical View: With Supplement
- arxiv url: http://arxiv.org/abs/2405.02350v1
- Date: Thu, 2 May 2024 20:10:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 20:29:40.607814
- Title: What makes Models Compositional? A Theoretical View: With Supplement
- Title（参考訳）: モデルが構成的になる理由 - 理論的考察-
- Authors: Parikshit Ram, Tim Klinger, Alexander G. Gray,
- Abstract要約: 本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。
既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
- 参考スコア（独自算出の注目度）: 60.284698521569936
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compositionality is thought to be a key component of language, and various compositional benchmarks have been developed to empirically probe the compositional generalization of existing sequence processing models. These benchmarks often highlight failures of existing models, but it is not clear why these models fail in this way. In this paper, we seek to theoretically understand the role the compositional structure of the models plays in these failures and how this structure relates to their expressivity and sample complexity. We propose a general neuro-symbolic definition of compositional functions and their compositional complexity. We then show how various existing general and special purpose sequence processing models (such as recurrent, convolution and attention-based ones) fit this definition and use it to analyze their compositional complexity. Finally, we provide theoretical guarantees for the expressivity and systematic generalization of compositional models that explicitly depend on our proposed definition and highlighting factors which drive poor empirical performance.
- Abstract（参考訳）: 構成性は言語の重要な構成要素と考えられており、既存のシーケンス処理モデルの合成一般化を実証的に研究するための様々な構成ベンチマークが開発されている。
これらのベンチマークは、しばしば既存のモデルの失敗をハイライトするが、なぜこの方法で失敗するのかは明らかではない。
本稿では,これらの失敗におけるモデルの構成構造の役割と,その表現性とサンプルの複雑さとの関連性について理論的に解明する。
本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。
次に、既存の汎用および特殊なシーケンス処理モデル(リカレント、畳み込み、アテンションベースなど)がこの定義にどのように適合するかを示し、それらの構成複雑性を分析する。
最後に、提案した定義に明示的に依存する構成モデルの表現性と体系的な一般化に関する理論的保証と、経験的性能を低下させる要因の強調を提供する。
関連論文リスト
- When does compositional structure yield compositional generalization? A kernel theory [0.0]
固定された潜在的非線形表現を持つカーネルモデルにおける合成一般化の理論を示す。
これらのモデルは、トレーニング中に見られたコンポーネントの結合/結合に割り当てられた値を追加するために機能的に制限されていることを示す。
我々は,この理論を実証的に検証し,一連の構成課題に基づいて訓練された深層ニューラルネットワークの挙動を捉えることを示した。
論文 参考訳（メタデータ） (2024-05-26T00:50:11Z) - SLOG: A Structural Generalization Benchmark for Semantic Parsing [68.19511282584304]
合成一般化ベンチマークの目的は、モデルがいかにして新しい複雑な言語表現に一般化するかを評価することである。
既存のベンチマークは、しばしば語彙一般化に焦点を当て、訓練に精通した構文構造における新しい語彙項目の解釈は、しばしば不足している。
SLOGは,COGSを拡張したセマンティック解析データセットである。
論文 参考訳（メタデータ） (2023-10-23T15:39:09Z) - Dynamic MOdularized Reasoning for Compositional Structured Explanation
Generation [29.16040150962427]
ニューラルネットワークの構成一般化を改善するために,動的モジュール化推論モデル MORSE を提案する。
MORSEは推論プロセスを、各モジュールが機能単位を表すモジュールの組み合わせに分解する。
MORSEの合成一般化能力をテストするため、2つのベンチマークで解析木の長さと形状を増大させる実験を行った。
論文 参考訳（メタデータ） (2023-09-14T11:40:30Z) - Compositional Generalisation with Structured Reordering and Fertility
Layers [121.37328648951993]
Seq2seqモデルは構成一般化に苦しむことが示されている。
本稿では、2つの構造演算を構成するフレキシブルなエンドツーエンドの微分可能なニューラルモデルを提案する。
論文 参考訳（メタデータ） (2022-10-06T19:51:31Z) - Compositional Generalization Requires Compositional Parsers [69.77216620997305]
直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。
構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
論文 参考訳（メタデータ） (2022-02-24T07:36:35Z) - Disentangled Sequence to Sequence Learning for Compositional
Generalization [62.954842223732435]
本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。
意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
論文 参考訳（メタデータ） (2021-10-09T22:27:19Z) - Compositional Generalization via Semantic Tagging [81.24269148865555]
本稿では,シーケンス・ツー・シーケンスモデルの表現性と一般性を保存するための新しいデコードフレームワークを提案する。
提案手法は, モデルアーキテクチャ, ドメイン, セマンティックフォーマリズム間の構成一般化を一貫して改善することを示す。
論文 参考訳（メタデータ） (2020-10-22T15:55:15Z) - A Study of Compositional Generalization in Neural Models [22.66002315559978]
本稿では,合成概念や関係概念から画像を生成するConceptWorldを紹介する。
我々は、合成論と関係を一般化する標準ニューラルネットワークの能力をテストする実験を行う。
単純な問題に対して、すべてのモデルは閉じた概念によく一般化するが、より長い構成的連鎖に苦しむ。
論文 参考訳（メタデータ） (2020-06-16T18:29:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。