論文の概要: A Systematic Study of Compositional Syntactic Transformer Language Models

• arxiv url: http://arxiv.org/abs/2506.22978v1
• Date: Sat, 28 Jun 2025 18:32:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.656446
• Title: A Systematic Study of Compositional Syntactic Transformer Language Models
• Title（参考訳）: 合成構文変換言語モデルの体系的研究
• Authors: Yida Zhao, Hao Xve, Xiang Hu, Kewei Tu,
• Abstract要約: 本稿では,構成表現のボトムアップ構成を含む構成構文解析木に基づく合成SLMについて述べる。 既存の構成SLMにおける設計選択のキーとなる側面を特定し,既存モデルと新規モデルの両方を包含する統一フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 37.38087762297668
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Syntactic language models (SLMs) enhance Transformers by incorporating syntactic biases through the modeling of linearized syntactic parse trees alongside surface sentences. This paper focuses on compositional SLMs that are based on constituency parse trees and contain explicit bottom-up composition of constituent representations. We identify key aspects of design choices in existing compositional SLMs and propose a unified framework encompassing both existing models and novel variants. We conduct a comprehensive empirical evaluation of all the variants in our framework across language modeling, syntactic generalization, summarization, dialogue, and inference efficiency. Based on the experimental results, we make multiple recommendations on the design of compositional SLMs. Our code is released at https://github.com/zhaoyd1/compositional_SLMs.
• Abstract（参考訳）: 構文言語モデル(SLM)は、線形化構文解析木を表面文と共にモデル化することにより、構文バイアスを組み込むことでトランスフォーマーを強化する。 本稿では,構成表現のボトムアップ構成を含む構成構文解析木に基づく合成SLMについて述べる。 既存の構成SLMにおける設計選択のキーとなる側面を特定し,既存モデルと新規モデルの両方を包含する統一フレームワークを提案する。 我々は,言語モデリング,構文一般化,要約,対話,推論効率など,フレームワークのすべての変種を包括的に評価する。 実験結果に基づいて, 合成SLMの設計について複数の勧告を行う。 私たちのコードはhttps://github.com/zhaoyd1/compositional_SLMsでリリースされています。

関連論文リスト

• Consistency of Compositional Generalization across Multiple Levels [31.77432446850103]
  複数のレベルにまたがる一貫した構成一般化を実現するためのメタラーニングベースのフレームワークを提案する。 一貫性を定量的に評価するGQA-CCGデータセットを構築した。
  論文  参考訳（メタデータ） (2024-12-18T09:09:41Z)
• Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
  テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。 提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。 語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-11-04T06:07:53Z)
• Weak-to-Strong Compositional Learning from Generative Models for Language-based Object Detection [19.610781457283966]
  本稿では,言語に基づく物体検出において,視覚言語モデル(VL)の構成的理解を高める新しい手法を提案する。 我々のフレームワークは、画像ドメインとテキストドメインの両方で、密にペア化された正と負の三つ子(画像、テキスト記述、バウンディングボックス)を生成する。 本稿では,合成三重項の複雑な記述における意味や構造を発見するための,新しいコントラスト学習形式を提案する。
  論文  参考訳（メタデータ） (2024-07-21T23:43:24Z)
• Linguistic Structure Induction from Language Models [1.8130068086063336]
  この論文は、教師なし環境で言語モデル(LM)から選挙区構造と依存関係構造を生成することに焦点を当てている。 本稿では,エンコーダネットワークにトランスフォーマーアーキテクチャを組み込んだStructFormer(SF)について詳細に検討し,その構成と依存性について述べる。 この分野の課題を分析し、対処するための6つの実験を提示します。
  論文  参考訳（メタデータ） (2024-03-11T16:54:49Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• Syntax-guided Neural Module Distillation to Probe Compositionality in Sentence Embeddings [0.0]
  構文解析に基づいてニューラルモジュールネットを構築し,それをエンドツーエンドにトレーニングし,文の埋め込みを近似する。 各種文埋め込みモデルの蒸留性の違いは,その性能と大きく相関している。 文埋め込みモデルにおける多くの構文誘導合成が線形であることの予備的証拠である。
  論文  参考訳（メタデータ） (2023-01-21T19:42:02Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Compositional Generalization Requires Compositional Parsers [69.77216620997305]
  直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。 構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
  論文  参考訳（メタデータ） (2022-02-24T07:36:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。