論文の概要: Re-evaluating the Need for Multimodal Signals in Unsupervised Grammar Induction

• arxiv url: http://arxiv.org/abs/2212.10564v3
• Date: Fri, 12 Apr 2024 14:53:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 20:15:54.739137
• Title: Re-evaluating the Need for Multimodal Signals in Unsupervised Grammar Induction
• Title（参考訳）: 教師なし文法誘導におけるマルチモーダル信号の必要性の再評価
• Authors: Boyi Li, Rodolfo Corona, Karttikeya Mangalam, Catherine Chen, Daniel Flaherty, Serge Belongie, Kilian Q. Weinberger, Jitendra Malik, Trevor Darrell, Dan Klein,
• Abstract要約: 近年の研究では、マルチモーダルな学習インプットが文法誘導を改善することが示されている。 LC-PCFGと呼ぶ強力なテキストのみのベースラインを設計する。 LC-PCFGは、最先端のマルチモーダル文法誘導法と比較して最大17%改善したコーパスF1を提供する。
• 参考スコア（独自算出の注目度）: 119.07444667700473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Are multimodal inputs necessary for grammar induction? Recent work has shown that multimodal training inputs can improve grammar induction. However, these improvements are based on comparisons to weak text-only baselines that were trained on relatively little textual data. To determine whether multimodal inputs are needed in regimes with large amounts of textual training data, we design a stronger text-only baseline, which we refer to as LC-PCFG. LC-PCFG is a C-PFCG that incorporates em-beddings from text-only large language models (LLMs). We use a fixed grammar family to directly compare LC-PCFG to various multi-modal grammar induction methods. We compare performance on four benchmark datasets. LC-PCFG provides an up to 17% relative improvement in Corpus-F1 compared to state-of-the-art multimodal grammar induction methods. LC-PCFG is also more computationally efficient, providing an up to 85% reduction in parameter count and 8.8x reduction in training time compared to multimodal approaches. These results suggest that multimodal inputs may not be necessary for grammar induction, and emphasize the importance of strong vision-free baselines for evaluating the benefit of multimodal approaches.
• Abstract（参考訳）: 文法誘導にマルチモーダル入力は必要か? 近年の研究では、マルチモーダルな学習インプットが文法誘導を改善することが示されている。 しかし、これらの改善は、比較的小さなテキストデータに基づいてトレーニングされた弱いテキストのみのベースラインとの比較に基づいている。 大量のテキストトレーニングデータを持つ体制においてマルチモーダル入力が必要とされるかどうかを判断するために,LC-PCFGと呼ぶ,より強力なテキストのみのベースラインを設計する。 LC-PCFG(LC-PCFG)は、テキストのみの大規模言語モデル(LLM)の埋め込みを組み込んだC-PFCGである。 固定文法ファミリを用いてLC-PCFGと様々なマルチモーダル文法帰納法を直接比較する。 4つのベンチマークデータセットのパフォーマンスを比較します。 LC-PCFGは、最先端のマルチモーダル文法誘導法と比較して最大17%改善したコーパスF1を提供する。 LC-PCFGは、マルチモーダルアプローチと比較して最大85%のパラメータカウントと8.8倍のトレーニング時間を削減できる。 これらの結果から,マルチモーダル入力は文法帰納に必要ではない可能性が示唆され,多モーダルアプローチの利点を評価する上で,強い視覚自由ベースラインの重要性が強調された。

関連論文リスト

• What Differentiates Educational Literature? A Multimodal Fusion Approach of Transformers and Computational Linguistics [0.7342677574855649]
  英語カリキュラムへの新しい文学の統合は、様々な教室のニーズに対して、読みやすさとテキストの適応を迅速に評価するスケーラブルなツールがしばしば欠如しているため、依然として課題である。 本研究は,変圧器を用いたテキスト分類と言語的特徴分析を組み合わせたマルチモーダル手法により,このギャップに対処することを提案する。 提案手法は、ステークホルダーが対象とするWebアプリケーションにカプセル化され、非技術ステークホルダーが、テキストの複雑さ、読みやすさ、カリキュラムのアライメント、学習年齢範囲に関するリアルタイムな洞察にアクセスできるようにする。
  論文  参考訳（メタデータ） (2024-11-26T17:01:27Z)
• SelfSeg: A Self-supervised Sub-word Segmentation Method for Neural Machine Translation [51.881877192924414]
  サブワードセグメンテーションはニューラルマシン翻訳(NMT)に不可欠な前処理ステップである 本稿では,自己教師型ニューラルネットワークサブワードセグメンテーション手法であるSelfSegを紹介する。 SelfSegはトレーニング/デコードがはるかに高速で、並列コーパスの代わりに単言語辞書のみを必要とする。
  論文  参考訳（メタデータ） (2023-07-31T04:38:47Z)
• Prompt-Augmented Linear Probing: Scaling beyond the Limit of Few-shot In-Context Learners [25.262774179224945]
  本稿では,線形探索とインコンテクスト学習のハイブリッドであるPALP(Properced-augmented linear probing)を提案する。 PALPは、データハングリーシナリオにおけるICL間のギャップを閉じる入力表現と、トレーニングオーバーヘッドの少ないデータバウンダントシナリオにおける微調整を大幅に強化する。
  論文  参考訳（メタデータ） (2022-12-21T09:37:05Z)
• MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation [102.20036684996248]
  多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。 WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-16T17:36:23Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• ALP: Data Augmentation using Lexicalized PCFGs for Few-Shot Text Classification [11.742065170002162]
  Lexicalized Probabilistic context-free grammars (ALP) を用いたデータ拡張について述べる。 数ショットのテキスト分類タスクの実験は、ALPが多くの最先端の分類方法を強化することを示した。 我々は、従来のトレーニングと検証セットの分割は、我々の新しい拡張ベースの分割戦略と比較して、準最適であると実証的に主張する。
  論文  参考訳（メタデータ） (2021-12-16T09:56:35Z)
• Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
  本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。 実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-09-20T18:40:37Z)
• Multi-view Subword Regularization [111.04350390045705]
  マルチビューサブワード正規化(MVR)は、標準でトークン化された入力と確率的セグメンテーションとの整合性を強制する手法です。 XTREMEマルチ言語ベンチマークの結果は、MVRが標準セグメンテーションアルゴリズムよりも最大2.5ポイントの一貫性のある改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2021-03-15T16:07:42Z)
• Learning synchronous context-free grammars with multiple specialised non-terminals for hierarchical phrase-based translation [0.0]
  本稿では,初期非終端数の少ない同期文脈自由文法を学習する手法を提案する。 実験により、結果の小さな非終端集合が文脈情報を正しく捉えていることが示されている。
  論文  参考訳（メタデータ） (2020-04-03T08:09:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。