論文の概要: Does unsupervised grammar induction need pixels?

• arxiv url: http://arxiv.org/abs/2212.10564v1
• Date: Tue, 20 Dec 2022 18:59:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 13:33:39.052103
• Title: Does unsupervised grammar induction need pixels?
• Title（参考訳）: 教師なし文法誘導には画素が必要か?
• Authors: Boyi Li and Rodolfo Corona and Karttikeya Mangalam and Catherine Chen and Daniel Flaherty and Serge Belongie and Kilian Q. Weinberger and Jitendra Malik and Trevor Darrell and Dan Klein
• Abstract要約: LLMに基づくC-PCFGは、教師なし選挙区解析のタスクにおいて、従来のマルチモーダル手法よりも優れていた。 LC-PCFGはパラメータ数を50%以上削減し、画像支援モデルでは1.7倍、ビデオ支援モデルでは5倍以上のトレーニング時間を高速化する。
• 参考スコア（独自算出の注目度）: 122.93595142431153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Are extralinguistic signals such as image pixels crucial for inducing constituency grammars? While past work has shown substantial gains from multimodal cues, we investigate whether such gains persist in the presence of rich information from large language models (LLMs). We find that our approach, LLM-based C-PCFG (LC-PCFG), outperforms previous multi-modal methods on the task of unsupervised constituency parsing, achieving state-of-the-art performance on a variety of datasets. Moreover, LC-PCFG results in an over 50% reduction in parameter count, and speedups in training time of 1.7x for image-aided models and more than 5x for video-aided models, respectively. These results challenge the notion that extralinguistic signals such as image pixels are needed for unsupervised grammar induction, and point to the need for better text-only baselines in evaluating the need of multi-modality for the task.
• Abstract（参考訳）: 画像画素などの言語外信号は構成文法の誘導に不可欠か? 過去の研究はマルチモーダルな手がかりからかなりの利益を得ているが、そのような成果が大規模言語モデル(LLM)からの豊富な情報の存在に持続するかどうかを考察する。 LLMに基づくC-PCFG (LC-PCFG) は、教師なし選挙区解析のタスクにおいて従来のマルチモーダル手法よりも優れ、様々なデータセット上で最先端の性能を達成する。 さらに、LC-PCFGはパラメータ数を50%以上削減し、画像支援モデルでは1.7倍、ビデオ支援モデルでは5倍以上のトレーニング時間を高速化する。 これらの結果は、教師なし文法誘導には画像画素などの外部言語信号が必要であるという考えに挑戦し、タスクに対するマルチモーダル性の必要性を評価する上で、テキストのみのベースラインの改善の必要性を指摘する。

関連論文リスト

• What Differentiates Educational Literature? A Multimodal Fusion Approach of Transformers and Computational Linguistics [0.7342677574855649]
  英語カリキュラムへの新しい文学の統合は、様々な教室のニーズに対して、読みやすさとテキストの適応を迅速に評価するスケーラブルなツールがしばしば欠如しているため、依然として課題である。 本研究は,変圧器を用いたテキスト分類と言語的特徴分析を組み合わせたマルチモーダル手法により,このギャップに対処することを提案する。 提案手法は、ステークホルダーが対象とするWebアプリケーションにカプセル化され、非技術ステークホルダーが、テキストの複雑さ、読みやすさ、カリキュラムのアライメント、学習年齢範囲に関するリアルタイムな洞察にアクセスできるようにする。
  論文  参考訳（メタデータ） (2024-11-26T17:01:27Z)
• SelfSeg: A Self-supervised Sub-word Segmentation Method for Neural Machine Translation [51.881877192924414]
  サブワードセグメンテーションはニューラルマシン翻訳(NMT)に不可欠な前処理ステップである 本稿では,自己教師型ニューラルネットワークサブワードセグメンテーション手法であるSelfSegを紹介する。 SelfSegはトレーニング/デコードがはるかに高速で、並列コーパスの代わりに単言語辞書のみを必要とする。
  論文  参考訳（メタデータ） (2023-07-31T04:38:47Z)
• Prompt-Augmented Linear Probing: Scaling beyond the Limit of Few-shot In-Context Learners [25.262774179224945]
  本稿では,線形探索とインコンテクスト学習のハイブリッドであるPALP(Properced-augmented linear probing)を提案する。 PALPは、データハングリーシナリオにおけるICL間のギャップを閉じる入力表現と、トレーニングオーバーヘッドの少ないデータバウンダントシナリオにおける微調整を大幅に強化する。
  論文  参考訳（メタデータ） (2022-12-21T09:37:05Z)
• MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation [102.20036684996248]
  多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。 WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-16T17:36:23Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• ALP: Data Augmentation using Lexicalized PCFGs for Few-Shot Text Classification [11.742065170002162]
  Lexicalized Probabilistic context-free grammars (ALP) を用いたデータ拡張について述べる。 数ショットのテキスト分類タスクの実験は、ALPが多くの最先端の分類方法を強化することを示した。 我々は、従来のトレーニングと検証セットの分割は、我々の新しい拡張ベースの分割戦略と比較して、準最適であると実証的に主張する。
  論文  参考訳（メタデータ） (2021-12-16T09:56:35Z)
• Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
  本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。 実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-09-20T18:40:37Z)
• Multi-view Subword Regularization [111.04350390045705]
  マルチビューサブワード正規化(MVR)は、標準でトークン化された入力と確率的セグメンテーションとの整合性を強制する手法です。 XTREMEマルチ言語ベンチマークの結果は、MVRが標準セグメンテーションアルゴリズムよりも最大2.5ポイントの一貫性のある改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2021-03-15T16:07:42Z)
• Learning synchronous context-free grammars with multiple specialised non-terminals for hierarchical phrase-based translation [0.0]
  本稿では,初期非終端数の少ない同期文脈自由文法を学習する手法を提案する。 実験により、結果の小さな非終端集合が文脈情報を正しく捉えていることが示されている。
  論文  参考訳（メタデータ） (2020-04-03T08:09:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。