論文の概要: A Vision-free Baseline for Multimodal Grammar Induction
- arxiv url: http://arxiv.org/abs/2212.10564v2
- Date: Tue, 31 Oct 2023 17:22:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 04:22:23.898860
- Title: A Vision-free Baseline for Multimodal Grammar Induction
- Title(参考訳): マルチモーダル文法誘導のためのビジョンフリーベースライン
- Authors: Boyi Li and Rodolfo Corona and Karttikeya Mangalam and Catherine Chen
and Daniel Flaherty and Serge Belongie and Kilian Q. Weinberger and Jitendra
Malik and Trevor Darrell and Dan Klein
- Abstract要約: テキストでのみ訓練された大規模言語モデル(LLM)の進歩が,マルチモーダル環境における文法誘導の強力な支援となるかを検討する。
テキストのみのアプローチであるLCMベースのC-PCFGは,従来のマルチモーダル手法よりも優れていた。
これらの結果は、テキストのみの言語モデルには、マルチモーダルな文脈における文法の帰納を支援する視覚的な接頭辞が含まれるかもしれないという概念を浮き彫りにした。
- 参考スコア(独自算出の注目度): 123.0364325619215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Past work has shown that paired vision-language signals substantially improve
grammar induction in multimodal datasets such as MSCOCO. We investigate whether
advancements in large language models (LLMs) that are only trained with text
could provide strong assistance for grammar induction in multimodal settings.
We find that our text-only approach, an LLM-based C-PCFG (LC-PCFG), outperforms
previous multi-modal methods, and achieves state-of-the-art grammar induction
performance for various multimodal datasets. Compared to image-aided grammar
induction, LC-PCFG outperforms the prior state-of-the-art by 7.9 Corpus-F1
points, with an 85% reduction in parameter count and 1.7x faster training
speed. Across three video-assisted grammar induction benchmarks, LC-PCFG
outperforms prior state-of-the-art by up to 7.7 Corpus-F1, with 8.8x faster
training. These results shed light on the notion that text-only language models
might include visually grounded cues that aid in grammar induction in
multimodal contexts. Moreover, our results emphasize the importance of
establishing a robust vision-free baseline when evaluating the benefit of
multimodal approaches.
- Abstract(参考訳): 過去の研究によると、MSCOCOのようなマルチモーダルデータセットにおけるペア視覚言語信号は文法誘導を大幅に改善している。
テキストでのみ訓練された大規模言語モデル(LLM)の進歩が,マルチモーダル環境における文法誘導の強力な支援となるかを検討する。
テキストのみのアプローチであるLC-PCFG(LC-PCFG)は,従来のマルチモーダル手法よりも優れ,様々なマルチモーダルデータセットに対して最先端の文法誘導性能を実現する。
LC-PCFGは画像支援文法帰納法と比較して、7.9コーパス-F1ポイントの先行状態を85%削減し、訓練速度は1.7倍に向上した。
3つのビデオ支援文法誘導ベンチマークでLC-PCFGは最先端の7.7 Corpus-F1を8.8倍高速化した。
これらの結果は、テキストのみの言語モデルには、マルチモーダルな文脈における文法の帰納を支援する視覚的な手がかりが含まれるかもしれないという概念に光を当てた。
さらに,マルチモーダルアプローチのメリットを評価する上で,堅牢なビジョンフリーなベースラインを確立することの重要性も強調する。
関連論文リスト
- Analyzing and Adapting Large Language Models for Few-Shot Multilingual
NLU: Are We There Yet? [82.02076369811402]
教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。
提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。
そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
論文 参考訳(メタデータ) (2024-03-04T10:48:13Z) - A Multi-level Supervised Contrastive Learning Framework for Low-Resource
Natural Language Inference [54.678516076366506]
自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。
本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-31T05:54:18Z) - Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。
実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
論文 参考訳(メタデータ) (2021-09-20T18:40:37Z) - ROSITA: Enhancing Vision-and-Language Semantic Alignments via Cross- and
Intra-modal Knowledge Integration [48.01536973731182]
ROSITAと呼ばれる新しい視覚・言語事前学習手法を提案する。
クロスモーダルとイントラモーダルの知識を統合されたシーングラフに統合し、セマンティックアライメントを強化する。
ROSITAは6つのベンチマークデータセット上での3つの典型的な視覚・言語タスクにおいて、既存の最先端メソッドを大幅に上回っている。
論文 参考訳(メタデータ) (2021-08-16T13:16:58Z) - Video-aided Unsupervised Grammar Induction [108.53765268059425]
ラベルのないテキストと対応するビデオの両方から構成を学習するビデオ支援文法インダクションについて検討する。
ビデオは、静的オブジェクトだけでなく、動詞句を誘導するのに有用なアクションや状態の変更を含む、さらに豊富な情報を提供します。
マルチモードコンパウンドPCFGモデル(MMC-PCFG)を提案し,これらの豊富な特徴を異なるモダリティから効果的に集約する。
論文 参考訳(メタデータ) (2021-04-09T14:01:36Z) - Learning synchronous context-free grammars with multiple specialised
non-terminals for hierarchical phrase-based translation [0.0]
本稿では,初期非終端数の少ない同期文脈自由文法を学習する手法を提案する。
実験により、結果の小さな非終端集合が文脈情報を正しく捉えていることが示されている。
論文 参考訳(メタデータ) (2020-04-03T08:09:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。