論文の概要: Reframing linguistic bootstrapping as joint inference using visually-grounded grammar induction models
- arxiv url: http://arxiv.org/abs/2406.11977v1
- Date: Mon, 17 Jun 2024 18:01:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-20 00:26:41.629549
- Title: Reframing linguistic bootstrapping as joint inference using visually-grounded grammar induction models
- Title（参考訳）: 視覚的文法誘導モデルを用いた共同推論としての言語ブートストラップ
- Authors: Eva Portelance, Siva Reddy, Timothy J. O'Donnell,
- Abstract要約: 意味的・統語的ブートストラッピング・ポジトリ(Semantic and Syntactic bootstrapping posit)とは、子供が特定の言語領域についての事前の知識、例えば構文的関係(syntactic relations)を使い、後に新しい単語の意味などの他の知識を取得する手助けをするものである。
ここでは、両者が、言語習得のためのより一般的な学習戦略である共同学習に固執していると論じる。
一連の視覚的文法帰納モデルを用いて,構文と意味が同時に学習された場合に,構文的および意味的ブートストラップ効果が最強であることが実証された。
- 参考スコア（独自算出の注目度）: 31.006803764376475
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semantic and syntactic bootstrapping posit that children use their prior knowledge of one linguistic domain, say syntactic relations, to help later acquire another, such as the meanings of new words. Empirical results supporting both theories may tempt us to believe that these are different learning strategies, where one may precede the other. Here, we argue that they are instead both contingent on a more general learning strategy for language acquisition: joint learning. Using a series of neural visually-grounded grammar induction models, we demonstrate that both syntactic and semantic bootstrapping effects are strongest when syntax and semantics are learnt simultaneously. Joint learning results in better grammar induction, realistic lexical category learning, and better interpretations of novel sentence and verb meanings. Joint learning makes language acquisition easier for learners by mutually constraining the hypotheses spaces for both syntax and semantics. Studying the dynamics of joint inference over many input sources and modalities represents an important new direction for language modeling and learning research in both cognitive sciences and AI, as it may help us explain how language can be acquired in more constrained learning settings.
- Abstract（参考訳）: 意味的・統語的ブートストラッピング・ポジトリ(Semantic and Syntactic bootstrapping posit)とは、子供が特定の言語領域についての事前の知識、例えば構文的関係(syntactic relations)を使い、後に新しい単語の意味などの他の知識を取得する手助けをするものである。
両理論を裏付ける実証的な結果は、これらが互いに先行する学習戦略であると考える誘惑を招きかねない。
ここでは、両者が言語習得のためのより一般的な学習戦略、すなわち共同学習に精通していると論じる。
一連の視覚的文法帰納モデルを用いて,構文と意味が同時に学習された場合に,構文的および意味的ブートストラップ効果が最強であることが実証された。
共同学習は、より良い文法誘導、現実的な語彙カテゴリー学習、新しい文と動詞の意味のより良い解釈をもたらす。
共同学習は、構文と意味論の両方の仮説空間を相互に制約することで、学習者にとって言語習得を容易にする。
多くの入力源とモダリティに対する共同推論のダイナミクスを研究することは、認知科学とAIの両方における言語モデリングと学習研究にとって重要な新しい方向性であり、より制約のある学習環境で言語をどのように獲得できるかを説明するのに役立つかもしれない。
関連論文リスト
- Learning Language Structures through Grounding [8.437466837766895]
言語構造を基礎として学習することを目的とした機械学習タスクのファミリーを考察する。
パートIでは,視覚的接地を通して構文解析を学習することを検討する。
第2部では文を対応する意味構造にマッピングする2つの実行対応手法を提案する。
パートIIIでは、他の言語のアノテーションから言語構造を学習する手法を提案する。
論文 参考訳（メタデータ） (2024-06-14T02:21:53Z) - Babysit A Language Model From Scratch: Interactive Language Learning by Trials and Demonstrations [15.394018604836774]
本稿では, 学生の試行, 教師のデモンストレーション, 言語能力に配慮した報酬の3つの要素を組み込んだTnD学習フレームワークを提案する。
実験の結果,TnD手法は等数あるいは少人数の学生モデルの単語獲得を促進させることがわかった。
この結果から,対話型言語学習は,教師による実演や学生の試行を通じて,言語モデルにおける効率的な単語学習を促進することが示唆された。
論文 参考訳（メタデータ） (2024-05-22T16:57:02Z) - Lexicon-Level Contrastive Visual-Grounding Improves Language Modeling [47.7950860342515]
LexiContrastive Grounding (LCG)は、視覚的監督を利用してテキスト表現を改善する言語学習手法である。
LCGは学習効率において標準言語のみのモデルより優れている。
CLIP、GIT、Flamingo、Vokenizationなど、視覚と言語による学習手順を改善する。
論文 参考訳（メタデータ） (2024-03-21T16:52:01Z) - Pixel Sentence Representation Learning [67.4775296225521]
本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。
タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。
我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
論文 参考訳（メタデータ） (2024-02-13T02:46:45Z) - Human Inspired Progressive Alignment and Comparative Learning for
Grounded Word Acquisition [6.47452771256903]
我々は、人間の赤ちゃんが最初の言語をどのように習得するかからインスピレーションを得て、比較学習を通じて単語獲得のための計算プロセスを開発した。
認知的発見を動機として,様々な属性の類似点と相違点を計算モデルで比較できる小さなデータセットを作成した。
我々は、単語の獲得を情報フィルタリングのプロセスだけでなく、表現-シンボルマッピングにもとづいている。
論文 参考訳（メタデータ） (2023-07-05T19:38:04Z) - BabySLM: language-acquisition-friendly benchmark of self-supervised
spoken language models [56.93604813379634]
音声表現を学習するための自己指導技術は、人間のラベルを必要とせずに、音声への露出から言語能力を高めることが示されている。
語彙および構文レベルで音声言語モデルを探索するために,言語習得に親しみやすいベンチマークを提案する。
テキストと音声のギャップを埋めることと、クリーンな音声とその内話のギャップを埋めることである。
論文 参考訳（メタデータ） (2023-06-02T12:54:38Z) - A Linguistic Investigation of Machine Learning based Contradiction
Detection Models: An Empirical Analysis and Future Perspectives [0.34998703934432673]
本稿では,2つの自然言語推論データセットについて,その言語的特徴について分析する。
目標は、特に機械学習モデルを理解するのが難しい、構文的および意味的特性を特定することである。
論文 参考訳（メタデータ） (2022-10-19T10:06:03Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - What Artificial Neural Networks Can Tell Us About Human Language
Acquisition [47.761188531404066]
自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。
計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
論文 参考訳（メタデータ） (2022-08-17T00:12:37Z) - Syntactic Persistence in Language Models: Priming as a Window into
Abstract Language Representations [0.38498574327875945]
本稿では,現代のニューラル言語モデルが統語的プライミングにどの程度影響するかについて検討する。
プライミング強度と相互作用する様々な言語要因を制御できる大規模コーパスであるPrime-LMを新たに導入する。
単語と意味の相違があるが,同じ構文構造を持つ複数の文をプライミングした場合,驚くほど強いプライミング効果が報告される。
論文 参考訳（メタデータ） (2021-09-30T10:38:38Z) - Where New Words Are Born: Distributional Semantic Analysis of Neologisms
and Their Semantic Neighborhoods [51.34667808471513]
分散意味論のパラダイムで定式化されたセマンティック隣人のセマンティック・スパシティと周波数成長率という2つの要因の重要性について検討する。
いずれの因子も単語の出現を予測できるが,後者の仮説はより支持される。
論文 参考訳（メタデータ） (2020-01-21T19:09:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。