論文の概要: Construction Grammar and Language Models

• arxiv url: http://arxiv.org/abs/2308.13315v1
• Date: Fri, 25 Aug 2023 11:37:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-28 14:09:11.016487
• Title: Construction Grammar and Language Models
• Title（参考訳）: 文法と言語モデルの構築
• Authors: Harish Tayyar Madabushi and Laurence Romain and Petar Milin and Dagmar Divjak
• Abstract要約: 近年のディープラーニングの進歩は、主にクローゼのようなタスクで訓練された強力なモデルを生み出している。 この章は、自然言語処理と構築文法の分野における研究者間のコラボレーションを促進することを目的としている。
• 参考スコア（独自算出の注目度）: 4.171555557592296
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent progress in deep learning and natural language processing has given rise to powerful models that are primarily trained on a cloze-like task and show some evidence of having access to substantial linguistic information, including some constructional knowledge. This groundbreaking discovery presents an exciting opportunity for a synergistic relationship between computational methods and Construction Grammar research. In this chapter, we explore three distinct approaches to the interplay between computational methods and Construction Grammar: (i) computational methods for text analysis, (ii) computational Construction Grammar, and (iii) deep learning models, with a particular focus on language models. We touch upon the first two approaches as a contextual foundation for the use of computational methods before providing an accessible, yet comprehensive overview of deep learning models, which also addresses reservations construction grammarians may have. Additionally, we delve into experiments that explore the emergence of constructionally relevant information within these models while also examining the aspects of Construction Grammar that may pose challenges for these models. This chapter aims to foster collaboration between researchers in the fields of natural language processing and Construction Grammar. By doing so, we hope to pave the way for new insights and advancements in both these fields.
• Abstract（参考訳）: 近年のディープラーニングと自然言語処理の進歩は、主にクローゼのようなタスクで訓練され、建設的な知識を含む重要な言語情報にアクセスできることを示す強力なモデルを生み出している。 この画期的な発見は、計算方法と建設文法研究の相乗的関係にエキサイティングな機会をもたらす。 本章では,計算手法と構成文法の相互作用に対する3つの異なるアプローチについて考察する。 (i)テキスト解析のための計算方法 (ii)計算構成文法、及び (iii)ディープラーニングモデル、特に言語モデルに焦点を当てた。 最初の2つのアプローチは、計算手法を使用するための文脈的基盤として、ディープラーニングモデルのアクセス可能で、かつ包括的な概要を提供する前に触れる。 さらに,これらのモデルにおける構築的関連情報の出現を探索する実験と,これらのモデルにとって課題となる構築文法の側面を考察する。 本章は自然言語処理と構築文法の分野の研究者間のコラボレーションを促進することを目的としている。 そうすることで、両方の分野で新たな洞察と進歩の道を開いたいと考えています。

関連論文リスト

• Finding Structure in Language Models [3.882018118763685]
  この論文は、言語モデルが人間のものと似た文法構造を深く理解しているかどうかに関するものである。 我々は,大規模言語モデルの複雑な性質の理解を深める新しい解釈可能性技術を開発する。
  論文  参考訳（メタデータ） (2024-11-25T14:37:24Z)
• The Computational Learning of Construction Grammars: State of the Art and Prospective Roadmap [2.287415292857564]
  本稿では,構成文法学習の計算モデルに関する技術の現状を文書化し,レビューする。 これまでに提案された様々な方法論と得られた成果を合成することを目的としている。
  論文  参考訳（メタデータ） (2024-07-10T12:45:02Z)
• Language Evolution with Deep Learning [49.879239655532324]
  計算モデリングは言語の出現の研究において重要な役割を担っている。 構造化言語の出現を誘発する可能性のある条件と学習プロセスをシミュレートすることを目的としている。 この章では、最近機械学習の分野に革命をもたらした別の種類の計算モデル、ディープ・ラーニング・モデルについて論じる。
  論文  参考訳（メタデータ） (2024-03-18T16:52:54Z)
• Learning Interpretable Concepts: Unifying Causal Representation Learning and Foundation Models [51.43538150982291]
  人間の解釈可能な概念をデータから学習する方法を研究する。 両分野からアイデアをまとめ、多様なデータから概念を確実に回収できることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:23:59Z)
• Language Models: A Guide for the Perplexed [51.88841610098437]
  このチュートリアルは、言語モデルを学ぶ人と、興味を持ち、もっと学びたいと思う人とのギャップを狭めることを目的としています。 実験を通して学ぶことができる質問に焦点を当てた科学的視点を提供する。 言語モデルは、現在、その開発に繋がる研究の文脈に置かれています。
  論文  参考訳（メタデータ） (2023-11-29T01:19:02Z)
• Construction Grammar and Artificial Intelligence [2.864550757598007]
  我々は,現代建築文法学者にとって,建設文法研究と人工知能研究の強い関係を深く理解することは有益であると主張する。 これらの関係は、人間のコミュニケーションや言語に対する共通の態度に根ざしていることを示す。 我々は、この関係の更なる解明が、建設文法の分野の将来を形作る上で重要な役割を果たしていると結論づける。
  論文  参考訳（メタデータ） (2023-08-31T21:15:06Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Probing via Prompting [71.7904179689271]
  本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。 我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。 次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
  論文  参考訳（メタデータ） (2022-07-04T22:14:40Z)
• Leveraging pre-trained language models for conversational information seeking from text [2.8425118603312]
  本稿では,プロセス記述文書から情報抽出の問題に対処するために,文脈内学習と事前学習言語表現モデルの使用について検討する。 その結果、このアプローチの可能性と、コンテキスト内学習のカスタマイズの有用性が浮き彫りになった。
  論文  参考訳（メタデータ） (2022-03-31T09:00:46Z)
• Combining pre-trained language models and structured knowledge [9.521634184008574]
  トランスフォーマーベースの言語モデルは、様々なNLPベンチマークにおいて、最先端の性能を実現している。 これらのモデルに知識グラフのような構造化情報を統合することは困難であることが証明されている。 構造化された知識を現在の言語モデルに統合し、課題を決定するための様々なアプローチについて検討し、構造化された情報ソースと非構造化された情報ソースの両方を活用する機会について検討する。
  論文  参考訳（メタデータ） (2021-01-28T21:54:03Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。