Fugu-MT 論文翻訳(概要): Construction Grammar Provides Unique Insight into Neural Language Models

論文の概要: Construction Grammar Provides Unique Insight into Neural Language Models

arxiv url: http://arxiv.org/abs/2302.02178v1
Date: Sat, 4 Feb 2023 15:06:26 GMT
ステータス: 処理完了
システム内更新日: 2023-02-07 19:48:13.601329
Title: Construction Grammar Provides Unique Insight into Neural Language Models
Title（参考訳）: 構築文法は、ニューラルネットワークモデルにユニークな洞察を与える
Authors: Leonie Weissweiler, Taiqi He, Naoki Otani, David R. Mortensen, Lori Levin, Hinrich Sch\"utze
Abstract要約: 建設文法(CxG)は近年,探索研究の基盤として利用されている。我々は、CxGを念頭に置いて設計されていない探索手法と、特定の構成のために設計された探索手法を考察する。
参考スコア（独自算出の注目度）: 5.490290937593021
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Construction Grammar (CxG) has recently been used as the basis for probing studies that have investigated the performance of large pretrained language models (PLMs) with respect to the structure and meaning of constructions. In this position paper, we make suggestions for the continuation and augmentation of this line of research. We look at probing methodology that was not designed with CxG in mind, as well as probing methodology that was designed for specific constructions. We analyse selected previous work in detail, and provide our view of the most important challenges and research questions that this promising new field faces.
Abstract（参考訳）: 建設文法 (CxG) は, 大規模事前学習言語モデル (PLM) の性能を, 構造と意味に関して調査する研究の基盤として最近利用されている。本稿では,本研究の継続と拡張について提案する。我々は、CxGを念頭に置いて設計されていない探索手法と、特定の構成のために設計された探索手法を考察する。我々は,過去の研究を詳細に分析し,この新たな分野が直面する最も重要な課題と研究課題について考察する。

関連論文リスト

Exploring the Role of Reasoning Structures for Constructing Proofs in Multi-Step Natural Language Reasoning with Large Language Models [30.09120709652445]
本稿では,現在最先端のジェネラリスト LLM がいくつかの例でこれらの構造を活用でき,テキスト・コンテクスト・ラーニングによる証明構造をより良く構築できるかどうかという,焦点を絞った研究に焦点をあてる。
論文参考訳（メタデータ） (2024-10-11T00:45:50Z)
State-of-the-art Advances of Deep-learning Linguistic Steganalysis Research [6.99735992267331]
本研究は,既存のコントリビューションを包括的にレビューし,発達軌跡の評価を行う。まず、この分野とテキスト分類の領域の違いを比較しながら、言語ステガナリシスの一般式を公式化した。既存の研究をベクトル空間マッピングと特徴抽出モデルに基づいて2つのレベルに分類し,研究の動機,モデルの利点,その他の詳細を比較検討した。
論文参考訳（メタデータ） (2024-09-03T10:49:42Z)
Large Language Models as Analogical Reasoners [155.9617224350088]
CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
論文参考訳（メタデータ） (2023-10-03T00:57:26Z)
Construction Grammar and Language Models [4.171555557592296]
近年のディープラーニングの進歩は、主にクローゼのようなタスクで訓練された強力なモデルを生み出している。この章は、自然言語処理と構築文法の分野における研究者間のコラボレーションを促進することを目的としている。
論文参考訳（メタデータ） (2023-08-25T11:37:56Z)
Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
論文参考訳（メタデータ） (2023-05-23T04:28:16Z)
Algorithmic Ghost in the Research Shell: Large Language Models and Academic Knowledge Creation in Management Research [0.0]
本稿では,学術知識創造における大規模言語モデルの役割について考察する。これには、書き込み、編集、レビュー、データセットの作成、キュレーションが含まれる。
論文参考訳（メタデータ） (2023-03-10T14:25:29Z)
Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文参考訳（メタデータ） (2022-10-26T13:27:26Z)
Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
論文参考訳（メタデータ） (2022-09-20T09:16:05Z)
Probing via Prompting [71.7904179689271]
本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
論文参考訳（メタデータ） (2022-07-04T22:14:40Z)
DeepStruct: Pretraining of Language Models for Structure Prediction [64.84144849119554]
テキストから構造を生成するために,タスクに依存しないコーパスの集合上で言語モデルを事前訓練する。我々の構造事前学習は、モデルが構造タスクについて持っている学習知識のゼロショット転送を可能にする。 10Bパラメータ言語モデルがほとんどのタスクに非自明に転送し、28のデータセットのうち21の最先端のパフォーマンスを得ることを示す。
論文参考訳（メタデータ） (2022-05-21T00:58:22Z)
Towards Understanding Large-Scale Discourse Structures in Pre-Trained and Fine-Tuned Language Models [30.615883375573432]
本稿では,任意の長さの文書から談話構造を推定する新しい手法について述べる。第2に,BERTモデルとBARTモデルにおいて,内在的談話がどの程度正確に捕捉されるかを明らかにするために,新しいタイプの分析手法を提案する。生成した構造が,モデル内およびモデル間の分布だけでなく,さまざまなベースラインにどの程度類似しているかを評価する。
論文参考訳（メタデータ） (2022-04-08T20:42:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。