論文の概要: Construction Grammar Provides Unique Insight into Neural Language Models
- arxiv url: http://arxiv.org/abs/2302.02178v1
- Date: Sat, 4 Feb 2023 15:06:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 19:48:13.601329
- Title: Construction Grammar Provides Unique Insight into Neural Language Models
- Title(参考訳): 構築文法は、ニューラルネットワークモデルにユニークな洞察を与える
- Authors: Leonie Weissweiler, Taiqi He, Naoki Otani, David R. Mortensen, Lori
Levin, Hinrich Sch\"utze
- Abstract要約: 建設文法(CxG)は近年,探索研究の基盤として利用されている。
我々は、CxGを念頭に置いて設計されていない探索手法と、特定の構成のために設計された探索手法を考察する。
- 参考スコア(独自算出の注目度): 5.490290937593021
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Construction Grammar (CxG) has recently been used as the basis for probing
studies that have investigated the performance of large pretrained language
models (PLMs) with respect to the structure and meaning of constructions. In
this position paper, we make suggestions for the continuation and augmentation
of this line of research. We look at probing methodology that was not designed
with CxG in mind, as well as probing methodology that was designed for specific
constructions. We analyse selected previous work in detail, and provide our
view of the most important challenges and research questions that this
promising new field faces.
- Abstract(参考訳): 建設文法 (CxG) は, 大規模事前学習言語モデル (PLM) の性能を, 構造と意味に関して調査する研究の基盤として最近利用されている。
本稿では,本研究の継続と拡張について提案する。
我々は、CxGを念頭に置いて設計されていない探索手法と、特定の構成のために設計された探索手法を考察する。
我々は,過去の研究を詳細に分析し,この新たな分野が直面する最も重要な課題と研究課題について考察する。
関連論文リスト
- Structured Entity Extraction Using Large Language Models [54.53348483973769]
大規模言語モデル(LLM)は、構造化されていないテキストから構造化された情報を抽出する上で重要な役割を果たす。
本稿では,構造化エンティティ抽出における現行手法の課題と限界について考察する。
本研究では,LLMのパワーを有効・効率的に活用する新しいモデルを提案する。
論文 参考訳(メタデータ) (2024-02-06T22:15:09Z) - Large Language Models as Analogical Reasoners [155.9617224350088]
CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。
そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
論文 参考訳(メタデータ) (2023-10-03T00:57:26Z) - Construction Grammar and Language Models [4.171555557592296]
近年のディープラーニングの進歩は、主にクローゼのようなタスクで訓練された強力なモデルを生み出している。
この章は、自然言語処理と構築文法の分野における研究者間のコラボレーションを促進することを目的としている。
論文 参考訳(メタデータ) (2023-08-25T11:37:56Z) - Algorithmic Ghost in the Research Shell: Large Language Models and
Academic Knowledge Creation in Management Research [0.0]
本稿では,学術知識創造における大規模言語モデルの役割について考察する。
これには、書き込み、編集、レビュー、データセットの作成、キュレーションが含まれる。
論文 参考訳(メタデータ) (2023-03-10T14:25:29Z) - CALaMo: a Constructionist Assessment of Language Models [0.30458514384586405]
本稿では,構築者アプローチを用いたニューラル言語モデルの言語能力評価のための新しい枠組みを提案する。
使用法に基づくモデルは、ニューラルネットワークの根底にある哲学に沿うだけでなく、言語学者が分析において決定要因として意味を維持することもできる。
論文 参考訳(メタデータ) (2023-02-07T16:56:48Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳(メタデータ) (2022-10-26T13:27:26Z) - Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。
提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
論文 参考訳(メタデータ) (2022-09-20T09:16:05Z) - Probing via Prompting [71.7904179689271]
本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。
我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。
次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
論文 参考訳(メタデータ) (2022-07-04T22:14:40Z) - DeepStruct: Pretraining of Language Models for Structure Prediction [64.84144849119554]
テキストから構造を生成するために,タスクに依存しないコーパスの集合上で言語モデルを事前訓練する。
我々の構造事前学習は、モデルが構造タスクについて持っている学習知識のゼロショット転送を可能にする。
10Bパラメータ言語モデルがほとんどのタスクに非自明に転送し、28のデータセットのうち21の最先端のパフォーマンスを得ることを示す。
論文 参考訳(メタデータ) (2022-05-21T00:58:22Z) - Towards Understanding Large-Scale Discourse Structures in Pre-Trained
and Fine-Tuned Language Models [30.615883375573432]
本稿では,任意の長さの文書から談話構造を推定する新しい手法について述べる。
第2に,BERTモデルとBARTモデルにおいて,内在的談話がどの程度正確に捕捉されるかを明らかにするために,新しいタイプの分析手法を提案する。
生成した構造が,モデル内およびモデル間の分布だけでなく,さまざまなベースラインにどの程度類似しているかを評価する。
論文 参考訳(メタデータ) (2022-04-08T20:42:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。