Fugu-MT 論文翻訳(概要): Language Models Use Monotonicity to Assess NPI Licensing

論文の概要: Language Models Use Monotonicity to Assess NPI Licensing

arxiv url: http://arxiv.org/abs/2105.13818v1
Date: Fri, 28 May 2021 13:32:00 GMT
ステータス: 処理完了
システム内更新日: 2021-05-31 17:03:00.646537
Title: Language Models Use Monotonicity to Assess NPI Licensing
Title（参考訳）: NPIライセンス評価にモノトニック性を使用する言語モデル
Authors: Jaap Jumelet, Milica Deni\'c, Jakub Szymanik, Dieuwke Hupkes, Shane Steinert-Threlkeld
Abstract要約: 言語モデル(LM)の意味的知識について検討する。本研究は、これらのLMが意味的単調性特性に基づいて言語環境のカテゴリを作成するかどうか、およびこれらのカテゴリが人間の言語理解と同様の役割を担っているかどうかに焦点を当てる。
参考スコア（独自算出の注目度）: 8.856422030608188
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We investigate the semantic knowledge of language models (LMs), focusing on (1) whether these LMs create categories of linguistic environments based on their semantic monotonicity properties, and (2) whether these categories play a similar role in LMs as in human language understanding, using negative polarity item licensing as a case study. We introduce a series of experiments consisting of probing with diagnostic classifiers (DCs), linguistic acceptability tasks, as well as a novel DC ranking method that tightly connects the probing results to the inner workings of the LM. By applying our experimental pipeline to LMs trained on various filtered corpora, we are able to gain stronger insights into the semantic generalizations that are acquired by these models.
Abstract（参考訳）: 言語モデル (LM) の意味的知識について検討し,(1) 言語モデルが意味的単調性特性に基づいて言語環境のカテゴリを作成するか否か,(2) 言語理解において,負極性項目のライセンスを事例として,これらのカテゴリが人間の言語理解に類似した役割を担っているかを検討する。診断分類器 (DC) を用いた探索, 言語受容性タスク, および探索結果をLMの内部動作に密に結合する新しいDCランキング手法を紹介する。実験パイプラインを様々なフィルタコーパスで訓練したLMに適用することにより、これらのモデルによって得られる意味一般化についてより深い知見を得ることができる。

関連論文リスト

Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
論文参考訳（メタデータ） (2024-11-12T04:16:44Z)
From Babbling to Fluency: Evaluating the Evolution of Language Models in Terms of Human Language Acquisition [6.617999710257379]
本稿では,LMの能力を評価するための3段階のフレームワークを提案する。言語研究の手法を用いて, LMの生成能力を評価する。
論文参考訳（メタデータ） (2024-10-17T06:31:49Z)
Effective Demonstration Annotation for In-Context Learning via Language Model-Based Determinantal Point Process [45.632012199451275]
In-context Learning(ICL)は、インプット・アウトプット・ペアを通じてマッピングを学習する、数発の学習パラダイムである。既存の作業は大規模にラベル付けされたサポートセットに大きく依存しているため、現実的なシナリオでは必ずしも実現できない。言語モデルに基づく決定点プロセス(LM-DPP)を導入し、最適選択のための未ラベルインスタンスの不確かさと多様性を同時に検討する。
論文参考訳（メタデータ） (2024-08-04T18:08:15Z)
Interpretability of Language Models via Task Spaces [14.543168558734001]
本稿では,解釈言語モデル (LM) の代替手法を提案する。我々は、LM処理の品質に焦点を合わせ、言語能力に焦点をあてる。言語現象間の関係を照らす「言語的タスク空間」を構築した。
論文参考訳（メタデータ） (2024-06-10T16:34:30Z)
Filtered Corpus Training (FiCT) Shows that Language Models can Generalize from Indirect Evidence [5.597365985417171]
本稿では,特定の言語構造をフィルタリングしてコーパス上で言語モデル(LM)を訓練するフィルタコーパストレーニングを紹介する。本手法をLSTMとTransformer LMの両方に適用し,幅広い言語現象を対象とするフィルタコーパスを開発した。以上の結果から,トランスフォーマーは(パープレキシティによって測定されるように)準LMよりも優れているが,両モデルとも言語一般化対策において等しく,驚くほどよく機能することがわかった。
論文参考訳（メタデータ） (2024-05-24T17:47:20Z)
Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
論文参考訳（メタデータ） (2024-04-29T17:58:36Z)
Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文参考訳（メタデータ） (2024-02-28T04:56:21Z)
Evaluating Neural Language Models as Cognitive Models of Language Acquisition [4.779196219827507]
我々は、ニューラルネットワークモデルの構文能力を評価するための最も顕著なベンチマークは、十分に厳密でないかもしれないと論じる。小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。子どもの言語習得に関する実証的研究と、LMをよりよく結びつけるための提案をまとめて締めくくった。
論文参考訳（メタデータ） (2023-10-31T00:16:17Z)
Language models are not naysayers: An analysis of language models on negation benchmarks [58.32362243122714]
我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。 LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
論文参考訳（メタデータ） (2023-06-14T01:16:37Z)
Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。モデルはこれらの評価セットに対して中程度から低い性能を示す。
論文参考訳（メタデータ） (2023-05-24T06:41:09Z)
Augmented Language Models: a Survey [55.965967655575454]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文参考訳（メタデータ） (2023-02-15T18:25:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。