論文の概要: Vector Space Morphology with Linear Discriminative Learning
- arxiv url: http://arxiv.org/abs/2107.03950v1
- Date: Thu, 8 Jul 2021 16:22:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-09 15:19:48.394490
- Title: Vector Space Morphology with Linear Discriminative Learning
- Title(参考訳): 線形判別学習によるベクトル空間形態
- Authors: Yu-Ying Chuang, Mihi Kang, Xuefeng Luo, R. Harald Baayen
- Abstract要約: 本稿では,線形識別学習(LDL)を用いた語彙処理のモデル化の3つの事例について述べる。
ワード形式と意味の数値表現により、LDLは、形態的構造や屈折クラスについて知らされることなく、あるベクトル空間を他方にマッピングすることを学ぶ。
モデル化の結果,LDLは形態学的に複雑な単語の理解や生成に優れるだけでなく,人間の行動データに対して予測可能な定量的尺度を生成することがわかった。
- 参考スコア(独自算出の注目度): 1.2043574473965317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents three case studies of modeling aspects of lexical
processing with Linear Discriminative Learning (LDL), the computational engine
of the Discriminative Lexicon model (Baayen et al., 2019). With numeric
representations of word forms and meanings, LDL learns to map one vector space
onto the other, without being informed about any morphological structure or
inflectional classes. The modeling results demonstrated that LDL not only
performs well for understanding and producing morphologically complex words,
but also generates quantitative measures that are predictive for human
behavioral data. LDL models are straightforward to implement with the JudiLing
package (Luo et al., 2021). Worked examples are provided for three modeling
challenges: producing and understanding Korean verb inflection, predicting
primed Dutch lexical decision latencies, and predicting the acoustic duration
of Mandarin words.
- Abstract(参考訳): 本稿では,線形識別学習(LDL)による語彙処理のモデル化を3つのケーススタディとして,識別的語彙モデル(Baayen et al., 2019)の計算エンジンについて述べる。
ワード形式と意味の数値表現により、LDLは、形態的構造や屈折クラスについて知らされることなく、あるベクトル空間を他方にマッピングすることを学ぶ。
モデル化の結果,LDLは形態学的に複雑な単語の理解や生成に優れるだけでなく,人間の行動データに対して予測可能な定量的尺度を生成することがわかった。
LDLモデルはJudiLingパッケージで簡単に実装できる(Luo et al., 2021)。
韓国語の動詞の屈折の生成と理解、オランダの初歩的な語彙決定の遅延の予測、マンダリン語の音響的持続時間予測の3つのモデル課題について検討した。
関連論文リスト
- On the Origins of Linear Representations in Large Language Models [51.88404605700344]
我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。
実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。
また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
論文 参考訳(メタデータ) (2024-03-06T17:17:36Z) - Probing Structured Semantics Understanding and Generation of Language
Models via Question Answering [56.610044062739256]
本研究では,人間が構築した形式言語を用いて質問応答のタスクにおいて,大規模言語モデルが構造化意味論に対処する能力について検討する。
異なる大きさのモデルと異なる形式言語を用いた実験は、今日の最先端のLLMの論理形式に対する理解が全体的な人間レベルにアプローチできることを示している。
結果は、モデルが異なる形式言語にかなり敏感であることを示している。
論文 参考訳(メタデータ) (2024-01-11T09:27:50Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳(メタデータ) (2023-09-29T17:57:00Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳(メタデータ) (2022-02-21T18:32:24Z) - Foundations of Symbolic Languages for Model Interpretability [2.3361634876233817]
本稿では,2種類のMLモデル上でのFOILクエリの計算複雑性について検討する。
本稿では,高レベルの宣言型言語でラップされたFOILのプロトタイプ実装について述べる。
論文 参考訳(メタデータ) (2021-10-05T21:56:52Z) - Modeling morphology with Linear Discriminative Learning: considerations
and design choices [1.3535770763481905]
本研究では,線形識別学習を用いて屈折形態をモデル化する際に生じる一連の方法論的問題に対処する。
形態の表現と意味がモデルパフォーマンスに与える影響について、どのように判断したかを説明する。
本稿では,文脈における単語の学習を近似するために,モデルをどのように設定するかについて議論する。
論文 参考訳(メタデータ) (2021-06-15T07:37:52Z) - Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。
我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。
実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
論文 参考訳(メタデータ) (2020-09-27T02:13:38Z) - Analysis of Predictive Coding Models for Phonemic Representation
Learning in Small Datasets [0.0]
本研究では,音素識別タスクにおける2つの予測符号化モデル,自動回帰予測符号化とコントラスト予測符号化の挙動について検討した。
実験の結果, 自己回帰損失と音素識別スコアとの間には, 強い相関関係が認められた。
CPCモデルは、トレーニングデータを渡した後既に急速に収束しており、平均すると、その表現は両方の言語でのAPCよりも優れています。
論文 参考訳(メタデータ) (2020-07-08T15:46:13Z) - Data Augmentation for Spoken Language Understanding via Pretrained
Language Models [113.56329266325902]
音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。
我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
論文 参考訳(メタデータ) (2020-04-29T04:07:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。