論文の概要: Modeling morphology with Linear Discriminative Learning: considerations and design choices

• arxiv url: http://arxiv.org/abs/2106.07936v1
• Date: Tue, 15 Jun 2021 07:37:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 02:37:49.611437
• Title: Modeling morphology with Linear Discriminative Learning: considerations and design choices
• Title（参考訳）: 線形判別学習によるモデル形態:考察と設計選択
• Authors: Maria Heitmeier, Yu-Ying Chuang, R. Harald Baayen
• Abstract要約: 本研究では,線形識別学習を用いて屈折形態をモデル化する際に生じる一連の方法論的問題に対処する。 形態の表現と意味がモデルパフォーマンスに与える影響について、どのように判断したかを説明する。 本稿では,文脈における単語の学習を近似するために,モデルをどのように設定するかについて議論する。
• 参考スコア（独自算出の注目度）: 1.3535770763481905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study addresses a series of methodological questions that arise when modeling inflectional morphology with Linear Discriminative Learning. Taking the semi-productive German noun system as example, we illustrate how decisions made about the representation of form and meaning influence model performance. We clarify that for modeling frequency effects in learning, it is essential to make use of incremental learning rather than the endstate of learning. We also discuss how the model can be set up to approximate the learning of inflected words in context. In addition, we illustrate how in this approach the wug task can be modeled in considerable detail. In general, the model provides an excellent memory for known words, but appropriately shows more limited performance for unseen data, in line with the semi-productivity of German noun inflection and generalization performance of native German speakers.
• Abstract（参考訳）: 本研究は,線形判別学習を用いた帰納的形態をモデル化する際に生じる一連の方法論的問題を扱う。 半生産的なドイツ語の名詞体系を例にとると、形式と意味の表現がモデルのパフォーマンスにどのように影響するかを示す。 学習の頻度効果をモデル化するには,学習のエンドステートよりもインクリメンタルな学習が不可欠であることを明らかにした。 また、文脈における屈折語学習を近似するためにモデルをどのように設定するかについても論じる。 さらに、このアプローチにおいて、wugタスクをかなり詳細にモデル化する方法について説明する。 一般に、このモデルは既知の単語に対して優れたメモリを提供するが、ドイツ語話者のドイツ語名詞の半生産性と一般化性能に応じて、見知らぬデータに対してより限られた性能を示す。

関連論文リスト

• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• On the Tip of the Tongue: Analyzing Conceptual Representation in Large Language Models with Reverse-Dictionary Probe [36.65834065044746]
  我々は、言語記述に暗示される対象概念の用語を生成するために、文脈内学習を用いてモデルを誘導する。 実験結果から,逆ディファレンシャルタスクによって探索された概念推論能力は,モデルの一般的な推論性能を予測することが示唆された。
  論文  参考訳（メタデータ） (2024-02-22T09:45:26Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Feature Interactions Reveal Linguistic Structure in Language Models [2.0178765779788495]
  本研究では,ポストホック解釈における特徴帰属手法の文脈における特徴的相互作用について検討した。 私たちは、正規言語分類タスクで完璧にモデルをトレーニングする灰色のボックスの方法論を開発します。 特定の構成下では、いくつかの手法が実際にモデルが獲得した文法規則を明らかにすることができることを示す。
  論文  参考訳（メタデータ） (2023-06-21T11:24:41Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• Under the Microscope: Interpreting Readability Assessment Models for Filipino [0.0]
  フィリピンにおける機械学習に基づく可読性評価モデルを,グローバルモデルとローカルモデルによる解釈によって識別する。 その結果,大域的解釈から上位特徴を学習したモデルを用いることで,スピアマン相関による特徴を用いたモデルよりも高い性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-10-01T01:27:10Z)
• Dissecting Generation Modes for Abstractive Summarization Models via Ablation and Attribution [34.2658286826597]
  本稿では,要約モデル決定を解釈する2段階の手法を提案する。 まず、各デコーダ決定を複数の生成モードの1つに分類するために、モデル全体を非難することでモデルの振舞いを解析する。 入力に依存する決定を分離した後、いくつかの異なる帰属法を用いてこれらの決定を解釈する。
  論文  参考訳（メタデータ） (2021-06-03T00:54:16Z)
• CausaLM: Causal Model Explanation Through Counterfactual Language Models [33.29636213961804]
  CausaLMは、対実言語表現モデルを用いた因果モデル説明を作成するためのフレームワークである。 本稿では,BERT のような言語表現モデルが,ある意味ある概念に対する対実表現を効果的に学習できることを示す。 本手法の副産物は,テストされた概念の影響を受けない言語表現モデルである。
  論文  参考訳（メタデータ） (2020-05-27T15:06:35Z)
• Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions [55.660255727031725]
  影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。 本稿では,代表課題における影響関数と共通単語順応法の比較を行う。 我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
  論文  参考訳（メタデータ） (2020-05-14T00:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。