論文の概要: Do RNN States Encode Abstract Phonological Processes?

• arxiv url: http://arxiv.org/abs/2104.00789v1
• Date: Thu, 1 Apr 2021 22:24:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 23:23:30.582769
• Title: Do RNN States Encode Abstract Phonological Processes?
• Title（参考訳）: RNNは抽象音韻過程を符号化しているか?
• Authors: Miikka Silfverberg, Francis Tyers, Garrett Nicolai, Mans Hulden
• Abstract要約: 連続列列モデルはしばしば17の異なる子音階調過程をRNNの少数の次元で符号化する。 また,これらの次元においてアクティベーションを拡大することにより,子音階調の発生と階調の方向を制御できることも示す。
• 参考スコア（独自算出の注目度）: 9.148410930089502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequence-to-sequence models have delivered impressive results in word formation tasks such as morphological inflection, often learning to model subtle morphophonological details with limited training data. Despite the performance, the opacity of neural models makes it difficult to determine whether complex generalizations are learned, or whether a kind of separate rote memorization of each morphophonological process takes place. To investigate whether complex alternations are simply memorized or whether there is some level of generalization across related sound changes in a sequence-to-sequence model, we perform several experiments on Finnish consonant gradation -- a complex set of sound changes triggered in some words by certain suffixes. We find that our models often -- though not always -- encode 17 different consonant gradation processes in a handful of dimensions in the RNN. We also show that by scaling the activations in these dimensions we can control whether consonant gradation occurs and the direction of the gradation.
• Abstract（参考訳）: シーケンシャル・ツー・シーケンスモデルは、形態素の屈折のような語形成タスクにおいて印象的な結果をもたらし、限られた訓練データで微妙な形態素学的な詳細をモデル化するためにしばしば学習している。 その性能にもかかわらず、神経モデルの不透明さは、複雑な一般化が学習されているか、あるいは形態素学的過程のある種の別々の暗記が起こっているかを決定するのを難しくする。 複雑な交替が単に記憶されているか、あるいは系列から系列へのモデルで関連する音変化にある程度の一般化があるかを調べるために、フィンランド子音階調についていくつかの実験を行い、ある単語で特定の接尾辞によって引き起こされる音変化の複雑な集合である。 我々のモデルは(必ずしもそうではないが)17の異なる子音階調過程をRNNの少数の次元で符号化することが多い。 また,これらの次元においてアクティベーションを拡大することにより,子音階調の発生と階調の方向を制御できることも示す。

関連論文リスト

• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• Morphological Inflection with Phonological Features [7.245355976804435]
  本研究は,形態素モデルがサブキャラクタの音韻的特徴にアクセスできる様々な方法で得られる性能への影響について検討する。 我々は、浅いグラフ-音素マッピングを持つ言語に対する言語固有の文法を用いて、標準グラフデータから音素データを抽出する。
  論文  参考訳（メタデータ） (2023-06-21T21:34:39Z)
• Memorization-Dilation: Modeling Neural Collapse Under Label Noise [10.134749691813344]
  ディープニューラルネットワークをトレーニングする最終フェーズでは、同じクラスのすべての例の特徴埋め込みが単一の表現に崩壊する傾向にある。 経験的証拠は、ノイズのあるデータポイントの記憶が神経崩壊の劣化(拡散)を引き起こすことを示唆している。 実験により, ラベルの平滑化が正規化効果を生み出すために経験的に観察された交叉エントロピーの修正が, 分類タスクの一般化に繋がることを示す。
  論文  参考訳（メタデータ） (2022-06-11T13:40:37Z)
• Can a Transformer Pass the Wug Test? Tuning Copying Bias in Neural Morphological Inflection Models [9.95909045828344]
  より効果的にするためには、幻覚過程は個々の文字や幹よりも音節のような長さに注意を払う必要がある。 トレーニングデータとテストデータが補題に重複しない場合に、従来のデータ幻覚法よりも幻覚モデルで有意なパフォーマンス改善を報告します。
  論文  参考訳（メタデータ） (2021-04-13T19:51:21Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Modelling Verbal Morphology in Nen [4.6877729174041605]
  我々は現在最先端の機械学習モデルを用いて形態的回帰を行い、Nen言語形態をモデル化する。 実験結果から, 動詞型の異なる分布は, 精度の異なるデータ構成に敏感であることがわかった。 また、同期のケーススタディを通じて、トレーニングデータから推測できるパターンの種類についても示す。
  論文  参考訳（メタデータ） (2020-11-30T01:22:05Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language? [41.649440404203595]
  本稿では,ニューラルネットワークが自然言語の単調推論の体系性を学習できるかどうかを評価する手法を提案する。 単調性推論の4つの側面を考察し、モデルが異なるトレーニング/テスト分割における語彙的および論理的現象を体系的に解釈できるかどうかを検証する。
  論文  参考訳（メタデータ） (2020-04-30T14:48:39Z)
• Consistency of a Recurrent Language Model With Respect to Incomplete Decoding [67.54760086239514]
  逐次言語モデルから無限長のシーケンスを受信する問題について検討する。 不整合に対処する2つの対策として、トップkと核サンプリングの一貫性のある変種と、自己終端の繰り返し言語モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-06T19:56:15Z)
• A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
  本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。 本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
  論文  参考訳（メタデータ） (2019-04-04T02:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。