論文の概要: Do RNN States Encode Abstract Phonological Processes?

• arxiv url: http://arxiv.org/abs/2104.00789v1
• Date: Thu, 1 Apr 2021 22:24:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 23:23:30.582769
• Title: Do RNN States Encode Abstract Phonological Processes?
• Title（参考訳）: RNNは抽象音韻過程を符号化しているか?
• Authors: Miikka Silfverberg, Francis Tyers, Garrett Nicolai, Mans Hulden
• Abstract要約: 連続列列モデルはしばしば17の異なる子音階調過程をRNNの少数の次元で符号化する。 また,これらの次元においてアクティベーションを拡大することにより,子音階調の発生と階調の方向を制御できることも示す。
• 参考スコア（独自算出の注目度）: 9.148410930089502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequence-to-sequence models have delivered impressive results in word formation tasks such as morphological inflection, often learning to model subtle morphophonological details with limited training data. Despite the performance, the opacity of neural models makes it difficult to determine whether complex generalizations are learned, or whether a kind of separate rote memorization of each morphophonological process takes place. To investigate whether complex alternations are simply memorized or whether there is some level of generalization across related sound changes in a sequence-to-sequence model, we perform several experiments on Finnish consonant gradation -- a complex set of sound changes triggered in some words by certain suffixes. We find that our models often -- though not always -- encode 17 different consonant gradation processes in a handful of dimensions in the RNN. We also show that by scaling the activations in these dimensions we can control whether consonant gradation occurs and the direction of the gradation.
• Abstract（参考訳）: シーケンシャル・ツー・シーケンスモデルは、形態素の屈折のような語形成タスクにおいて印象的な結果をもたらし、限られた訓練データで微妙な形態素学的な詳細をモデル化するためにしばしば学習している。 その性能にもかかわらず、神経モデルの不透明さは、複雑な一般化が学習されているか、あるいは形態素学的過程のある種の別々の暗記が起こっているかを決定するのを難しくする。 複雑な交替が単に記憶されているか、あるいは系列から系列へのモデルで関連する音変化にある程度の一般化があるかを調べるために、フィンランド子音階調についていくつかの実験を行い、ある単語で特定の接尾辞によって引き起こされる音変化の複雑な集合である。 我々のモデルは(必ずしもそうではないが)17の異なる子音階調過程をRNNの少数の次元で符号化することが多い。 また,これらの次元においてアクティベーションを拡大することにより,子音階調の発生と階調の方向を制御できることも示す。

関連論文リスト

• Sometimes I am a Tree: Data Drives Unstable Hierarchical Generalization [15.028208772567487]
  我々は、英語文法のケーススタディを用いて、OODを一般化するために、いかに複雑で多様なトレーニングデータがモデルを動かすかを探る。 これらの因子はニュアンス的であり、中間レベルの多様性と複雑性がランダムな種子間の不整合性に繋がることを示した。 本研究は, 一般化パターン形成におけるトレーニングデータの重要性を強調し, 競合するモデル戦略が無作為な種子に対して不整合な一般化結果をもたらすかを明らかにした。
  論文  参考訳（メタデータ） (2024-12-05T21:12:37Z)
• Frequency matters: Modeling irregular morphological patterns in Spanish with Transformers [0.8602553195689513]
  我々はスペイン語の動詞パラダイムに注目し、ある動詞は不規則なL字型パターンに従う。 変圧器モデルにおける正規パターンと不規則パターンの取得における入力周波数の役割について検討する。
  論文  参考訳（メタデータ） (2024-10-28T13:36:46Z)
• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty [67.81977289444677]
  大型言語モデル(LLM)は幻覚やシーケンスの繰り返しのような望ましくない振る舞いを示すことが多い。 転倒行動(シークエンス反復、退化テキスト、幻覚)を分類し、それらを広範囲に分析する。 我々の実験では、これらのすべての軸にまたがる、明確な、一貫したフォールバック動作の順序が明らかになりました。
  論文  参考訳（メタデータ） (2024-07-08T16:13:42Z)
• Morphological Inflection with Phonological Features [7.245355976804435]
  本研究は,形態素モデルがサブキャラクタの音韻的特徴にアクセスできる様々な方法で得られる性能への影響について検討する。 我々は、浅いグラフ-音素マッピングを持つ言語に対する言語固有の文法を用いて、標準グラフデータから音素データを抽出する。
  論文  参考訳（メタデータ） (2023-06-21T21:34:39Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Modelling Verbal Morphology in Nen [4.6877729174041605]
  我々は現在最先端の機械学習モデルを用いて形態的回帰を行い、Nen言語形態をモデル化する。 実験結果から, 動詞型の異なる分布は, 精度の異なるデータ構成に敏感であることがわかった。 また、同期のケーススタディを通じて、トレーニングデータから推測できるパターンの種類についても示す。
  論文  参考訳（メタデータ） (2020-11-30T01:22:05Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language? [41.649440404203595]
  本稿では,ニューラルネットワークが自然言語の単調推論の体系性を学習できるかどうかを評価する手法を提案する。 単調性推論の4つの側面を考察し、モデルが異なるトレーニング/テスト分割における語彙的および論理的現象を体系的に解釈できるかどうかを検証する。
  論文  参考訳（メタデータ） (2020-04-30T14:48:39Z)
• Consistency of a Recurrent Language Model With Respect to Incomplete Decoding [67.54760086239514]
  逐次言語モデルから無限長のシーケンスを受信する問題について検討する。 不整合に対処する2つの対策として、トップkと核サンプリングの一貫性のある変種と、自己終端の繰り返し言語モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-06T19:56:15Z)
• A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
  本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。 本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
  論文  参考訳（メタデータ） (2019-04-04T02:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。