論文の概要: Probing Character-level Transformers for the Spanish L-shaped Morphome

• arxiv url: http://arxiv.org/abs/2608.03452v1
• Date: Tue, 04 Aug 2026 10:48:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.146096
• Title: Probing Character-level Transformers for the Spanish L-shaped Morphome
• Title（参考訳）: スペイン語L字型モーフォムのための文字レベル変換器の提案
• Abstract要約: 私たちのテストケースはスペイン語のemphL型形態素であり、動詞の幹が正確に1人称単数形と全助詞形で交互に変化する複雑な不規則なパターンである。 以前の研究では、キャラクターレベルのトランスフォーマーがこのパターンを再現できることが示されているが、その証拠はモデルが生成するものであって、表現するものではない。 モデルがL字型クラス自体をエンコードしていることを示す。
• 参考スコア（独自算出の注目度）: 7.353970093374431
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: When a transformer learns an irregular morphological pattern, what has it learned? Our test case is the Spanish \emph{L-shaped morphome}, a complex irregular pattern in which the verb's stem alternates in exactly the first-person singular indicative and all subjunctive forms, and whose membership no phonological, semantic, or syntactic feature predicts. Prior studies have shown that character-level transformers can reproduce this pattern, but that evidence describes what models produce, not what they represent. Probing five architectures, twelve trained models each, under lemma-disjoint cross-validation with controls and surface baselines, we show that the models encode the L-shaped class itself, not just its visible alternations. It is decodable above every surface baseline, survives instances in which every form shows the same stem, and probes trained on alternating instances still classify non-alternating ones. The encoding is localized where the stem choice is made, at the stem-final consonant position of the middle decoder, before the alternant is read. And it is item-specific: which verbs a model learned matters far more than which architecture it is. The models store the morphome as an item-specific lexical abstraction, sufficient to reproduce the pattern but not to generalize it as humans do.
• Abstract（参考訳）: 変圧器が不規則な形態パターンを学習すると、何を学んだのか? 我々のテストケースはスペイン語の「emph{L-shaped morphome」であり、動詞の語幹が正確に1人称単数形と全助詞形で交互に変化する複雑な不規則なパターンであり、音韻学的、意味的、統語的特徴が予測されない。 以前の研究では、キャラクタレベルのトランスフォーマーがこのパターンを再現できることが示されているが、その証拠はモデルが生成するものであって、表現するものではない。 5つのアーキテクチャ、12の訓練されたモデル、それぞれが制御と表面ベースラインを持つ補間非結合なクロスバリデーションの下で、モデルがL字型クラス自体をエンコードしていることを示す。 あらゆる表面ベースラインの上に退避可能であり、全ての形態が同じ茎を示すインスタンスを生き残り、交互に訓練されたプローブは相変わらず非交互に分類する。 エンコーディングは、中間復号器の幹終子音位置において、交替音を読み取る前に、ステム選択を行う位置でローカライズされる。 学習したモデルの動詞は、どのアーキテクチャよりもはるかに重要になります。 モデルは、形態素をアイテム固有の語彙抽象として保存し、パターンを再現するのに十分だが、人間のように一般化しない。

関連論文リスト

• Transducing Language Models [52.080921891265255]
  決定論的文字列から文字列への変換から導かれる言語モデルのためのフレームワークを提案する。 本研究では,FSTを用いた言語モデルを構成するアルゴリズムを開発した。 本稿では,正確なアルゴリズム,効率的な近似,理論的解析について述べる。
  論文  参考訳（メタデータ） (2026-03-05T14:04:08Z)
• A theoretical model of dynamical grammatical gender shifting based on set-valued set function [0.0]
  本研究は,名詞の多様な特徴について検討し,意味的(可算/非可算)と形態的(男性/女性)の区別に焦点をあてた。
  論文  参考訳（メタデータ） (2026-03-03T20:32:13Z)
• Character-aware Transformers Learn an Irregular Morphological Pattern Yet None Generalize Like Humans [8.033684021402165]
  エンコーダ・デコーダモデルが不規則なパターンを取得可能であることを示すが、それらが人間のようなパターンを一般化する証拠は混在している。 本研究では, スペイン語のemphL型形態素を用いて, 一人称単数指示詞のみがその茎をすべての部分接形と共有する。 いずれのモデルも人間のパターンを再現せず、統計的パターンの再現と形態的抽象化のギャップを浮き彫りにしている。
  論文  参考訳（メタデータ） (2026-02-15T11:22:12Z)
• Echoes of BERT: Do Modern Language Models Rediscover the Classical NLP Pipeline? [4.991808275998526]
  従来のBERTologyに基づいて、古典的アーキテクチャ(BERT, DeBERTa, GPT-2)から現代の大規模言語モデル(Pythia, OLMo-2, Gemma-2, Qwen2.5, Llama-3.1)にまたがる25のモデルを分析する。 階層的な組織は現代のモデルに留まり、初期レイヤは構文をキャプチャし、中間レイヤはセマンティクスとエンティティレベルの情報を扱い、後のレイヤは談話現象をエンコードしている。 語彙情報は初期層で直線的に集中するが、ネットワークでは非線形に深くなっているのに対して、屈折情報はすべての層で直線的にアクセス可能である。
  論文  参考訳（メタデータ） (2025-06-02T18:01:56Z)
• Frequency matters: Modeling irregular morphological patterns in Spanish with Transformers [0.8602553195689513]
  我々はスペイン語の動詞パラダイムに注目し、ある動詞は不規則なL字型パターンに従う。 変圧器モデルにおける正規パターンと不規則パターンの取得における入力周波数の役割について検討する。
  論文  参考訳（メタデータ） (2024-10-28T13:36:46Z)
• AWOL: Analysis WithOut synthesis using Language [57.31874938870305]
  言語を利用して既存の3次元形状モデルを制御し、新しい形状を作り出す。 トレーニング中に存在しない新しい動物をテキストで生成できることが示されています。 この研究は、3D木を生成するための最初の言語駆動の手法でもある。
  論文  参考訳（メタデータ） (2024-04-03T20:04:44Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Lexinvariant Language Models [84.2829117441298]
  離散語彙記号から連続ベクトルへの写像であるトークン埋め込みは、任意の言語モデル(LM)の中心にある 我々は、語彙記号に不変であり、したがって実際に固定トークン埋め込みを必要としないテクスチトレキシン変種モデルについて研究する。 十分長い文脈を条件として,レキシン変項LMは標準言語モデルに匹敵する難易度が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-24T19:10:46Z)
• Mapping of attention mechanisms to a generalized Potts model [50.91742043564049]
  ニューラルネットワークのトレーニングは、いわゆる擬似様相法によって逆ポッツ問題を解くのと全く同じであることを示す。 また、レプリカ法を用いてモデルシナリオにおける自己意図の一般化誤差を解析的に計算する。
  論文  参考訳（メタデータ） (2023-04-14T16:32:56Z)
• How do we get there? Evaluating transformer neural networks as cognitive models for English past tense inflection [0.0]
  私たちは、このタスクの振る舞いを調べるために、異なる設定のトランスフォーマーモデルセットをトレーニングします。 モデルの性能はタイプ周波数と比に大きく影響されるが、トークン周波数と比には影響しない。 変圧器モデルは動詞の規則性の抽象的なカテゴリについてある程度の学習レベルを示すが、その性能は人間のデータによく適合しない。
  論文  参考訳（メタデータ） (2022-10-17T15:13:35Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Linguistically inspired morphological inflection with a sequence to sequence model [19.892441884896893]
  我々の研究課題は、ニューラルネットワークが反射生成のための屈折形態を学習できるかどうかである。 我々は、この仮説をテストするために、屈折コーパスと単一の層Seq2seqモデルを使用している。 キャラクタ・ツー・キャラクタとインフレクションアフィクスをキャラクタブロックとして予測することにより,文字形態に基づくモデルでインフレクションを生成する。
  論文  参考訳（メタデータ） (2020-09-04T08:58:42Z)
• A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
  本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。 本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
  論文  参考訳（メタデータ） (2019-04-04T02:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。