論文の概要: How Do Language Models Represent and Use Phonological Information for Allomorph Selection?

• arxiv url: http://arxiv.org/abs/2609.04708v1
• Date: Fri, 04 Sep 2026 04:28:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.908594
• Title: How Do Language Models Represent and Use Phonological Information for Allomorph Selection?
• Title（参考訳）: アロモルフィック選択において言語モデルは音韻情報をどのように表現し利用するか?
• Abstract要約: トリガトーケン埋め込みにおいて,音韻条件は単一の線形方向に沿って符号化されていることを示す。 そして、このルールのような一般化が、英語の記事選択を超えて拡張されるかどうかを問う。
• 参考スコア（独自算出の注目度）: 10.77848412647633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are trained on tokenized text that obscures the sound structure of words, yet they reliably produce morphemes whose form is phonologically conditioned. It remains unclear whether they rely on item-specific memorization or rule-like generalization and, if the latter, how that generalization is implemented. We therefore ask whether this phonological condition is represented within language models and how it is causally used for allomorph selection. For the English indefinite article a/an, we show that the phonological condition is encoded along a single linear direction in trigger-token embeddings, that this direction causally drives article selection in token-level wug tests, and that, at the article-prediction position, the model forecasts the upcoming trigger token and uses the forecasted trigger's phonological feature to choose the article. We then ask whether this rule-like generalization extends beyond English article selection, both to allomorph selection in other languages and to explicit phonological judgment. Together, these results provide a mechanistic account of phonologically conditioned allomorph selection in language models, and dissociate this generation-time ability from explicit metalinguistic judgments.
• Abstract（参考訳）: 言語モデルは、単語の音構造を曖昧にするトークン化されたテキストに基づいて訓練されるが、音韻的に条件付けられた形態素を確実に生成する。 アイテム固有の記憶やルールライクな一般化に依存しているか、そして後者がどう実装されているかは定かではない。 したがって、この音韻的条件が言語モデル内で表現されているのか、また、アロモルフィック選択にどのように因果的に使われているのかを問う。 英文不定記事a/anでは、トリガトーケン埋め込みにおける単一線形方向に沿って音韻条件が符号化され、この方向がトークンレベルのラグテストにおける物品選択を因果的に駆動し、記事予測位置において、モデルが次のトリガトークンを予測し、予測されたトリガの音韻特性を用いて記事を選択することを示す。 そして、この規則のような一般化が、他の言語におけるアロモルフィックの選択と明示的な音韻学的判断の両方に、英語の記事選択を超えて拡張するかどうかを問う。 これらの結果は、言語モデルにおける音韻的に条件付けられたアロモルフィック選択の力学的説明を提供し、この生成時の能力は、明示的な金属言語学的判断から解離する。

関連論文リスト

• Emergent morpho-phonological representations in self-supervised speech models [3.9374885962486172]
  本研究では,単語認識に最適化されたS3M変種が音韻的および形態学的現象をどう表すかを検討する。 それらの表現は、英語の名詞と動詞を通常の屈折形に結びつけるのに使用できる大域的な線形幾何を示す。
  論文  参考訳（メタデータ） (2025-09-26T22:16:35Z)
• A Variational Framework for Improving Naturalness in Generative Spoken Language Models [52.673912922590866]
  本稿では,連続した音声属性をエンコードして意味的トークンを拡張できるエンドツーエンドの変分手法を提案する。 提案手法は,手動によるパラ言語的特徴の抽出と選択の必要性を排除している。 ヒトの発声者に応じて、好意的な発話継続を生産する。
  論文  参考訳（メタデータ） (2025-06-17T17:58:17Z)
• Languages in Multilingual Speech Foundation Models Align Both Phonetically and Semantically [58.019484208091534]
  事前訓練された言語モデル(LM)における言語間アライメントは、テキストベースのLMの効率的な転送を可能にしている。 テキストに基づく言語間アライメントの発見と手法が音声に適用されるかどうかについては、未解決のままである。
  論文  参考訳（メタデータ） (2025-05-26T07:21:20Z)
• Probing Subphonemes in Morphology Models [3.937454839700144]
  音素を直接訓練したトランスフォーマーにおける音韻的特徴符号化の言語に依存しない探索手法を提案する。 音素の埋め込みにおいて,トルコ語における最終音素発声のような局所的な音韻的特徴がよく捉えられるのに対し,母音調和のような長距離依存は変圧器のエンコーダで表現されるのがよいことを示す。
  論文  参考訳（メタデータ） (2025-05-16T14:27:40Z)
• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• What Do Dialect Speakers Want? A Survey of Attitudes Towards Language Technology for German Dialects [60.8361859783634]
  我々はドイツ語に関連する方言と地域言語に関する話者を調査した。 回答者は特に、方言入力で動作する潜在的なNLPツールを好んでいる。
  論文  参考訳（メタデータ） (2024-02-19T09:15:28Z)
• Homophone Disambiguation Reveals Patterns of Context Mixing in Speech Transformers [12.44366147179659]
  そこで本研究では,テキストモデルのための"context-mixing"の尺度を,音声言語のモデルに適用し,適用する方法について検討する。 このようなケーススタディに理想的な言語現象であるフランス語のホモフォニーを同定する。 その結果,エンコーダのみのモデルにおける表現は,これらのキューを効果的に組み込んで正しい転写を識別するのに対し,エンコーダ-デコーダモデルのエンコーダは,主にデコーダモジュールへのコンテキスト依存を捕捉するタスクを緩和することがわかった。
  論文  参考訳（メタデータ） (2023-10-15T19:24:13Z)
• Morphological Inflection with Phonological Features [7.245355976804435]
  本研究は,形態素モデルがサブキャラクタの音韻的特徴にアクセスできる様々な方法で得られる性能への影響について検討する。 我々は、浅いグラフ-音素マッピングを持つ言語に対する言語固有の文法を用いて、標準グラフデータから音素データを抽出する。
  論文  参考訳（メタデータ） (2023-06-21T21:34:39Z)
• A unified one-shot prosody and speaker conversion system with self-supervised discrete speech units [94.64927912924087]
  既存のシステムは韻律と言語内容の相関を無視し、変換された音声の自然度を低下させる。 自己教師付き離散音声単位を言語表現として活用するカスケードモジュラーシステムを提案する。 実験により,本システムは,自然性,知性,話者伝達性,韻律伝達性において,従来の手法よりも優れていたことがわかった。
  論文  参考訳（メタデータ） (2022-11-12T00:54:09Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。