論文の概要: Confounding Factors in Relating Model Performance to Morphology

• arxiv url: http://arxiv.org/abs/2511.01380v1
• Date: Mon, 03 Nov 2025 09:26:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.1992
• Title: Confounding Factors in Relating Model Performance to Morphology
• Title（参考訳）: モデル性能と形態学の関連要因
• Authors: Wessel Poelman, Thomas Bauwens, Miryam de Lhoneux,
• Abstract要約: 解析において,形態学が言語モデルにどう関係するか,どのように関係するか,という疑問に答えようとする要因を同定する。 本稿では,因果的言語モデリングの難易度を予測するために,トークン・ビッグラム・メトリックスを本質的な方法として導入する。
• 参考スコア（独自算出の注目度）: 8.325450847248467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The extent to which individual language characteristics influence tokenization and language modeling is an open question. Differences in morphological systems have been suggested as both unimportant and crucial to consider (Cotterell et al., 2018; Gerz et al., 2018a; Park et al., 2021, inter alia). We argue this conflicting evidence is due to confounding factors in experimental setups, making it hard to compare results and draw conclusions. We identify confounding factors in analyses trying to answer the question of whether, and how, morphology relates to language modeling. Next, we re-assess three hypotheses by Arnett & Bergen (2025) for why modeling agglutinative languages results in higher perplexities than fusional languages: they look at morphological alignment of tokenization, tokenization efficiency, and dataset size. We show that each conclusion includes confounding factors. Finally, we introduce token bigram metrics as an intrinsic way to predict the difficulty of causal language modeling, and find that they are gradient proxies for morphological complexity that do not require expert annotation. Ultimately, we outline necessities to reliably answer whether, and how, morphology relates to language modeling.
• Abstract（参考訳）: 個々の言語の特徴がトークン化や言語モデリングに影響を与える範囲は、オープンな問題である。 形態学的なシステムの違いは、考慮すべき重要でないことと重要でないことが示唆されている(Cotterell et al , 2018; Gerz et al , 2018a; Park et al , 2021, inter alia)。 この矛盾する証拠は、実験的なセットアップにおける要因の相違によるものであり、結果の比較や結論の導出が困難である、と我々は主張する。 解析において,形態学が言語モデルにどう関係するか,どのように関係するか,という疑問に答えようとする要因を同定する。 次に、Arnett & Bergen (2025) による3つの仮説を再評価し、凝集型言語をモデル化すると、融合型言語よりも複雑度が高くなる理由について、トークン化のモルフォロジー的アライメント、トークン化効率、データセットサイズについて考察する。 それぞれの結論は相反する要因を含むことを示す。 最後に,トークン・ビッグラム・メトリクスを因果的言語モデリングの難易度を予測する本質的な手法として導入し,それらが専門家のアノテーションを必要としない形態的複雑性の勾配プロキシであることを示す。 最終的に、形態学が言語モデリングと関連しているかどうか、そしてどのようにして、確実に答える必要があるかを概説する。

関連論文リスト

• Why do language models perform worse for morphologically complex languages? [0.913127392774573]
  凝集型言語と融合型言語のパフォーマンスギャップを示す新たな証拠が発見された。 この性能ギャップの原因として, トークン化剤の形態的アライメント, トークン化品質, データセットサイズと測定の差異の3つが考えられる。 以上の結果から,言語モデルが形態的類型学に基づいて学習することが困難あるいは容易な言語は存在しないことが示唆された。
  論文  参考訳（メタデータ） (2024-11-21T15:06:51Z)
• Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
  言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。 我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。 その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
  論文  参考訳（メタデータ） (2024-04-29T17:58:36Z)
• Cross-Lingual Transfer of Cognitive Processing Complexity [11.939409227407769]
  我々は,構造的複雑さの認知指標として,文レベルの視線追跡パターンを用いる。 マルチ言語モデル XLM-RoBERTa は,13言語に対して様々なパターンを予測できることを示す。
  論文  参考訳（メタデータ） (2023-02-24T15:48:23Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• Quantifying Synthesis and Fusion and their Impact on Machine Translation [79.61874492642691]
  自然言語処理(NLP)では、一般に、融合や凝集のような厳密な形態を持つ言語全体をラベル付けする。 本研究では,単語とセグメントレベルで形態型を定量化することにより,そのようなクレームの剛性を低減することを提案する。 本研究では, 英語, ドイツ語, トルコ語の非教師なし・教師付き形態素分割法について検討する一方, 融合ではスペイン語を用いた半自動手法を提案する。 そして、機械翻訳品質と単語(名詞と動詞)における合成・融合の程度との関係を分析する。
  論文  参考訳（メタデータ） (2022-05-06T17:04:58Z)
• Morphology Without Borders: Clause-Level Morphological Annotation [8.559428282730021]
  形態学を単語レベルではなく節レベルの現象と考えることを提案する。 我々は,英語,ドイツ語,トルコ語,ヘブライ語という4つの類型的に異なる言語を対象として,節レベルの形態に関する新しいデータセットを提供する。 実験の結果,節レベルタスクは各単語レベルタスクよりも格段に難しいが,言語間では同等に複雑であることがわかった。
  論文  参考訳（メタデータ） (2022-02-25T17:20:28Z)
• Morphology Matters: A Multilingual Language Modeling Analysis [8.791030561752384]
  先行研究では、言語のモデル化が難しくなるかどうかについては意見が一致していない。 我々は92の言語で145の聖書翻訳のより大きなコーパスをコンパイルし、多くの類型的特徴を蓄積する。 いくつかの形態学的測定は、LSTMモデルがBPEセグメントデータで訓練されると、より高い推定値と有意に関連します。
  論文  参考訳（メタデータ） (2020-12-11T11:55:55Z)
• A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
  本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。 本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
  論文  参考訳（メタデータ） (2019-04-04T02:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。