論文の概要: On the Interplay between Positional Encodings, Morphological Complexity, and Word Order Flexibility

• arxiv url: http://arxiv.org/abs/2511.08139v1
• Date: Wed, 12 Nov 2025 01:42:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.661682
• Title: On the Interplay between Positional Encodings, Morphological Complexity, and Word Order Flexibility
• Title（参考訳）: 位置エンコーディング, 形態的複雑度, 単語順フレキシビリティの相互作用について
• Authors: Kushal Tatariya, Wessel Poelman, Miryam de Lhoneux,
• Abstract要約: 位置エンコーディングは、トレードオフ仮説の影響を調査するための直接的なターゲットである。 従来の知見とは対照的に、位置エンコーディングと形態的複雑性や単語順序の柔軟性との明確な相互作用は観察できない。 この結果から,タスクや言語,メトリクスの選択は,安定した結論を導き出す上で不可欠であることが示唆された。
• 参考スコア（独自算出の注目度）: 5.521655731616328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language model architectures are predominantly first created for English and subsequently applied to other languages. It is an open question whether this architectural bias leads to degraded performance for languages that are structurally different from English. We examine one specific architectural choice: positional encodings, through the lens of the trade-off hypothesis: the supposed interplay between morphological complexity and word order flexibility. This hypothesis posits a trade-off between the two: a more morphologically complex language can have a more flexible word order, and vice-versa. Positional encodings are a direct target to investigate the implications of this hypothesis in relation to language modelling. We pretrain monolingual model variants with absolute, relative, and no positional encodings for seven typologically diverse languages and evaluate them on four downstream tasks. Contrary to previous findings, we do not observe a clear interaction between position encodings and morphological complexity or word order flexibility, as measured by various proxies. Our results show that the choice of tasks, languages, and metrics are essential for drawing stable conclusions
• Abstract（参考訳）: 言語モデルアーキテクチャは主に英語向けに作成され、その後他の言語にも適用される。 このアーキテクチャバイアスが、構造的に英語と異なる言語の性能低下につながるかどうかは、明らかな問題である。 位置エンコーディングをトレードオフ仮説のレンズを通して,形態的複雑性と単語順序の柔軟性の相互作用を仮定したアーキテクチャ選択について検討する。 この仮説は、より形態学的に複雑な言語はより柔軟な語順を持つことができ、その逆は逆である。 位置エンコーディングは、言語モデリングに関連して、この仮説の意味を調査するための直接的なターゲットである。 我々は, 絶対, 相対的, 位置エンコーディングのない単言語モデル変種を7言語に事前学習し, 4つの下流タスクで評価した。 従来の知見とは対照的に,様々なプロキシによって測定された位置エンコーディングと形態的複雑性や語順の柔軟性との明確な相互作用は観察されていない。 この結果から,タスク,言語,メトリクスの選択は,安定した結論の導出に不可欠であることが示唆された。

関連論文リスト

• A Morphology-Based Investigation of Positional Encodings [46.667985003225496]
  形態と語順は密接に結びついており、後者は位置符号化によってトランスフォーマーモデルに組み込まれている。 言語の形態的複雑さと、事前訓練された言語モデルにおける位置エンコーディングの利用との間には相関があるのだろうか? 本研究は,22の言語と5の下流タスクを対象とする,この問題に対処する最初の研究である。
  論文  参考訳（メタデータ） (2024-04-06T07:10:47Z)
• Cross-Lingual Transfer of Cognitive Processing Complexity [11.939409227407769]
  我々は,構造的複雑さの認知指標として,文レベルの視線追跡パターンを用いる。 マルチ言語モデル XLM-RoBERTa は,13言語に対して様々なパターンを予測できることを示す。
  論文  参考訳（メタデータ） (2023-02-24T15:48:23Z)
• Modeling Target-Side Morphology in Neural Machine Translation: A Comparison of Strategies [72.56158036639707]
  形態的に豊かな言語は機械翻訳に困難をもたらす。 多数の異なる屈折する単語曲面は、より大きな語彙を必要とする。 いくつかの頻度の低い用語は、通常、トレーニングコーパスには現れない。 言語的合意は、出力文中の屈折語形間の文法的カテゴリを正しく一致させる必要がある。
  論文  参考訳（メタデータ） (2022-03-25T10:13:20Z)
• Morphology Without Borders: Clause-Level Morphological Annotation [8.559428282730021]
  形態学を単語レベルではなく節レベルの現象と考えることを提案する。 我々は,英語,ドイツ語,トルコ語,ヘブライ語という4つの類型的に異なる言語を対象として,節レベルの形態に関する新しいデータセットを提供する。 実験の結果,節レベルタスクは各単語レベルタスクよりも格段に難しいが,言語間では同等に複雑であることがわかった。
  論文  参考訳（メタデータ） (2022-02-25T17:20:28Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。