論文の概要: Implicit Word Reordering with Knowledge Distillation for Cross-Lingual Dependency Parsing

• arxiv url: http://arxiv.org/abs/2502.17308v1
• Date: Mon, 24 Feb 2025 16:43:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:57:50.966031
• Title: Implicit Word Reordering with Knowledge Distillation for Cross-Lingual Dependency Parsing
• Title（参考訳）: 言語間依存型構文解析のための知識蒸留による暗黙の単語並べ替え
• Authors: Zhuoran Li, Chunming Hu, Junfan Chen, Zhijun Chen, Richong Zhang,
• Abstract要約: 知識蒸留(IWR-KD)を用いた暗黙の単語並べ替えフレームワークを提案する。 このフレームワークは、深いネットワークが意味のあるデータ変換に対応する特徴線形化を学習するのに長けている。 本稿では,31言語にまたがるUniversal Dependency Treebankの手法を検証する。
• 参考スコア（独自算出の注目度）: 35.40851210603478
• License:
• Abstract: Word order difference between source and target languages is a major obstacle to cross-lingual transfer, especially in the dependency parsing task. Current works are mostly based on order-agnostic models or word reordering to mitigate this problem. However, such methods either do not leverage grammatical information naturally contained in word order or are computationally expensive as the permutation space grows exponentially with the sentence length. Moreover, the reordered source sentence with an unnatural word order may be a form of noising that harms the model learning. To this end, we propose an Implicit Word Reordering framework with Knowledge Distillation (IWR-KD). This framework is inspired by that deep networks are good at learning feature linearization corresponding to meaningful data transformation, e.g. word reordering. To realize this idea, we introduce a knowledge distillation framework composed of a word-reordering teacher model and a dependency parsing student model. We verify our proposed method on Universal Dependency Treebanks across 31 different languages and show it outperforms a series of competitors, together with experimental analysis to illustrate how our method works towards training a robust parser.
• Abstract（参考訳）: ソース言語とターゲット言語の単語順序の違いは、特に依存性解析タスクにおいて、言語間移動の大きな障害となる。 現在の研究は主に、この問題を緩和するために順序に依存しないモデルや単語の並べ替えに基づいている。 しかし、このような手法は、自然に単語順に含まれる文法情報を活用しないか、置換空間が文長とともに指数関数的に大きくなるにつれて計算コストがかかる。 さらに、不自然な単語順で並べ替えられたソース文は、モデル学習に害を与えるノイズの形式かもしれない。 そこで本研究では,知識蒸留(IWR-KD)を用いたインプリシトワード再構成フレームワークを提案する。 このフレームワークは、例えば単語の並べ替えなど、意味のあるデータ変換に対応する機能線形化を学ぶのに長けている。 この考え方を実現するために,単語順応型教師モデルと係り受け解析型学生モデルからなる知識蒸留フレームワークを導入する。 本稿では,31言語にわたるUniversal Dependency Treebanksに関する提案手法を検証するとともに,ロバストなパーサのトレーニングに向けて,提案手法がどのように機能するかを実験的に検証した。

関連論文リスト

• CSSL: Contrastive Self-Supervised Learning for Dependency Parsing on Relatively Free Word Ordered and Morphologically Rich Low Resource Languages [10.441585970299547]
  本稿では,単語順の変動に頑健なモデルを実現するための,対照的な自己教師型学習手法を提案する。 提案手法は、7つの比較的自由な単語順序言語における3.03/2.95点の平均的な増加を示す。
  論文  参考訳（メタデータ） (2024-10-09T14:38:49Z)
• Improving Cross-Lingual Transfer through Subtree-Aware Word Reordering [17.166996956587155]
  効果的な言語間移動の障害の1つは、単語順パターンにおける可変性である。 ユニバーサル依存の観点で定義した,新しい強力なリオーダー手法を提案する。 提案手法は,異なる言語ペアとモデルアーキテクチャに対して,強いベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2023-10-20T15:25:53Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• EntityCS: Improving Zero-Shot Cross-lingual Transfer with Entity-Centric Code Switching [15.884119564193924]
  Code-Switchingは単語やフレーズレベルで言語アライメントを提供する。 既存のアプローチでは、CSデータを生成するために単語アライメントを持つ辞書やパラレル文を使用する。 本稿では,構文を損なうことなく細粒度な言語間セマンティクスをキャプチャするEntityCSを提案する。
  論文  参考訳（メタデータ） (2022-10-22T20:05:40Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。