論文の概要: Dialect Normalization using Large Language Models and Morphological Rules

• arxiv url: http://arxiv.org/abs/2506.08907v1
• Date: Tue, 10 Jun 2025 15:34:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:42.679325
• Title: Dialect Normalization using Large Language Models and Morphological Rules
• Title（参考訳）: 大規模言語モデルと形態素規則を用いた方言正規化
• Authors: Antonios Dimakis, John Pavlopoulos, Antonios Anastasopoulos,
• Abstract要約: 本稿では,ルールベースの言語情報変換と大規模言語モデル(LLM)と,目的とする複数ショットプロンプトを組み合わせた新しい正規化手法を提案する。 我々は,ギリシャ語の方言の手法を実装し,それを地域証明のデータセットに適用し,人間のアノテータを用いたアウトプットの評価を行った。 次に、このデータセットを用いて下流実験を行い、これらの証明に関する以前の結果は、表面的な言語情報にのみ依存していることを発見した。
• 参考スコア（独自算出の注目度）: 23.750564623399253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language understanding systems struggle with low-resource languages, including many dialects of high-resource ones. Dialect-to-standard normalization attempts to tackle this issue by transforming dialectal text so that it can be used by standard-language tools downstream. In this study, we tackle this task by introducing a new normalization method that combines rule-based linguistically informed transformations and large language models (LLMs) with targeted few-shot prompting, without requiring any parallel data. We implement our method for Greek dialects and apply it on a dataset of regional proverbs, evaluating the outputs using human annotators. We then use this dataset to conduct downstream experiments, finding that previous results regarding these proverbs relied solely on superficial linguistic information, including orthographic artifacts, while new observations can still be made through the remaining semantics.
• Abstract（参考訳）: 自然言語理解システムは、高リソースの方言を含む低リソースの言語と競合する。 方言から標準への正規化は、標準言語ツールが下流で使用できるように方言のテキストを変換することでこの問題に対処しようとする。 本研究では,ルールベースの言語情報変換と大規模言語モデル(LLM)を並列データを必要とすることなく,目的とする数発のプロンプトに組み合わせた新しい正規化手法を導入することにより,この問題に対処する。 我々は,ギリシャ語の方言の手法を実装し,それを地域証明のデータセットに適用し,人間のアノテータを用いたアウトプットの評価を行った。 次に、このデータセットを用いて下流実験を行い、これらの証明に関する以前の結果は、図形的アーティファクトを含む表面的な言語情報のみに依存しており、残りのセマンティクスを通して新しい観察が可能であることを発見した。

関連論文リスト

• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• Modeling Orthographic Variation in Occitan's Dialects [3.038642416291856]
  大規模多言語モデルは、前処理時のスペル正規化の必要性を最小限に抑える。 以上の結果から,複数言語モデルでは,前処理時のスペル正規化の必要性が最小限に抑えられていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-30T07:33:51Z)
• Script Normalization for Unconventional Writing of Under-Resourced Languages in Bilingual Communities [36.578851892373365]
  ソーシャルメディアは言語的に表現されていないコミュニティに、彼らの母国語でコンテンツを制作する素晴らしい機会を与えてきた。 本稿では、主にペルソ・アラビア文字で書かれたいくつかの言語に対するスクリプト正規化の問題に対処する。 各種ノイズレベルの合成データと変圧器モデルを用いて, この問題を効果的に再現できることを実証した。
  論文  参考訳（メタデータ） (2023-05-25T18:18:42Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Improving Temporal Generalization of Pre-trained Language Models with Lexical Semantic Change [28.106524698188675]
  近年の研究では、大規模なニューラルネットワークモデルが時間的一般化能力の低下に悩まされていることが明らかになっている。 本稿では,収束した言語モデルを学習後処理するための,単純かつ効果的な語彙レベルのマスキング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-31T08:12:41Z)
• Lifelong Learning Natural Language Processing Approach for Multilingual Data Classification [1.3999481573773074]
  複数の言語で偽ニュースを検知できる生涯学習型アプローチを提案する。 解析された言語間で得られた知識を一般化するモデルの能力も観察された。
  論文  参考訳（メタデータ） (2022-05-25T10:34:04Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• A Hybrid Approach to Dependency Parsing: Combining Rules and Morphology with Deep Learning [0.0]
  本稿では,特に訓練データ量に制限のある言語に対して,依存関係解析の2つのアプローチを提案する。 第1のアプローチは、最先端のディープラーニングとルールベースのアプローチを組み合わせ、第2のアプローチは、形態情報をネットワークに組み込む。 提案手法はトルコ語向けに開発されたが、他の言語にも適用可能である。
  論文  参考訳（メタデータ） (2020-02-24T08:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。