論文の概要: Harnessing Linguistic Dissimilarity for Language Generalization on Unseen Low-Resource Varieties

• arxiv url: http://arxiv.org/abs/2605.04500v1
• Date: Wed, 06 May 2026 05:05:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.652733
• Title: Harnessing Linguistic Dissimilarity for Language Generalization on Unseen Low-Resource Varieties
• Title（参考訳）: 未知の低資源変数に対する言語一般化のための言語的相違性
• Authors: Jinju Kim, Haeji Jung, Youjeong Roh, Jong Hwan Ko, David R. Mortensen,
• Abstract要約: 特定のグループで使用される低リソース言語品種は、多言語言語モデルの開発において無視されている。 本稿では,多種多様なソースの重なり合いを生かしながら,多種多様なキューを捕捉することに焦点を当てた2段階言語一般化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 24.69577224120501
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Low-resource language varieties used by specific groups remain neglected in the development of Multilingual Language Models. A great deal of cross-lingual research focuses on inter-lingual language transfer which strives to align allied varieties and minimize differences between them. However, for low-resource varieties, linguistic dissimilarity is also an important cue allowing generalization to unseen varieties. Unlike prior approaches, we propose a two-stage Language Generalization framework that focuses on capturing variety-specific cues while also exploiting rich overlap offered by high-resource source variety. First, we propose TOPPing, a source-selection method specifically designed for low-resource varieties. Second, we suggest a lightweight VACAI-Bowl architecture that learns variety-specific attributes with one branch while a parallel branch captures variety-invariant attributes using adversarial training. We evaluate our framework on structural prediction tasks, which are among the few tasks available, as proxy for performance on other downstream tasks. Using VACAI-Bowl with TOPPing yields an average 54.62% improvement in the dependency parsing task, which serves as a proxy for performance on other downstream tasks across 10 low-resource varieties.
• Abstract（参考訳）: 特定のグループで使用される低リソース言語品種は、多言語言語モデルの開発において無視されている。 多くの言語横断研究は、同盟する品種を調整し、それらの違いを最小化しようとする言語間言語移動に焦点を当てている。 しかし、低資源多様体に対しては、言語的な相似性も重要であり、目に見えない多様体を一般化することができる。 従来のアプローチとは違って,多種多様な特徴を捉えることに焦点を当てた2段階の言語一般化フレームワークを提案する。 まず,低リソース品種に特化して設計されたソース選択手法であるTOPPingを提案する。 第2に,並列分岐が逆トレーニングを用いて多彩な不変属性をキャプチャする一方で,一枝で多様属性を学習する軽量なVACAI-Bowlアーキテクチャを提案する。 我々は、他の下流タスクのパフォーマンスのプロキシとして利用可能な数少ないタスクのうちの1つである構造予測タスクに関するフレームワークを評価する。 TOPPingでVACAI-Bowlを使用すると、依存性解析タスクの平均54.62%の改善が得られ、これは低リソースの10種類にわたる他の下流タスクのパフォーマンスのプロキシとして機能する。

関連論文リスト

• Task Arithmetic with Support Languages for Low-Resource ASR [2.0368746869445236]
  多くの低リソース自然言語処理タスクへの既存のアプローチは、高リソース言語からの追加データを活用する。 人気が高まっている1つのアプローチは、タスク演算を使用して、異なるタスクでトレーニングされたモデルを組み合わせて、トレーニングデータが少ないタスクのためのモデルを作成する。 本稿では,特定の言語の訓練をタスクとみなし,Whisper ASRシステムの微調整によるタスクベクトルを生成する。
  論文  参考訳（メタデータ） (2026-01-11T19:24:05Z)
• Towards Inclusive NLP: Assessing Compressed Multilingual Transformers across Diverse Language Benchmarks [33.2185998586144]
  本研究は、アラビア語、英語、インド語にまたがる多言語および単言語大言語モデル(LLM)の性能をベンチマークする。 発見は言語的多様性と資源の可利用性によって引き起こされる顕著なパフォーマンスの違いを示している。 量子化(4ビットと8ビット)は、効率を向上しながらモデルの精度を維持するのに有効であるが、アグレッシブプルーニングは性能を著しく損なう。
  論文  参考訳（メタデータ） (2025-07-25T22:35:10Z)
• PromptRefine: Enhancing Few-Shot Performance on Low-Resource Indic Languages with Example Selection from Related Example Banks [57.86928556668849]
  大規模言語モデル(LLM)は、近ごろ、コンテキスト内学習(ICL)を通じて、印象的な数ショットの学習能力を実証した。 ICLのパフォーマンスは、数発のデモの選択に大きく依存しており、最も最適な例の選択は永続的な研究課題である。 本稿では,低リソースのIndic言語におけるICLの性能向上を目的とした,新しい代替最小化手法であるPromptRefineを提案する。
  論文  参考訳（メタデータ） (2024-12-07T17:51:31Z)
• Multilingual Word Embeddings for Low-Resource Languages using Anchors and a Chain of Related Languages [54.832599498774464]
  我々は,言語連鎖に基づく新しいアプローチにより,多言語単語埋め込み(MWE)を構築することを提案する。 リソースの豊富なソースから始めて、ターゲットに到達するまで各言語をチェーンに順次追加することで、MWEを一度に1つの言語で構築します。 本手法は,4つの低リソース(5Mトークン)と4つの中程度の低リソース(50M)ターゲット言語を含む4つの言語ファミリーを対象としたバイリンガルレキシコン誘導法について検討した。
  論文  参考訳（メタデータ） (2023-11-21T09:59:29Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• Por Qu\'e N\~ao Utiliser Alla Spr{\aa}k? Mixed Training with Gradient Optimization in Few-Shot Cross-Lingual Transfer [2.7213511121305465]
  本研究では,ソースデータとターゲットデータの両方を学習する1ステップ混合学習手法を提案する。 我々は1つのモデルを使って全てのターゲット言語を同時に処理し、過度に言語固有のモデルを避ける。 提案手法は,全タスクの最先端性能と目標適応性能を高いマージンで向上させる。
  論文  参考訳（メタデータ） (2022-04-29T04:05:02Z)
• Isomorphic Cross-lingual Embeddings for Low-Resource Languages [1.5076964620370268]
  CLWE(Cross-Lingual Word Embeddings)は、高リソース設定から学習した言語情報を低リソースに転送するための重要なコンポーネントである。 我々は、関連の高い高リソース言語を共同で活用することで、低リソース対に対して、アイソメトリを仮定せずにCLWEを学習するフレームワークを導入する。 両言語レキシコン誘導(BLI)と固有値類似度(Eigenvalue similarity)によって測定された同型性の品質と程度において,現在の手法よりも一貫した利得を示す。
  論文  参考訳（メタデータ） (2022-03-28T10:39:07Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。