論文の概要: TRepLiNa: Layer-wise CKA+REPINA Alignment Improves Low-Resource Machine Translation in Aya-23 8B

• arxiv url: http://arxiv.org/abs/2510.06249v1
• Date: Fri, 03 Oct 2025 17:36:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.055757
• Title: TRepLiNa: Layer-wise CKA+REPINA Alignment Improves Low-Resource Machine Translation in Aya-23 8B
• Title（参考訳）: TRepLiNa: Aya-23 8Bの低リソース機械翻訳を改善するレイヤワイドCKA+REPINAアライメント
• Authors: Toshiki Nakai, Ravi Kiran Chikkala, Lena Sophie Oberkircher, Nicholas Jennings, Natalia Skachkova, Tatiana Anikina, Jesujoba Oluwadara Alabi,
• Abstract要約: 本稿では,デコーダのみを用いた多言語大言語モデル (LLM) の特定の内部層における言語間類似性を強制することにより,LRLから高リソース言語 (HRL) への翻訳品質が向上するかどうかを検討する。 この結果から,TRepLiNaを用いた中層層の整列化は,特にデータスカース設定において,LRL翻訳を改善するための低コストで実用的な手法であることが示唆された。
• 参考スコア（独自算出の注目度）: 4.282981703665803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The 2025 Multimodal Models for Low-Resource Contexts and Social Impact (MMLoSo) Language Challenge addresses one of India's most pressing linguistic gaps: the lack of resources for its diverse low-resource languages (LRLs). In this study, we investigate whether enforcing cross-lingual similarity in specific internal layers of a decoder-only multilingual large language model (LLM) can improve translation quality from LRL to high-resource language (HRL). Specifically, we combine Centered Kernel Alignment (CKA), a similarity metric that encourages representations of different languages to align, with REPINA, a regularization method that constrains parameter updates to remain close to the pretrained model, into a joint method we call TRepLiNa. In this research project, we experiment with zero-shot, few-shot, and fine-tuning settings using Aya-23 8B with QLoRA across MMLoSo shared task language pairs (Mundari, Santali, Bhili) with Hindi/English pivots. Our results show that aligning mid-level layers using TRepLiNa (CKA+REPINA) is a low-cost, practical approach to improving LRL translation, especially in data-scarce settings.
• Abstract（参考訳）: 2025年のMultimodal Models for Low-Resource Contexts and Social Impact (MMLoSo) Language Challengeは、インドで最も迫っている言語的ギャップの1つに対処している。 本研究では,デコーダのみを用いた多言語大言語モデル (LLM) の特定の内部層における言語間類似性を強制することで,LRLから高リソース言語 (HRL) への翻訳品質を向上させることができるかどうかを検討する。 具体的には、異なる言語の表現の整合を奨励する類似度指標であるCentered Kernel Alignment (CKA)と、パラメータ更新を事前訓練されたモデルに近づき続けるように制約する正規化手法であるREPINAを、TRepLiNaと呼ぶジョイントメソッドに組み合わせる。 本研究では,MMLoSo のタスク言語ペア (Mundari, Santali, Bhili) と Hindi/ English のピボットを用いて,Aya-23 8B と QLoRA を用いたゼロショット, 少数ショット, 微調整設定を実験した。 この結果から,TRepLiNa(CKA+REPINA)を用いた中層階層の整列化は,特にデータスカース設定において,LRL翻訳を改善するための低コストで実用的な手法であることが示唆された。

関連論文リスト

• Seed-X: Building Strong Multilingual Translation LLM with 7B Parameters [53.59868121093848]
  7Bパラメータサイズを持つオープンソースの言語モデル(LLM)のファミリーであるSeed-Xを紹介する。 ベースモデルは、28言語にわたるモノリンガルコンテンツとバイリンガルコンテンツの両方を含む、多種多様な高品質データセットで事前訓練されている。 その後、インストラクションモデルは、Chain-of-Thought(CoT)推論によって翻訳され、強化学習(RL)によりさらに強化され、多様な言語対をまたいだより良い一般化が達成される。
  論文  参考訳（メタデータ） (2025-07-18T03:19:43Z)
• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• TaCo: Enhancing Cross-Lingual Transfer for Low-Resource Languages in LLMs through Translation-Assisted Chain-of-Thought Processes [9.254047358707014]
  本稿では,Alpaca-52K,Dolly-15K,Vicuna Benchmarkを132言語に翻訳する多言語インストラクション・チューニングデータセット(MITS)を紹介する。 次に,emphTaCo: Translation-Assisted Cross-Lingualityという新たな手法を提案する。 提案手法は,Vicuna Benchmark データセットの低リソース言語に対して 82% のスコアで GPT-4 を圧縮し,命令チューニングと比較して性能を2倍にすることを示す。
  論文  参考訳（メタデータ） (2023-11-17T06:55:32Z)
• Exploiting Language Relatedness for Low Web-Resource Language Model Adaptation: An Indic Languages Study [14.34516262614775]
  言語族における言語間の関連性は、LRLのコーパス制限を克服するために悪用される可能性があると論じる。 我々はインドの言語に焦点をあて,(1)スクリプト(ブラフミック文字から派生した多くのインデックススクリプト)と(2)文構造という2つの次元に沿った関連性を活用する。
  論文  参考訳（メタデータ） (2021-06-07T20:43:02Z)
• X-SRL: A Parallel Cross-Lingual Semantic Role Labeling Dataset [18.389328059694037]
  本研究では,英語,フランス語,ドイツ語,スペイン語の4言語で並列なSRLコーパスを自動構築する手法を提案する。 我々は,投影品質を測定するために使用する有能なテストセットを含め,プロジェクションが強いベースラインよりも密度が高く,精度が高いことを示す。最後に,モノリンガルSRLとマルチリンガルSRLのための新しいコーパスで異なるSOTAモデルを訓練し,多言語アノテーションが特に弱い言語の性能を向上させることを示す。
  論文  参考訳（メタデータ） (2020-10-05T13:34:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。