論文の概要: DuDi: Dual-Signal Distillation with Cross-Lingual Verbalizer

• arxiv url: http://arxiv.org/abs/2606.04694v2
• Date: Wed, 10 Jun 2026 03:28:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 14:23:44.31695
• Title: DuDi: Dual-Signal Distillation with Cross-Lingual Verbalizer
• Title（参考訳）: DuDi: クロスリンガルバーバリザによるデュアルシグナル蒸留
• Authors: Patomporn Payoungkhamdee, Tinnakit Udsa, Jian Gang Ngui, Sarana Nutanong, Alham Fikri Aji, Peerat Limkonchotiwat,
• Abstract要約: 小型言語モデル(SLM)は効率的でスケーラブルだが、その多言語能力はサブビリオンスケールで著しく低下する。 オンラインシーケンスレベル信号とオフポリティクスおよびオンポリティクストークンレベル信号を組み合わせた二重信号多言語蒸留フレームワークであるDuDiを紹介する。
• 参考スコア（独自算出の注目度）: 25.37243718452359
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small language models (SLMs) are efficient and scalable, but their multilingual capabilities degrade severely at sub-billion scales, especially for Southeast Asian (SEA) languages. We introduce DuDi, a dual-signal multilingual distillation framework that combines an online sequence-level signal with off-policy and on-policy token-level signals. DuDi further uses a cross-lingual verbalizer to refine teacher feedback and improve teacher-student transferability in multilingual settings. Experiments on SEA-HELM across multiple model families, scales, and teacher-student settings show that DuDi consistently outperforms competitive distillation baselines. Ablations and analyses confirm that sequence-level optimization, token-level supervision, and cross-lingual verbalization provide complementary and transferable learning signals for multilingual SLMs.
• Abstract（参考訳）: 小型言語モデル(SLM)は効率的でスケーラブルであるが、特に東南アジア(SEA)言語では、その多言語能力はサブビリオンスケールで著しく低下する。 オンラインシーケンスレベル信号とオフポリティクスおよびオンポリティクストークンレベル信号を組み合わせた二重信号多言語蒸留フレームワークであるDuDiを紹介する。 DuDiはさらに、教師のフィードバックを洗練させ、多言語設定における教師の学生の移動性を改善するために、言語横断の言語ライザを使用している。 複数のモデルファミリー、スケール、教師の学生によるSEA-HELMの実験は、DuDiが競争力のある蒸留ベースラインを一貫して上回っていることを示している。 アブレーションと分析により、シーケンスレベルの最適化、トークンレベルの監督、言語間言語化が多言語SLMに対して相補的かつ伝達可能な学習信号を提供することを確認した。

関連論文リスト

• MiLorE-SSL: Scaling Multilingual Capabilities in Self-Supervised Models without Forgetting [69.6938830307759]
  MiLorE-SSLは、LoRAモジュールとソフトミキシング・オブ・エキスパート・メカニズムを組み合わせて、効率的な連続多言語トレーニングを行う軽量フレームワークである。 LoRAは効率的な低ランク適応を提供するが、ソフトなMoEは言語間のフレキシブルな専門家共有を促進し、言語間の干渉を減らす。 ML-SUPERBの実験では、MiLorE-SSLは新しい言語で高いパフォーマンスを実現し、2.14%のトレーニング可能なパラメータで既存の言語での性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2026-01-28T06:48:52Z)
• AlignX: Advancing Multilingual Large Language Models with Multilingual Representation Alignment [46.881574083116085]
  多言語大言語モデル(LLM)には、印象的な多言語理解と生成能力がある。 LLMのパフォーマンスと言語間アライメントは、非支配言語ではしばしば遅れる。 2段階の表現レベルフレームワークである多言語のパフォーマンスギャップを橋渡しするために,AlignXを提案する。
  論文  参考訳（メタデータ） (2025-09-29T06:37:46Z)
• CC-Tuning: A Cross-Lingual Connection Mechanism for Improving Joint Multilingual Supervised Fine-Tuning [48.69343479132896]
  CC-Tuningは、多言語間接続機構を潜在レベルで明確に確立する、新しい多言語ファインチューニングパラダイムである。 訓練中、CC-Tuningは英語と非英語の両方からのフィードフォワードアクティベーションを融合させ、モデルが両方の言語資源の恩恵を受けることを可能にする。 22の言語をカバーする6つのベンチマークの実験では、CC-TuningはバニラSFTより優れており、データレベルの拡張方法に代わる強力な潜在レベルを提供する。
  論文  参考訳（メタデータ） (2025-06-01T07:20:55Z)
• Investigating Multilingual Instruction-Tuning: Do Polyglot Models Demand for Multilingual Instructions? [42.37657013017192]
  単言語コーパスの代わりに並列で命令チューニングを行うことで、最大9.9%の言語間命令に従うことができることを示す。 また,多言語チャットシナリオにおけるヒューマンベースとGPT-4に基づく評価の整合性を理解するために,人間のアノテーション研究を行う。
  論文  参考訳（メタデータ） (2024-02-21T11:07:07Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。