論文の概要: Different Perturbations, Different Mechanisms: Understanding Continued Pre-training for Zero-Shot Dialect Robustness

• arxiv url: http://arxiv.org/abs/2608.05510v1
• Date: Thu, 06 Aug 2026 01:23:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.81076
• Title: Different Perturbations, Different Mechanisms: Understanding Continued Pre-training for Zero-Shot Dialect Robustness
• Title（参考訳）: 異なる摂動、異なるメカニズム:ゼロショットディレクタロバストネスの継続事前学習を理解する
• Abstract要約: 摂動に基づく継続事前訓練(CPT)は、堅牢性向上のための有望なアプローチとして現れている。 LLMにおける多言語方言の頑健性に対する摂動に基づくCPTの体系的研究について述べる。 同様のダウンストリーム性能を持つ手法は、ロバスト性の異なるメカニズムを誘導することを示す。
• 参考スコア（独自算出の注目度）: 8.7792584543155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dialectal variation remains a major challenge for multilingual language models. Perturbation-based continued pre-training (CPT) has emerged as a promising approach to improving robustness, yet existing work largely evaluates individual perturbation strategies in isolation and provides limited insight into why they work. We present a systematic study of perturbation-based CPT for multilingual dialect robustness in LLMs, comparing six training conditions across nine German, Italian, and Arabic dialect tasks. Perturbation-based CPT, especially character-noised CPT, consistently improves zero-shot dialect robustness while largely preserving standard variety performance. More importantly, we show that methods with similar downstream performance induce distinct mechanisms of robustness, exhibiting different patterns of language model adaptation, representational alignment, and prediction repair. Our results provide a more complete understanding of how synthetic surface variation improves robustness and offer practical guidance for selecting CPT strategies in multilingual and dialectal settings.
• Abstract（参考訳）: 方言のバリエーションは、多言語言語モデルにとって依然として大きな課題である。 摂動に基づく継続的事前訓練(CPT)は、堅牢性を改善するための有望なアプローチとして登場したが、既存の研究は、個別の摂動戦略を独立して評価し、なぜ機能するのかについての限られた洞察を与えている。 LLMにおける多言語方言の頑健性に対する摂動に基づくCPTの体系的研究を行い,9つのドイツ語,イタリア語,アラビア方言タスクを対象とした6つの訓練条件を比較した。 摂動に基づくCPT、特に文字ノイズ付きCPTは、標準バラエティ性能を保ちながら、ゼロショット方言の堅牢性を一貫して改善する。 より重要なことは、同様のダウンストリーム性能を持つ手法が、言語モデル適応、表現アライメント、予測修復の異なるパターンを示す、ロバスト性の異なるメカニズムを誘導することである。 以上の結果から,合成表面の変動が頑健性をどのように改善するかをより完全に把握し,多言語・方言設定でCPT戦略を選択するための実践的なガイダンスを提供する。

関連論文リスト

• A Systematic Evaluation of Cross-Lingual Consistency Enhancement Methods in Multilingual Language Models [50.27606276000142]
  本稿では,質問応答,推論時間介入,学習後アプローチにおける代表的CLC強調手法の統一評価について述べる。 その結果, 後学習法は一般に信頼性が高く, 直接分布アライメントはモデル・データセットの組み合わせ間で連続的にCLCを改善していることがわかった。 CLCの強化がモデルに異なる応答能力を与えるかどうかを考察する。
  論文  参考訳（メタデータ） (2026-09-03T19:18:44Z)
• LANG: Reinforcement Learning for Multilingual Reasoning with Language-Adaptive Hint Guidance [77.58408743830314]
  強化学習は大規模言語モデルにおける多段階推論の強化に有効であることが証明されている。 しかし、その利点は多言語文脈に完全には翻訳されていない。 我々は、言語条件付きヒントを利用して、英語以外の推論タスクの探索をガイドする新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2026-05-21T14:47:52Z)
• Align to the Pivot: Dual Alignment with Self-Feedback for Multilingual Math Reasoning [71.4175109189942]
  Pivot-Aligned Self-Feedback Multilingual Reasoning (PASMR)を提案する。 このアプローチは、モデルの第一言語をピボット言語として指定する。 外部の正しい回答や報酬モデルに頼ることなく、言語横断的な自己フィードバック機構を確立する。
  論文  参考訳（メタデータ） (2026-01-25T03:20:00Z)
• Beyond the Final Layer: Intermediate Representations for Better Multilingual Calibration in Large Language Models [50.34755385896279]
  大規模言語モデル(LLM)の信頼性確保には信頼度校正が不可欠である 6つのモデルファミリーと100以上の言語にまたがる多言語キャリブレーションの大規模かつ体系的な研究を行う。 非英語言語は体系的に悪い校正に苦しむ。
  論文  参考訳（メタデータ） (2025-10-03T16:07:15Z)
• Rethinking Multilingual Continual Pretraining: Data Mixing for Adapting LLMs Across Languages and Resources [15.92352178996532]
  大規模言語モデル(LLM)は、言語間での性能に大きな違いがある。 CPT(Continuous Pretraining)はこの不均衡に対処するための有望なアプローチとして現れている。 本研究は3つの多言語ベースモデルを含む36のCPT構成を体系的に評価する。
  論文  参考訳（メタデータ） (2025-04-05T12:10:55Z)
• AdaMCoT: Rethinking Cross-Lingual Factual Reasoning through Adaptive Multilingual Chain-of-Thought [40.16140566668239]
  AdaMCOTは多言語の事実推論を強化するフレームワークである。 AdaMCOTは、ターゲット言語応答を生成する前に、中間言語における思考プロセスを動的にルーティングする。 本評価は, 事実推論品質と言語間整合性の両方において, 大幅な改善を示すものである。
  論文  参考訳（メタデータ） (2025-01-27T15:48:57Z)
• Evaluating Knowledge-based Cross-lingual Inconsistency in Large Language Models [16.942897938964638]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示している。 彼らの成功にもかかわらず、これらのモデルはしばしば異なる言語で同じ概念を処理する際に大きな矛盾を示す。 本研究は,LLMにおける言語間不整合の存在,これらの不整合が現れる特定の側面,LLMの言語間整合性と多言語機能との相関の3つの主要な疑問に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-01T15:11:37Z)
• Enhance Robustness of Language Models Against Variation Attack through Graph Integration [28.291064456532517]
  文字変動攻撃に対する言語モデルのロバスト性を高めるための新しい手法であるCHINese vAriatioN Graph Enhancementを提案する。 CHANGE は PLM の逆操作テキストの解釈を本質的に強化する。 多数のNLPタスクで実施された実験は、CHANGEが敵の攻撃と戦う際に、現在の言語モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2024-04-18T09:04:39Z)
• Evaluating Concurrent Robustness of Language Models Across Diverse Challenge Sets [46.19529338280716]
  言語モデルはブラックボックスの性質が特徴で、しばしば幻覚を呈し、入力の摂動に敏感である。 入力摂動が言語モデルにどう影響するかを,様々な尺度で検討する手法を提案する。 複数の摂動に対するロバスト性に対処するための3つの異なる微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-15T02:59:10Z)
• How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial Robustness? [121.57551065856164]
  本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。 RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。 実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-22T05:04:41Z)
• Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
  訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。 ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。 提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-04-29T14:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。