論文の概要: Promoting Generalized Cross-lingual Question Answering in Few-resource
Scenarios via Self-knowledge Distillation
- arxiv url: http://arxiv.org/abs/2309.17134v1
- Date: Fri, 29 Sep 2023 10:54:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 14:23:34.194770
- Title: Promoting Generalized Cross-lingual Question Answering in Few-resource
Scenarios via Self-knowledge Distillation
- Title（参考訳）: 自己知識蒸留による諸シナリオにおける一般言語間質問応答の促進
- Authors: Casimiro Pio Carrino, Carlos Escolano, Jos\'e A. R. Fonollosa
- Abstract要約: 本稿では,G-XLT(Generalized Cross-Lingual Transfer)タスクを中心に,言語間移動について検討する。
提案手法は,大規模データセットで学習した高性能多言語モデルを用いて,言語間QA転送を改善することを目的としている。
そこで我々は,mAP@k係数を導入した。
- 参考スコア（独自算出の注目度）: 2.2493846458264386
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite substantial progress in multilingual extractive Question Answering
(QA), models with high and uniformly distributed performance across languages
remain challenging, especially for languages with limited resources. We study
cross-lingual transfer mainly focusing on the Generalized Cross-Lingual
Transfer (G-XLT) task, where the question language differs from the context
language - a challenge that has received limited attention thus far. Our
approach seeks to enhance cross-lingual QA transfer using a high-performing
multilingual model trained on a large-scale dataset, complemented by a few
thousand aligned QA examples across languages. Our proposed strategy combines
cross-lingual sampling and advanced self-distillation training in generations
to tackle the previous challenge. Notably, we introduce the novel mAP@k
coefficients to fine-tune self-knowledge distillation loss, dynamically
regulating the teacher's model knowledge to perform a balanced and effective
knowledge transfer. We extensively evaluate our approach to assess XLT and
G-XLT capabilities in extractive QA. Results reveal that our self-knowledge
distillation approach outperforms standard cross-entropy fine-tuning by a
significant margin. Importantly, when compared to a strong baseline that
leverages a sizeable volume of machine-translated data, our approach shows
competitive results despite the considerable challenge of operating within
resource-constrained settings, even in zero-shot scenarios. Beyond performance
improvements, we offer valuable insights through comprehensive analyses and an
ablation study, further substantiating the benefits and constraints of our
approach. In essence, we propose a practical solution to improve cross-lingual
QA transfer by leveraging a few data resources in an efficient way.
- Abstract（参考訳）: 多言語抽出質問応答(QA)の大幅な進歩にもかかわらず、特に限られたリソースを持つ言語では、言語間で高い、均一に分散されたパフォーマンスを持つモデルは依然として困難である。
本稿では,言語間の言語間移動を主に,言語間の言語間移動(G-XLT)の課題に焦点をあてる。
提案手法は,大規模データセット上で学習した高性能な多言語モデルを用いて,言語間のQA転送を改善することを目的としている。
提案手法は, 言語横断的サンプリングと先進的自己蒸留訓練を組み合わせたものである。
特に, 教師のモデル知識を動的に制御し, バランスよく効果的な知識伝達を行うための, 微細チューン自己知識蒸留損失に対する新しいmAP@k係数を導入する。
抽出QAにおけるXLTとG-XLTの機能評価のアプローチを広く評価した。
その結果, 自己知識蒸留法は, 標準的なクロスエントロピー微調整法よりも有意差で優れていることがわかった。
重要なのは,大量の機械翻訳データを活用する強力なベースラインと比較すると,ゼロショットシナリオであっても,リソース制約された設定内で運用するという大きな課題にもかかわらず,競合的な結果が得られることだ。
パフォーマンス改善以外にも、包括的な分析とアブレーション研究を通じて貴重な洞察を提供し、このアプローチのメリットと制約をさらに強調します。
本質的には、少数のデータリソースを効率的に活用することで、言語間QA転送を改善するための実用的なソリューションを提案する。
関連論文リスト
- Extracting and Transferring Abilities For Building Multi-lingual Ability-enhanced Large Language Models [104.96990850774566]
我々は,MAETと命名された多言語能力抽出と伝達手法を提案する。
我々のキーとなる考え方は、大きな言語モデルから言語に依存しない能力に関する重みを分解し抽出することである。
実験結果から,MAETは高度能力の抽出と伝達を効果的に行うことができ,トレーニングベースライン法よりも優れることがわかった。
論文 参考訳（メタデータ） (2024-10-10T11:23:18Z) - The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。
実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。
我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
論文 参考訳（メタデータ） (2024-05-02T14:49:50Z) - CrossIn: An Efficient Instruction Tuning Approach for Cross-Lingual Knowledge Alignment [38.35458193262633]
英語中心のモデルは、通常他の言語では準最適である。
そこで本研究では,言語間命令チューニングデータの混合合成を利用したCrossInという新しい手法を提案する。
論文 参考訳（メタデータ） (2024-04-18T06:20:50Z) - Analyzing the Evaluation of Cross-Lingual Knowledge Transfer in
Multilingual Language Models [12.662039551306632]
その結果,多言語モデルの高性能化は,実際の言語知識の伝達を必要としない要因が主な原因であることが示唆された。
具体的には、特に低リソース言語において、言語間で転送されたものは、主にデータアーチファクトとバイアスです。
論文 参考訳（メタデータ） (2024-02-03T09:41:52Z) - Sharing, Teaching and Aligning: Knowledgeable Transfer Learning for
Cross-Lingual Machine Reading Comprehension [32.37236167127796]
X-STAは言語間機械読解のための新しいアプローチである。
我々は注意深い教師を利用して、ソース言語の回答スパンをターゲットの回答出力空間に微妙に転送する。
改良されたクロスアテンションブロックとしてグラディエント・ディサンタングルド・ナレッジ・シェアリング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T07:20:37Z) - Cross-lingual QA: A Key to Unlocking In-context Cross-lingual Performance [2.371686365695081]
クロスランガルQAは、質問と回答の部分のみを翻訳し、翻訳コストを削減できる言語間プロンプト手法である。
4つのタイプ的多言語ベンチマークの実験により、クロスランガルQAはモデルに効果的に刺激を与え、クロスランガルの知識を引き出すことを示した。
本研究は,言語間実例を用いたオープンソースMLLMの高速化により,モデルスケールの増大に伴い,性能が向上することを示す。
論文 参考訳（メタデータ） (2023-05-24T15:14:49Z) - Bridging the Gap between Language Models and Cross-Lingual Sequence
Labeling [101.74165219364264]
大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。
大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。
本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。
第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
論文 参考訳（メタデータ） (2022-04-11T15:55:20Z) - Delving Deeper into Cross-lingual Visual Question Answering [115.16614806717341]
標準学習装置に簡単な修正を加えることで、モノリンガル英語のパフォーマンスへの移行ギャップを大幅に減らすことができることを示す。
多言語マルチモーダル変換器の多言語間VQAを多言語間VQAで解析する。
論文 参考訳（メタデータ） (2022-02-15T18:22:18Z) - X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural
Language Understanding and Question Answering [55.57776147848929]
自然言語理解のための言語横断型メタトランシュファー学習アプローチX-METRA-ADAを提案する。
我々のアプローチは、最適化に基づくメタ学習アプローチであるMAMLに適応し、新しい言語に適応することを学ぶ。
提案手法は難易度の高い微調整に優れており,ほとんどの言語において両タスクの競合性能に到達していることを示す。
論文 参考訳（メタデータ） (2021-04-20T00:13:35Z) - Enhancing Answer Boundary Detection for Multilingual Machine Reading
Comprehension [86.1617182312817]
そこで我々は,句境界管理を付加するために,微調整段階における2つの補助的タスクを提案する。
混合機械読解タスクは、質問または通過を他の言語に翻訳し、言語横断の問合せペアを構築する。
Webから抽出した知識フレーズを活用する言語に依存しない知識マスキングタスク。
論文 参考訳（メタデータ） (2020-04-29T10:44:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。