論文の概要: Deep Exploration of Cross-Lingual Zero-Shot Generalization in Instruction Tuning

• arxiv url: http://arxiv.org/abs/2406.08796v1
• Date: Thu, 13 Jun 2024 04:10:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 21:28:25.765672
• Title: Deep Exploration of Cross-Lingual Zero-Shot Generalization in Instruction Tuning
• Title（参考訳）: インストラクションチューニングにおけるクロスリンガルゼロショット一般化の深部探索
• Authors: Janghoon Han, Changho Lee, Joongbo Shin, Stanley Jungkyu Choi, Honglak Lee, Kynghoon Bae,
• Abstract要約: 非英語タスクに適用することで、命令チューニングにおける言語間一般化について検討する。 我々は、言語における不一致を軽減するために言語間テンプレートを設計し、トレーニングと推論の間のテンプレートの命令形式を規定する。 実験の結果,英語と韓国語の両方の言語間一般化による一貫した改善が示された。
• 参考スコア（独自算出の注目度）: 47.75550640881761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction tuning has emerged as a powerful technique, significantly boosting zero-shot performance on unseen tasks. While recent work has explored cross-lingual generalization by applying instruction tuning to multilingual models, previous studies have primarily focused on English, with a limited exploration of non-English tasks. For an in-depth exploration of cross-lingual generalization in instruction tuning, we perform instruction tuning individually for two distinct language meta-datasets. Subsequently, we assess the performance on unseen tasks in a language different from the one used for training. To facilitate this investigation, we introduce a novel non-English meta-dataset named "KORANI" (Korean Natural Instruction), comprising 51 Korean benchmarks. Moreover, we design cross-lingual templates to mitigate discrepancies in language and instruction-format of the template between training and inference within the cross-lingual setting. Our experiments reveal consistent improvements through cross-lingual generalization in both English and Korean, outperforming baseline by average scores of 20.7\% and 13.6\%, respectively. Remarkably, these enhancements are comparable to those achieved by monolingual instruction tuning and even surpass them in some tasks. The result underscores the significance of relevant data acquisition across languages over linguistic congruence with unseen tasks during instruction tuning.
• Abstract（参考訳）: 命令チューニングは強力なテクニックとして登場し、目に見えないタスクにおけるゼロショットのパフォーマンスを大幅に向上させた。 最近の研究は多言語モデルに命令チューニングを適用することで言語間一般化を探求しているが、従来の研究は主に英語に焦点を当てており、英語以外のタスクを限定的に探究している。 命令チューニングにおける言語間一般化の詳細な検討を行うため、2つの異なる言語メタデータセットに対して個別に命令チューニングを行う。 その後、トレーニングで使用するものとは異なる言語で、目に見えないタスクのパフォーマンスを評価する。 本研究では,韓国の51のベンチマークからなる非英語メタデータセット「KORANI(Korean Natural Instruction)」について紹介する。 さらに、言語間の差異を軽減するために、言語間テンプレートを設計し、言語間設定におけるトレーニングと推論の間のテンプレートの命令形式を規定する。 実験の結果,英語と韓国語の言語間一般化による一貫した改善が見られ,平均スコアは20.7\%,平均スコアは13.6\%であった。 注目すべきは、これらの拡張は単言語命令のチューニングによって達成されたものと同等であり、一部のタスクではそれらを上回っていることだ。 この結果から,言語間の関連データ取得の重要性が示唆された。

関連論文リスト

• CrossIn: An Efficient Instruction Tuning Approach for Cross-Lingual Knowledge Alignment [38.35458193262633]
  英語中心のモデルは、通常他の言語では準最適である。 そこで本研究では,言語間命令チューニングデータの混合合成を利用したCrossInという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-18T06:20:50Z)
• Investigating Multilingual Instruction-Tuning: Do Polyglot Models Demand for Multilingual Instructions? [42.37657013017192]
  単言語コーパスの代わりに並列で命令チューニングを行うことで、最大9.9%の言語間命令に従うことができることを示す。 また,多言語チャットシナリオにおけるヒューマンベースとGPT-4に基づく評価の整合性を理解するために,人間のアノテーション研究を行う。
  論文  参考訳（メタデータ） (2024-02-21T11:07:07Z)
• Is Prompt-Based Finetuning Always Better than Vanilla Finetuning? Insights from Cross-Lingual Language Understanding [0.30586855806896046]
  本稿では, Prompt-based Finetuning の言語間機能を調べるために, ProFiT パイプラインを提案する。 本研究は,言語間言語理解におけるアクシデントベースファインタニングの有効性と汎用性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-07-15T20:33:33Z)
• Multilingual Relation Classification via Efficient and Effective Prompting [9.119073318043952]
  本稿では,プロンプトベース多言語関係分類(RC)に関する最初の研究について述べる。 本稿では,関係3重項からプロンプトを合成し,クラスラベルの最小翻訳のみを伴う効率的かつ効率的な手法を提案する。 完全教師付き、少数ショット、ゼロショットのシナリオでその性能を評価し、14言語でその有効性を分析した。
  論文  参考訳（メタデータ） (2022-10-25T08:40:23Z)
• Cross-lingual Lifelong Learning [53.06904052325966]
  本稿では,言語間連続学習(CCL)の評価パラダイムを提案する。 マルチリンガルなシーケンシャルな学習を特に難しいものにするための洞察を提供する。 この分析の意味は、異なる言語間連続学習のデシダータを測り、バランスをとる方法のレシピを含む。
  論文  参考訳（メタデータ） (2022-05-23T09:25:43Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• Consistency Regularization for Cross-Lingual Fine-Tuning [61.08704789561351]
  整合性正規化による言語間微調整の改善を提案する。 具体的には、例の整合性正規化を用いて、予測感度を4種類のデータ拡張にペナルティ化する。 XTREMEベンチマークの実験結果から,本手法は様々なタスクにおける言語間微調整を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2021-06-15T15:35:44Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。