論文の概要: LangBridge: Multilingual Reasoning Without Multilingual Supervision

• arxiv url: http://arxiv.org/abs/2401.10695v1
• Date: Fri, 19 Jan 2024 14:00:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 15:43:57.703477
• Title: LangBridge: Multilingual Reasoning Without Multilingual Supervision
• Title（参考訳）: langbridge: 多言語指導のない多言語推論
• Authors: Dongkeun Yoon, Joel Jang, Sungdong Kim, Seungone Kim, Sheikh Shafayat, Minjoon Seo
• Abstract要約: 我々は多言語推論タスクに言語モデルを適応させるゼロショットアプローチであるLangBridgeを紹介した。 LangBridgeは、トレーニング可能な最小限のパラメータを導入して、2つのモデルを接続する。 解析の結果,LangBridgeの有効性は多言語表現の言語に依存しない特徴に起因していることが示唆された。
• 参考スコア（独自算出の注目度）: 46.27974599430861
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce LangBridge, a zero-shot approach to adapt language models for multilingual reasoning tasks without multilingual supervision. LangBridge operates by bridging two models, each specialized in different aspects: (1) one specialized in understanding multiple languages (e.g., mT5 encoder) and (2) one specialized in reasoning (e.g., Orca 2). LangBridge connects the two models by introducing minimal trainable parameters between them. Despite utilizing only English data for training, LangBridge considerably enhances the performance of language models on low-resource languages across mathematical reasoning, coding, and logical reasoning. Our analysis suggests that the efficacy of LangBridge stems from the language-agnostic characteristics of multilingual representations. We publicly release our code and models.
• Abstract（参考訳）: 我々は多言語推論タスクに言語モデルを適応させるゼロショットアプローチであるLangBridgeを紹介した。 LangBridgeは2つのモデルをブリッジして動作し、それぞれ異なる側面に特化している。(1) 複数の言語(例えばmT5エンコーダ)を理解することに特化したもの、(2)推論に特化したもの(例えばOrca 2)。 LangBridgeは、トレーニング可能な最小限のパラメータを導入して、2つのモデルを接続する。 英語のデータのみをトレーニングに利用しているにもかかわらず、LangBridgeは数学的推論、コーディング、論理推論にまたがる低リソース言語における言語モデルの性能を大幅に向上させる。 解析の結果,LangBridgeの有効性は多言語表現の言語非依存性に起因することが示唆された。 コードとモデルを公開しています。

関連論文リスト

• HiJoNLP at SemEval-2022 Task 2: Detecting Idiomaticity of Multiword Expressions using Multilingual Pretrained Language Models [0.6091702876917281]
  本稿では,多言語事前学習言語モデル上でのMWEの文脈的表現からのみ慣用性を検出する手法について述べる。 実験の結果,より大きなモデルの方が慣用性検出に有効であることが確認された。
  論文  参考訳（メタデータ） (2022-05-27T01:55:59Z)
• Towards Developing a Multilingual and Code-Mixed Visual Question Answering System by Knowledge Distillation [20.33235443471006]
  本稿では,英語ビジョンモデル(教師)を,等しく効果的な多言語・コード混合モデル(学生)に拡張する知識蒸留手法を提案する。 また、大規模な多言語およびコード混合VQAデータセットを11の異なる言語セットアップで作成します。 実験結果と深部分析により,11種類の言語セットアップ上で,事前学習した言語ビジョンモデルに対して提案したVQAモデルの有効性が示された。
  論文  参考訳（メタデータ） (2021-09-10T03:47:29Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Probing Multilingual Language Models for Discourse [0.0]
  XLM-RoBERTaファミリーのモデルが常に最高のパフォーマンスを示していることが分かりました。 また, モデル蒸留は, 文表現の言語間移動能力に悪影響を及ぼす可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-09T06:34:21Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot Cross-Lingual NLP [68.2650714613869]
  我々は,mBERTを微調整するための多言語コードスイッチングデータを生成するためのデータ拡張フレームワークを提案する。 既存の研究と比較すると,本手法は訓練にバイリンガル文を頼らず,複数の対象言語に対して1つの学習プロセスしか必要としない。
  論文  参考訳（メタデータ） (2020-06-11T13:15:59Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。