論文の概要: MultiLingPoT: Enhancing Mathematical Reasoning with Multilingual Program Fine-tuning

• arxiv url: http://arxiv.org/abs/2412.12609v1
• Date: Tue, 17 Dec 2024 07:14:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:59:37.484594
• Title: MultiLingPoT: Enhancing Mathematical Reasoning with Multilingual Program Fine-tuning
• Title（参考訳）: MultiLingPoT:多言語プログラムファインチューニングによる数学的推論の強化
• Authors: Nianqi Li, Zujie Liang, Siyu Yuan, Jiaqing Liang, Feng Wei, Yanghua Xiao,
• Abstract要約: Program-of-Thought (PoT) は、自然言語を推論の中間ステップとして使うことを目的としている。 本稿では,多言語プログラム推論手法であるMultiLingPoTを提案する。 実験の結果,MultiLingPoTの学習は各プログラムの数学的推論を約2.5%改善することがわかった。
• 参考スコア（独自算出の注目度）: 39.25888573235479
• License:
• Abstract: Program-of-Thought (PoT), which aims to use programming language instead of natural language as an intermediate step in reasoning, is an important way for LLMs to solve mathematical problems. Since different programming languages excel in different areas, it is natural to use the most suitable language for solving specific problems. However, current PoT research only focuses on single language PoT, ignoring the differences between different programming languages. Therefore, this paper proposes an multilingual program reasoning method, MultiLingPoT. This method allows the model to answer questions using multiple programming languages by fine-tuning on multilingual data. Additionally, prior and posterior hybrid methods are used to help the model select the most suitable language for each problem. Our experimental results show that the training of MultiLingPoT improves each program's mathematical reasoning by about 2.5\%. Moreover, with proper mixing, the performance of MultiLingPoT can be further improved, achieving a 6\% increase compared to the single-language PoT with the data augmentation.Resources of this paper can be found at https://github.com/Nianqi-Li/MultiLingPoT.
• Abstract（参考訳）: Program-of-Thought (PoT)は、自然言語の代わりにプログラミング言語を推論の中間ステップとして使うことを目的としており、LLMが数学的問題を解決する重要な方法である。 異なる分野のプログラミング言語が優れているため、特定の問題を解決するのに最も適した言語を使うのは当然である。 しかし、現在のPoT研究は、異なるプログラミング言語の違いを無視して、単一の言語PoTのみに焦点を当てている。 そこで本研究では,多言語プログラム推論手法であるMultiLingPoTを提案する。 この手法により,多言語データを微調整することで,複数の言語を用いて質問に答えることができる。 さらに、モデルが各問題に最も適した言語を選択するのを助けるために、事前および後続のハイブリッド手法が使用される。 実験の結果,MultiLingPoTの学習は各プログラムの数学的推論を約2.5倍改善することがわかった。 さらに、適切な混合により、MultiLingPoTの性能がさらに向上し、データ拡張を伴う単一言語PoTと比較して6倍に向上する。

関連論文リスト

• Linguistically-Informed Multilingual Instruction Tuning: Is There an Optimal Set of Languages to Tune? [0.0]
  本研究では,言語情報を用いた指導指導のための言語選択手法を提案する。 簡単なアルゴリズムを用いて、多様な言語を選択し、様々なベンチマークやオープンエンドの質問でそれらの有効性をテストする。 その結果、この慎重な選択は、言語をランダムに選択するよりも、より優れた結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-10-10T10:57:24Z)
• mCoT: Multilingual Instruction Tuning for Reasoning Consistency in Language Models [21.616940026409818]
  大規模言語モデル(LLM)とChain-of-Thought(CoT)は、最近、下流タスクを改善するために推論を誘発する強力なテクニックとして登場した。 オープンソース LLM を用いて,多言語間の多言語推論の整合性について検討する。 言語間の推論能力を向上させるため,多言語CoT命令チューニングを導入し,モデルの整合性を向上させる。
  論文  参考訳（メタデータ） (2024-06-04T13:30:45Z)
• Python is Not Always the Best Choice: Embracing Multilingual Program of Thoughts [51.49688654641581]
  本稿では,多言語からの強みと多様性を生かしたMultiPoTというタスクとモデル非依存のアプローチを提案する。 実験の結果、Python Self-Consistencyを著しく上回ることがわかった。 特にMultiPoTはChatGPT(gpt-3.5-turbo-0701)で平均4.6%以上の改善を実現している。
  論文  参考訳（メタデータ） (2024-02-16T13:48:06Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• On the Transferability of Pre-trained Language Models for Low-Resource Programming Languages [11.384386766787681]
  単言語および多言語 PLM が異なるプログラミング言語に与える影響について検討する。 事前訓練されたモデルと微調整されたモデル100以上を分析します。 以上の結果から,多言語 PLM は単言語 PLM に比べて性能-時間比 (BLEU, METEOR, MRR スコア) が低いことが示された。
  論文  参考訳（メタデータ） (2022-04-05T21:11:12Z)
• WARP: Word-level Adversarial ReProgramming [13.08689221166729]
  多くのアプリケーションでは、多くのパラメータを複数のタスクで共有できるように、より小さなパラメータセットをチューニングすることが望ましい。 自動プロンプト生成に関する初期の研究を拡張した逆転プログラミングに基づく代替アプローチを提案する。 提案手法は,SST-2およびMNLIデータセット上で,類似のトレーニング可能なパラメータ数で他の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-01T00:41:03Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot Cross-Lingual NLP [68.2650714613869]
  我々は,mBERTを微調整するための多言語コードスイッチングデータを生成するためのデータ拡張フレームワークを提案する。 既存の研究と比較すると,本手法は訓練にバイリンガル文を頼らず,複数の対象言語に対して1つの学習プロセスしか必要としない。
  論文  参考訳（メタデータ） (2020-06-11T13:15:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。