論文の概要: Could Thinking Multilingually Empower LLM Reasoning?

• arxiv url: http://arxiv.org/abs/2504.11833v1
• Date: Wed, 16 Apr 2025 07:45:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:40:04.657634
• Title: Could Thinking Multilingually Empower LLM Reasoning?
• Title（参考訳）: マルチリンガル・エンパワー LLM 推論を考えるか?
• Authors: Changjiang Gao, Xu Huang, Wenhao Zhu, Shujian Huang, Lei Li, Fei Yuan,
• Abstract要約: タスク推論における多言語化の上限について検討する。 多言語推論は、英語のみの推論よりも、かなり(約10Acc@$k$ポイント)、頑健に(翻訳品質と言語選択のバリエーションに耐性がある)高い上限を約束する。
• 参考スコア（独自算出の注目度）: 41.62726542483646
• License:
• Abstract: Previous work indicates that large language models exhibit a significant "English bias", i.e. they often perform better when tasks are presented in English. Interestingly, we have observed that using certain other languages in reasoning tasks can yield better performance than English. However, this phenomenon remains under-explored. In this paper, we explore the upper bound of harnessing multilingualism in reasoning tasks, suggesting that multilingual reasoning promises significantly (by nearly 10 Acc@$k$ points) and robustly (tolerance for variations in translation quality and language choice) higher upper bounds than English-only reasoning. Besides analyzing the reason behind the upper bound and challenges in reaching it, we also find that common answer selection methods cannot achieve this upper bound, due to their limitations and biases. These insights could pave the way for future research aimed at fully harnessing the potential of multilingual reasoning in LLMs.
• Abstract（参考訳）: 以前の研究は、大きな言語モデルが顕著な「英語バイアス」を示すことを示している。 興味深いことに、推論タスクで他の言語を使用すると、英語よりも優れたパフォーマンスが得られる。 しかし、この現象は未解明のままである。 本稿では,多言語推論を推論タスクで活用する上界について検討し,多言語推論が(約10Acc@$kポイント)有意であり,(翻訳品質と言語選択の変動に対する耐性)英語のみの推論よりも上界が高いことを示唆する。 上限の背景にある理由とそれに到達するための課題を分析することに加えて、この上限とバイアスのため、共通解選択法は上限を達成できないことも見いだす。 これらの知見は、LLMにおける多言語推論の可能性を完全に活用することを目的とした将来の研究の道を開く可能性がある。

関連論文リスト

• Demystifying Multilingual Chain-of-Thought in Process Reward Modeling [71.12193680015622]
  プロセス報酬モデル(PRM)を多言語設定に拡張するという課題に対処する。 我々は、7つの言語にまたがるデータセット上で多言語PRMを訓練し、それを英語から翻訳する。 本結果は,学習言語数と英語データ量の両方に対する多言語PRMの感度を強調した。
  論文  参考訳（メタデータ） (2025-02-18T09:11:44Z)
• The Multilingual Mind : A Survey of Multilingual Reasoning in Language Models [18.399229357408043]
  多言語推論は言語間の論理的推論を扱うために言語モデルを必要とする。 この調査は、言語モデルにおける多言語推論に関する、最初の詳細なレビューを提供する。
  論文  参考訳（メタデータ） (2025-02-13T16:25:16Z)
• Seemingly Plausible Distractors in Multi-Hop Reasoning: Are Large Language Models Attentive Readers? [6.525065859315515]
  大規模言語モデル (LLM) がマルチホップ推論ベンチマークの簡易化に有効かどうかを検討する。 この発見に触発されて、我々は、もっともらしいマルチホップ推論連鎖を生成することで、挑戦的なマルチホップ推論ベンチマークを提案する。 その結果, マルチホップ推論の性能はF1スコアの45%まで低下していることがわかった。
  論文  参考訳（メタデータ） (2024-09-08T19:22:58Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models [79.46179534911019]
  大規模言語モデル (LLM) は多言語機能を示しているが、トレーニングコーパスの不均衡のため、主に英語中心である。 この作業は、NLPタスクから実際のユーザクエリまで、評価を拡張します。 深い言語理解を必要とする文化関連のタスクでは、ネイティブ言語のプロンプトがより有望になる傾向があります。
  論文  参考訳（メタデータ） (2024-03-15T12:47:39Z)
• Could We Have Had Better Multilingual LLMs If English Was Not the Central Language? [4.655168524016426]
  大規模言語モデル(LLM)は、トレーニング対象の言語に対して強力な機械翻訳能力を示す。 我々の研究は、Llama2の翻訳能力について論じている。 実験の結果,7B Llama2モデルはこれまでに見たすべての言語に翻訳すると10 BLEU以上になることがわかった。
  論文  参考訳（メタデータ） (2024-02-21T16:32:38Z)
• Breaking the Language Barrier: Improving Cross-Lingual Reasoning with Structured Self-Attention [18.439771003766026]
  多言語言語モデル(MultiLM)が、異なる言語での推論のために微調整された場合、論理的推論能力を他の言語に伝達できるかどうかを検討する。 我々は,MultiLMが言語間の推論能力をモノリンガルな環境で伝達できることを実証した。 この観察に続いて,コードスイッチングシーケンスにおける言語横断的な注意を促すために,専用パラメータセットを用いた新しいアテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-10-23T18:06:38Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• Multilingual Large Language Models Are Not (Yet) Code-Switchers [41.47534626749588]
  大規模言語モデル(LLM)は、最近、幅広いタスクにおいて優れた機能を示している。 発話の中で言語を交互に行う習慣は、いまだにほとんど受け継がれていない。 LLMの現在の「多言語主義」は、本質的にはコードスイッチングテキストの習熟度を示唆していない、と我々は主張する。
  論文  参考訳（メタデータ） (2023-05-23T16:50:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。