論文の概要: Do Multilingual LLMs Think In English?

• arxiv url: http://arxiv.org/abs/2502.15603v1
• Date: Fri, 21 Feb 2025 17:19:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:39.922590
• Title: Do Multilingual LLMs Think In English?
• Title（参考訳）: LLMは英語で考えるか?
• Authors: Lisa Schut, Yarin Gal, Sebastian Farquhar,
• Abstract要約: 大規模言語モデル(LLM)は多言語機能を持ち、様々な言語でタスクを解くことができる。 入力言語や出力言語に関係なく、現在のLLMが英語に最も近い表現空間において重要な決定を行うことを示す。
• 参考スコア（独自算出の注目度）: 46.67798728375628
• License:
• Abstract: Large language models (LLMs) have multilingual capabilities and can solve tasks across various languages. However, we show that current LLMs make key decisions in a representation space closest to English, regardless of their input and output languages. Exploring the internal representations with a logit lens for sentences in French, German, Dutch, and Mandarin, we show that the LLM first emits representations close to English for semantically-loaded words before translating them into the target language. We further show that activation steering in these LLMs is more effective when the steering vectors are computed in English rather than in the language of the inputs and outputs. This suggests that multilingual LLMs perform key reasoning steps in a representation that is heavily shaped by English in a way that is not transparent to system users.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多言語機能を持ち、様々な言語でタスクを解くことができる。 しかし、現在のLLMは、入力言語や出力言語に関係なく、英語に最も近い表現空間において重要な決定を下すことを示す。 フランス語、ドイツ語、オランダ語、マンダリンの文に対するロジットレンズを用いて内部表現を探索し、LLMはまず、意味的にロードされた単語に対して英語に近い表現を出力し、その後ターゲット言語に翻訳する。 さらに、これらのLCMの活性化ステアリングは、入力と出力の言語よりも、英語でステアリングベクトルを計算した場合の方が効果的であることを示す。 このことは、多言語LLMが、システムユーザにとって透明でない方法で、英語で大きく形づくられた表現において、重要な推論ステップを実行することを示唆している。

関連論文リスト

• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Pruning Multilingual Large Language Models for Multilingual Inference [28.36717615166238]
  本研究では,非英語言語におけるMLLMのゼロショット性能を向上させる方法について検討する。 まず、翻訳を行う際のMLLMの挙動を分析し、翻訳過程において重要な役割を果たす大きな特徴があることを明らかにする。
  論文  参考訳（メタデータ） (2024-09-25T13:15:50Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• MindMerger: Efficient Boosting LLM Reasoning in non-English Languages [26.334092384176518]
  推論能力は大規模言語モデル(LLM)にとって不可欠である 我々は,多言語モデルからLLMと外部言語理解機能を融合したMindMergerを提案する。 MindMergerは、特に低リソース言語において、すべてのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2024-05-27T17:41:54Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models [79.46179534911019]
  大規模言語モデル (LLM) は多言語機能を示しているが、トレーニングコーパスの不均衡のため、主に英語中心である。 この作業は、NLPタスクから実際のユーザクエリまで、評価を拡張します。 深い言語理解を必要とする文化関連のタスクでは、ネイティブ言語のプロンプトがより有望になる傾向があります。
  論文  参考訳（メタデータ） (2024-03-15T12:47:39Z)
• Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions [68.01449013641532]
  大規模事前学習言語モデル(LLM)は多言語翻訳において強力な能力を示している。 本稿では,多言語事前学習言語モデルであるXGLM-7Bを微調整して,多言語翻訳を行う方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T12:00:24Z)
• Don't Trust ChatGPT when Your Question is not in English: A Study of Multilingual Abilities and Types of LLMs [16.770697902481107]
  大規模言語モデル(LLM)は、例外的な自然言語理解能力を示している。 本論文では,多言語環境下でのLLMの性能格差を体系的に評価する方法を提案する。 その結果,GPTは多言語設定において高い翻訳的振る舞いを示すことがわかった。
  論文  参考訳（メタデータ） (2023-05-24T02:05:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。