論文の概要: LLMs Are Globally Multilingual Yet Locally Monolingual: Exploring Knowledge Transfer via Language and Thought Theory

• arxiv url: http://arxiv.org/abs/2505.24409v1
• Date: Fri, 30 May 2025 09:47:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.884681
• Title: LLMs Are Globally Multilingual Yet Locally Monolingual: Exploring Knowledge Transfer via Language and Thought Theory
• Title（参考訳）: LLMはグローバルに多言語だが局所的に単言語である:言語と思考理論による知識伝達を探求する
• Authors: Eojin Kang, Juae Kim,
• Abstract要約: 我々は、言語と思考理論による非英語から英語への移動を探求する。 本稿では,入力言語,内的認知プロセス,知識の関係を解析するL2T(Language-to-Thought)プロンプト戦略を提案する。
• 参考スコア（独自算出の注目度）: 3.7752830020595787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual large language models (LLMs) open up new possibilities for leveraging information across languages, but their factual knowledge recall remains inconsistent depending on the input language. While previous studies have attempted to address this issue through English-based prompting and evaluation, we explore non-English to English transfer via Language and Thought Theory. This perspective allows us to examine language-thought binding in LLMs and uncover why factual knowledge often fails to transfer effectively. We propose the Language-to-Thought (L2T) prompting strategy, which analyzes the relationship between input language, internal cognitive processes, and knowledge. Experimental results challenge the assumption that English-based approaches consistently outperform other languages and offer a novel insight that aligning the model's internal thought with the knowledge required for the task is critical for successful cross-lingual transfer. Furthermore, we show that applying L2T during training can alleviate LLMs' reliance on the input language and facilitate cross-linguistic knowledge integration without translation-based learning. Code and datasets will be available.
• Abstract（参考訳）: 多言語大言語モデル(LLM)は、言語間で情報を活用する新たな可能性を開くが、実際の知識のリコールは入力言語に依存しないままである。 これまでの研究では、英語によるプロンプトと評価を通じてこの問題に対処しようと試みてきたが、言語と思考理論による非英語から英語への移動について検討した。 この観点から、LLMにおける言語思考のバインディングを調べ、なぜ事実知識が効果的に伝達できないのかを明らかにすることができる。 本稿では,入力言語,内的認知プロセス,知識の関係を解析するL2T(Language-to-Thought)プロンプト戦略を提案する。 実験結果は、英語ベースのアプローチが他の言語を一貫して上回り、モデルの内部思想とタスクに必要な知識を整合させることが言語間移動の成功に不可欠であるという新たな洞察を提供するという仮定に挑戦する。 さらに、学習中にL2Tを適用することで、LLMが入力言語への依存を緩和し、翻訳に基づく学習をせずに言語間知識の統合を促進することを示す。 コードとデータセットが利用可能になる。

関連論文リスト

• Analyzing LLMs' Knowledge Boundary Cognition Across Languages Through the Lens of Internal Representations [72.62400923539234]
  本研究は,LLMが言語間の知識境界をどのように認識するかを解析するための最初の研究である。 1) LLM の知識境界に対する認識は, 言語間の中間層と中間層にコード化されている。
  論文  参考訳（メタデータ） (2025-04-18T17:44:12Z)
• Can Code-Switched Texts Activate a Knowledge Switch in LLMs? A Case Study on English-Korean Code-Switching [14.841981996951395]
  近年の大規模言語モデル (LLM) は多言語能力を示すが, コーパスの訓練において英語が支配的であったため英語中心である。 Code-switching (CS) は、多言語話者が会話の中で言語を交互に交互に話す現象であり、微妙な文化的・言語的なニュアンスを伝えることができる。 その結果,CSは英語のテキストと比較して,特に言語固有の領域において,LSM内の知識を忠実に活性化することができることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T05:14:03Z)
• How Do Multilingual Language Models Remember Facts? [50.13632788453612]
  これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。 我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。 デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Teaching LLMs to Abstain across Languages via Multilingual Feedback [40.84205285309612]
  多言語フィードバックは,多様な言語,文化,コミュニティ間の知識ギャップを識別する上で有効であることを示す。 大規模な実験により、多言語フィードバックアプローチは、様々な強いベースラインよりも優れていることが示された。 さらに分析したところ、多言語フィードバックは多言語話者に役立てるための効果的かつ公平な回避戦略であることがわかった。
  論文  参考訳（メタデータ） (2024-06-22T21:59:12Z)
• A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers [51.8203871494146]
  LLM(Large Language Models)の急速な開発は、自然言語処理における顕著な多言語機能を示している。 LLMのブレークスルーにもかかわらず、多言語シナリオの研究は依然として不十分である。 本調査は,多言語問題に対する研究コミュニティの取り組みを支援することを目的としており,LLMに基づく多言語自然言語処理における中核概念,鍵技術,最新の発展の包括的理解を提供する。
  論文  参考訳（メタデータ） (2024-05-17T17:47:39Z)
• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• Language Representation Projection: Can We Transfer Factual Knowledge across Languages in Multilingual Language Models? [48.88328580373103]
  パラメータフリーの$textbfL$anguage $textbfR$epresentation $textbfP$rojection Module (LRP2)を提案する。 第1のモジュールは非英語の表現を英語のような同値に変換し、第2のモジュールは英語のような表現を対応する非英語の表現に戻す。 mLAMAデータセットによる実験結果から,LRP2は事実知識検索の精度を大幅に向上し,多種多様な非英語言語間の知識伝達を容易にすることが示された。
  論文  参考訳（メタデータ） (2023-11-07T08:16:16Z)
• Are Structural Concepts Universal in Transformer Language Models? Towards Interpretable Cross-Lingual Generalization [27.368684663279463]
  本稿では,言語間の概念対応を明確に整合させ,言語間の一般化を促進する可能性について検討する。 言語構文の側面をテストベッドとして,43言語を解析した結果,高い整合性を示した。 本稿では,メタラーニングに基づく概念空間の整合学習手法を提案する。
  論文  参考訳（メタデータ） (2023-10-19T14:50:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。