論文の概要: Under the Shadow of Babel: How Language Shapes Reasoning in LLMs

• arxiv url: http://arxiv.org/abs/2506.16151v1
• Date: Thu, 19 Jun 2025 09:06:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.010094
• Title: Under the Shadow of Babel: How Language Shapes Reasoning in LLMs
• Title（参考訳）: Babelの影の下で - LLMにおける言語形状の推論
• Authors: Chenxi Wang, Yixuan Zhang, Lang Gao, Zixiang Xu, Zirui Song, Yanbo Wang, Xiuying Chen,
• Abstract要約: 大規模言語モデルは,様々な言語に埋め込まれた習慣的論理構造を内部化することを示す。 1)LLMは,中国語の語源や文の初期接続性に注目しつつ,英語のバランスの取れた分布を示す。
• 参考スコア（独自算出の注目度）: 27.48119976373105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language is not only a tool for communication but also a medium for human cognition and reasoning. If, as linguistic relativity suggests, the structure of language shapes cognitive patterns, then large language models (LLMs) trained on human language may also internalize the habitual logical structures embedded in different languages. To examine this hypothesis, we introduce BICAUSE, a structured bilingual dataset for causal reasoning, which includes semantically aligned Chinese and English samples in both forward and reversed causal forms. Our study reveals three key findings: (1) LLMs exhibit typologically aligned attention patterns, focusing more on causes and sentence-initial connectives in Chinese, while showing a more balanced distribution in English. (2) Models internalize language-specific preferences for causal word order and often rigidly apply them to atypical inputs, leading to degraded performance, especially in Chinese. (3) When causal reasoning succeeds, model representations converge toward semantically aligned abstractions across languages, indicating a shared understanding beyond surface form. Overall, these results suggest that LLMs not only mimic surface linguistic forms but also internalize the reasoning biases shaped by language. Rooted in cognitive linguistic theory, this phenomenon is for the first time empirically verified through structural analysis of model internals.
• Abstract（参考訳）: 言語はコミュニケーションの道具であるだけでなく、人間の認知と推論の媒体でもある。 言語相対性理論が示すように、言語の構造が認知パターンを形作るなら、人間の言語で訓練された大きな言語モデル(LLM)は、異なる言語に埋め込まれた習慣的論理構造を内在化することもできる。 因果推論のための構造化バイリンガルデータセットであるBICAUSEを紹介する。 1)LLMは,中国語の語源や文の初期接続性に注目しつつ,英語のバランスの取れた分布を示す。 2) 因果語順に対する言語固有の嗜好を内在化し, しばしば非典型的入力に厳格に適用することにより, 特に中国語における性能低下につながった。 (3)因果推論が成功すると、モデル表現は言語間の意味論的に整合した抽象概念へと収束し、表面形式を超えた共通理解を示す。 これらの結果から,LLMは表面言語形態を模倣するだけでなく,言語によって形成される推論バイアスを内在化させることが示唆された。 認知言語理論に根ざしたこの現象は、モデル内部の構造解析を通じて経験的に検証された初めての現象である。

関連論文リスト

• When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
  言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。 トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
  論文  参考訳（メタデータ） (2025-05-21T08:35:05Z)
• Language Mixing in Reasoning Language Models: Patterns, Impact, and Internal Causes [49.770097731093216]
  RLM(Reasoning Language Model)は、チェーン・オブ・シント・プロセスを利用して構造化中間ステップを生成することで、複雑なタスクに優れる。 言語混合、すなわちプロンプト以外の言語からのトークンを含む推論ステップがアウトプットで観測され、性能に影響することが示されている。 本研究では, RLMにおける言語混合に関する最初の体系的研究を行い, そのパターン, 影響, 内部要因を15言語にわたって検討した。
  論文  参考訳（メタデータ） (2025-05-20T18:26:53Z)
• On the Thinking-Language Modeling Gap in Large Language Models [68.83670974539108]
  言語と思考のモデリングには大きなギャップがあることが示される。 本稿では,このギャップを実証し緩和するために,Language-of-Thoughts (LoT) と呼ばれる新しいプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2025-05-19T09:31:52Z)
• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• Randomly Sampled Language Reasoning Problems Explain Limits of LLMs [8.146860674148044]
  LLMは機械学習の分野に革命をもたらした。 彼らは計画が不十分で、誤った答えを幻覚し、同じタスクのあまり標準的でないバージョンのパフォーマンスを低下させ、様々な特定のプロンプトで誤って答えることが知られている。 本稿では,LLMの低性能要因としてノベルティの分離を試みる。
  論文  参考訳（メタデータ） (2025-01-06T07:57:51Z)
• Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
  言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。 我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。 その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
  論文  参考訳（メタデータ） (2024-04-29T17:58:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。