論文の概要: Language of Thought Shapes Output Diversity in Large Language Models

• arxiv url: http://arxiv.org/abs/2601.11227v1
• Date: Fri, 16 Jan 2026 12:14:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-19 20:21:50.481254
• Title: Language of Thought Shapes Output Diversity in Large Language Models
• Title（参考訳）: 思考形状の言語は大規模言語モデルにおける多様性を出力する
• Authors: Shaoyang Xu, Wenxuan Zhang,
• Abstract要約: 異なる思考言語がモデルの思考空間の異なる領域を占めることを示す。 思考言語を英語から非英語に切り替えることで、出力の多様性が一貫して向上することが実証された。 これらの知見は多元的アライメントのシナリオにおいて実用的利益をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 19.140956219362874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Output diversity is crucial for Large Language Models as it underpins pluralism and creativity. In this work, we reveal that controlling the language used during model thinking-the language of thought-provides a novel and structural source of output diversity. Our preliminary study shows that different thinking languages occupy distinct regions in a model's thinking space. Based on this observation, we study two repeated sampling strategies under multilingual thinking-Single-Language Sampling and Mixed-Language Sampling-and conduct diversity evaluation on outputs that are controlled to be in English, regardless of the thinking language used. Across extensive experiments, we demonstrate that switching the thinking language from English to non-English languages consistently increases output diversity, with a clear and consistent positive correlation such that languages farther from English in the thinking space yield larger gains. We further show that aggregating samples across multiple thinking languages yields additional improvements through compositional effects, and that scaling sampling with linguistic heterogeneity expands the model's diversity ceiling. Finally, we show that these findings translate into practical benefits in pluralistic alignment scenarios, leading to broader coverage of cultural knowledge and value orientations in LLM outputs. Our code is publicly available at https://github.com/iNLP-Lab/Multilingual-LoT-Diversity.
• Abstract（参考訳）: 出力の多様性は、多元主義と創造性を支えるため、大規模言語モデルにとって不可欠である。 本稿では,モデル思考における言語制御について述べる。思考の言語は,出力の多様性の新規かつ構造的な源となる。 予備的な研究では、異なる思考言語がモデルの思考空間の異なる領域を占めることを示した。 本研究は,多言語的思考・言語サンプリングと混合言語サンプリングの2つの繰り返しサンプリング戦略について検討し,使用する思考言語によらず,英語で制御される出力に対して多様性評価を行う。 広範にわたる実験において、思考言語を英語から非英語言語に切り替えることで、出力の多様性が一貫して増加し、思考空間における英語から遠く離れた言語がより大きな利益をもたらすという明確な正の相関が示される。 さらに、複数の思考言語にまたがってサンプルを集約することで、構成効果によってさらなる改善が得られ、言語的不均一性によるスケーリングサンプリングがモデルの多様性の天井を広げることを示す。 最後に,これらの知見は多元的アライメントのシナリオにおける実践的メリットに変換され,LLM出力における文化的知識と価値指向の広範な範囲に繋がることを示す。 私たちのコードはhttps://github.com/iNLP-Lab/Multilingual-LoT-Diversity.comで公開されています。

関連論文リスト

• LOLA -- An Open-Source Massively Multilingual Large Language Model [1.5704590739448838]
  LOLAは160以上の言語で訓練された多言語大言語モデルである。 私たちのアーキテクチャと実装の選択は、言語多様性を活用するという課題に対処します。 学習したエキスパート・ルーティング機構は、暗黙の系統パターンを利用して、多言語性の呪いを和らげる可能性があることを示す。
  論文  参考訳（メタデータ） (2024-09-17T15:23:08Z)
• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
  多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。 我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。