論文の概要: Culturally transmitted color categories in LLMs reflect a learning bias toward efficient compression
- arxiv url: http://arxiv.org/abs/2509.08093v1
- Date: Tue, 09 Sep 2025 19:00:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-11 15:16:52.232859
- Title: Culturally transmitted color categories in LLMs reflect a learning bias toward efficient compression
- Title(参考訳): LLMにおける文化的に伝達される色カテゴリーは、効率的な圧縮に向けた学習バイアスを反映する
- Authors: Nathaniel Imel, Noga Zaslavsky,
- Abstract要約: 我々は、分類の認知理論の鍵となるテストベッドとして色領域に焦点を当てる。
我々は英語のカラーネーム研究を行い、ジェミニは英語母語話者の命名パターンとよく一致していることを示した。
大言語モデルにおける擬似色命名システムの文化的進化をシミュレートする。
- 参考スコア(独自算出の注目度): 2.3204178451683264
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Converging evidence suggests that systems of semantic categories across human languages achieve near-optimal compression via the Information Bottleneck (IB) complexity-accuracy principle. Large language models (LLMs) are not trained for this objective, which raises the question: are LLMs capable of evolving efficient human-like semantic systems? To address this question, we focus on the domain of color as a key testbed of cognitive theories of categorization and replicate with LLMs (Gemini 2.0-flash and Llama 3.3-70B-Instruct) two influential human behavioral studies. First, we conduct an English color-naming study, showing that Gemini aligns well with the naming patterns of native English speakers and achieves a significantly high IB-efficiency score, while Llama exhibits an efficient but lower complexity system compared to English. Second, to test whether LLMs simply mimic patterns in their training data or actually exhibit a human-like inductive bias toward IB-efficiency, we simulate cultural evolution of pseudo color-naming systems in LLMs via iterated in-context language learning. We find that akin to humans, LLMs iteratively restructure initially random systems towards greater IB-efficiency and increased alignment with patterns observed across the world's languages. These findings demonstrate that LLMs are capable of evolving perceptually grounded, human-like semantic systems, driven by the same fundamental principle that governs semantic efficiency across human languages.
- Abstract(参考訳): 収束する証拠は、人間の言語にまたがるセマンティックなカテゴリーのシステムは、情報ボトルネック(IB)の複雑性-正確性原理を介して、ほぼ最適に圧縮できることを示している。
大きな言語モデル(LLM)は、この目的のために訓練されていない。
この問題に対処するために、我々は、LLM(Gemini 2.0-flashおよびLlama 3.3-70B-Instruct)による分類と複製の認知理論の鍵となるテストベッドとしての色の領域に焦点を当てた。
まず、ジェミニは英語話者の命名パターンとよく一致し、非常に高いIB効率のスコアを得る一方、Llamaは英語に比べて効率的だがより低い複雑性のシステムを示す。
第2に、LLMが単にトレーニングデータ中のパターンを模倣するか、実際にIB効率に対する人間的な帰納的バイアスを示すかをテストするために、反復した文脈内言語学習を通して、LLMにおける擬似色命名システムの文化的進化をシミュレートする。
人間と同様に、LLMは、当初無作為なシステムを、より優れたIB効率に向けて反復的に再構築し、世界中の言語で見られるパターンとの整合性を高めている。
これらの結果から、LLMは人間の言語全体にわたって意味効率を管理するのと同じ基本原理により、知覚的基盤を持つ人間のような意味体系を進化させることができることが示唆された。
関連論文リスト
- Explicit Learning and the LLM in Machine Translation [23.7663178803576]
本研究は,文法書に記載された説明を用いて,LLMが新しい言語を学ぶ能力について考察する。
しかし、この能力は、学習する言語現象の複雑さが増加するにつれて低下する。
論文 参考訳(メタデータ) (2025-03-12T14:57:08Z) - VladVA: Discriminative Fine-tuning of LVLMs [67.14293827774827]
CLIPのような対照的に訓練された視覚言語モデル(VLM)は、識別的視覚言語表現学習の事実上のアプローチとなっている。
我々は,LVLMの識別的微調整のための新たな訓練手法である「両世界のベスト」を組み合わせることを提案する。
論文 参考訳(メタデータ) (2024-12-05T17:54:27Z) - Large Language Models as Neurolinguistic Subjects: Discrepancy between Performance and Competence [49.60849499134362]
本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。
ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
その結果,(1)心理言語学的・神経言語学的手法では,言語能力と能力が異なっていること,(2)直接確率測定では言語能力が正確に評価されないこと,(3)指導のチューニングでは能力が大きく変化しないが,性能は向上しないことがわかった。
論文 参考訳(メタデータ) (2024-11-12T04:16:44Z) - Converging to a Lingua Franca: Evolution of Linguistic Regions and Semantics Alignment in Multilingual Large Language Models [11.423589362950812]
大規模言語モデル(LLM)は、特に多言語文脈において顕著な性能を示した。
近年の研究では、LLMは、ある言語で学んだスキルを他の言語に伝達することができることが示唆されているが、この能力の背後にある内部メカニズムはいまだ不明である。
本稿では,LLMの内部動作に関する知見を提供し,言語間能力の向上のための基盤を提供する。
論文 参考訳(メタデータ) (2024-10-15T15:49:15Z) - HLB: Benchmarking LLMs' Humanlikeness in Language Use [2.438748974410787]
20大言語モデル(LLM)を評価する総合的人間類似度ベンチマーク(HLB)を提案する。
実験では2000人以上の被験者から回答を収集し,LSMの成果と比較した。
以上の結果から,LLMが様々な言語レベルにおいてヒトの反応をいかにうまく再現するかの微妙な相違が明らかとなった。
論文 参考訳(メタデータ) (2024-09-24T09:02:28Z) - Large Language Models are Interpretable Learners [53.56735770834617]
本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。
自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。
LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
論文 参考訳(メタデータ) (2024-06-25T02:18:15Z) - The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。
LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。
以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2024-03-25T19:07:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。