論文の概要: From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning

• arxiv url: http://arxiv.org/abs/2505.17117v2
• Date: Mon, 26 May 2025 21:13:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 12:08:55.064285
• Title: From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning
• Title（参考訳）: トークンから思考へ:LLMと人間はいかにして意味の圧縮を交換するか
• Authors: Chen Shani, Dan Jurafsky, Yann LeCun, Ravid Shwartz-Ziv,
• Abstract要約: 人間は知識をセマンティック圧縮によってコンパクトなカテゴリに分類する。 大規模言語モデル(LLM)は、顕著な言語能力を示す。 しかし、その内部表現が、圧縮と意味的忠実性の間の人間のようなトレードオフにぶつかるかどうかは不明だ。
• 参考スコア（独自算出の注目度）: 52.32745233116143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans organize knowledge into compact categories through semantic compression by mapping diverse instances to abstract representations while preserving meaning (e.g., robin and blue jay are both birds; most birds can fly). These concepts reflect a trade-off between expressive fidelity and representational simplicity. Large Language Models (LLMs) demonstrate remarkable linguistic abilities, yet whether their internal representations strike a human-like trade-off between compression and semantic fidelity is unclear. We introduce a novel information-theoretic framework, drawing from Rate-Distortion Theory and the Information Bottleneck principle, to quantitatively compare these strategies. Analyzing token embeddings from a diverse suite of LLMs against seminal human categorization benchmarks, we uncover key divergences. While LLMs form broad conceptual categories that align with human judgment, they struggle to capture the fine-grained semantic distinctions crucial for human understanding. More fundamentally, LLMs demonstrate a strong bias towards aggressive statistical compression, whereas human conceptual systems appear to prioritize adaptive nuance and contextual richness, even if this results in lower compressional efficiency by our measures. These findings illuminate critical differences between current AI and human cognitive architectures, guiding pathways toward LLMs with more human-aligned conceptual representations.
• Abstract（参考訳）: 人間は、多種多様なインスタンスを抽象表現にマッピングし、意味を保存することで、知識をコンパクトなカテゴリーに分類する(例えば、ロビンとブルージェイはどちらも鳥であり、ほとんどの鳥は飛ぶことができる)。 これらの概念は表現的忠実さと表現的単純さのトレードオフを反映している。 大きな言語モデル (LLM) は言語能力に優れるが、その内部表現が圧縮と意味的忠実性の間の人間のようなトレードオフにぶつかっているかどうかは不明である。 本稿では,これらの戦略を定量的に比較するために,レート・ディストーション理論とインフォメーション・ボトルネックの原理を取り入れた新しい情報理論フレームワークを提案する。 トークンの埋め込み分析により,重要な違いが明らかになった。 LLMは人間の判断に沿う幅広い概念的なカテゴリーを形成するが、人間の理解に不可欠な細かな意味的区別を捉えるのに苦労している。 より根本的には、LLMは攻撃的な統計的圧縮に対する強いバイアスを示す一方、人間の概念体系は適応的ニュアンスと文脈的豊かさを優先しているように見える。 これらの知見は、現在のAIと人間の認知アーキテクチャの重大な違いを解明し、より人間に整合した概念表現を持つLLMへの経路を導いた。

関連論文リスト

• How Deep is Love in LLMs' Hearts? Exploring Semantic Size in Human-like Cognition [75.11808682808065]
  本研究では,大言語モデル (LLM) が意味的サイズを理解する上で類似した傾向を示すかどうかを検討する。 以上の結果から,マルチモーダルトレーニングはLLMにとって人間的な理解を深める上で不可欠であることが示唆された。 最後に,LLMが実世界のWebショッピングシナリオにおいて,より大きなセマンティックサイズを持つ注目の見出しに影響されているかを検討する。
  論文  参考訳（メタデータ） (2025-03-01T03:35:56Z)
• Human-like conceptual representations emerge from language prediction [72.5875173689788]
  大規模言語モデル(LLMs)は、言語データに対する次世代の予測を通じてのみ訓練され、顕著な人間的な振る舞いを示す。 これらのモデルは、人間に似た概念を発達させ、もしそうなら、そのような概念はどのように表現され、組織化されるのか? 以上の結果から,LLMは言語記述から他の概念に関する文脈的手がかりに関して柔軟に概念を導出できることが示唆された。 これらの結果は、構造化された人間のような概念表現が、現実世界の接地なしに言語予測から自然に現れることを証明している。
  論文  参考訳（メタデータ） (2025-01-21T23:54:17Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Interpretability is in the Mind of the Beholder: A Causal Framework for Human-interpretable Representation Learning [22.201878275784246]
  説明可能なAIは、入力機能などの低レベル要素の観点から定義された説明から、データから学んだ解釈可能な概念でエンコードされた説明へとシフトしている。 しかし、そのような概念を確実に取得する方法は、基本的には不明確である。 ポストホックな説明器と概念に基づくニューラルネットワークの両方に適した解釈可能な表現を得るための数学的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-14T14:26:20Z)
• The Fluidity of Concept Representations in Human Brain Signals [0.0]
  我々はfMRIデータにおける具体的な概念と抽象概念の識別可能性を分析する。 我々は流体概念の表現が人間の言語処理のより現実的なモデルに繋がると主張している。
  論文  参考訳（メタデータ） (2020-02-20T17:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。