論文の概要: From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning

• arxiv url: http://arxiv.org/abs/2505.17117v5
• Date: Thu, 25 Sep 2025 21:34:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 16:35:18.85764
• Title: From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning
• Title（参考訳）: トークンから思考へ:LLMと人間はいかにして意味の圧縮を交換するか
• Authors: Chen Shani, Liron Soffer, Dan Jurafsky, Yann LeCun, Ravid Shwartz-Ziv,
• Abstract要約: 大きな言語モデル (LLMs) は言語能力を示すが、同じバランスをとれるかどうかは不明だ。 本稿では,LLMと人間を定量的に比較するために,Information Bottleneckの原理を適用した。
• 参考スコア（独自算出の注目度）: 63.25540801694765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans organize knowledge into compact categories that balance compression with semantic meaning preservation. Large Language Models (LLMs) demonstrate striking linguistic abilities, yet whether they achieve this same balance remains unclear. We apply the Information Bottleneck principle to quantitatively compare how LLMs and humans navigate this compression-meaning trade-off. Analyzing embeddings from 40+ LLMs against classic human categorization benchmarks, we uncover three key findings. First, LLMs broadly align with human categories but miss fine-grained semantic distinctions crucial for human understanding. Second, LLMs demonstrate aggressive statistical compression, achieving ``optimal'' information-theoretic efficiency, while humans prioritize contextual richness and adaptive flexibility. Third, encoder models surprisingly outperform decoder models in human alignment, suggesting that generation and understanding rely on distinct mechanisms in current architectures. In addition, training dynamics analysis reveals that conceptual structure develops in distinct phases: rapid initial formation followed by architectural reorganization, with semantic processing migrating from deeper to mid-network layers as models discover more efficient encoding. These divergent strategies, where LLMs optimize for compression and humans for adaptive utility, reveal fundamental differences between artificial and biological intelligence, guiding development toward more human-aligned AI.
• Abstract（参考訳）: 人間は知識を圧縮と意味保存のバランスをとるコンパクトなカテゴリに分類する。 大きな言語モデル (LLMs) は言語能力を示すが、同じバランスをとれるかどうかは不明だ。 本稿では,LLMと人間を定量的に比較するために,Information Bottleneckの原理を適用した。 40以上のLDMの埋め込みを古典的な人間の分類基準と比較した結果,3つの重要な知見が得られた。 第一に、LLMは人間のカテゴリと広く一致しているが、人間の理解に不可欠な細粒度のセマンティックな区別を見逃している。 第2に、LLMは「最適」の情報理論効率を達成し、人間は文脈的豊かさと適応的柔軟性を優先する。 第三に、エンコーダモデルは人間のアライメントにおいて驚くほどデコーダモデルよりも優れており、生成と理解は現在のアーキテクチャにおける異なるメカニズムに依存していることを示唆している。 モデルがより効率的な符号化を発見すると、セマンティック処理は深層から中層へと移行する。 これらの分散戦略は、LLMが圧縮を最適化し、人間を適応ユーティリティに最適化するものであり、人工知能と生物学的知能の根本的な違いを明らかにし、より人間に整合したAIに向けた開発を導く。

関連論文リスト

• How Deep is Love in LLMs' Hearts? Exploring Semantic Size in Human-like Cognition [75.11808682808065]
  本研究では,大言語モデル (LLM) が意味的サイズを理解する上で類似した傾向を示すかどうかを検討する。 以上の結果から,マルチモーダルトレーニングはLLMにとって人間的な理解を深める上で不可欠であることが示唆された。 最後に,LLMが実世界のWebショッピングシナリオにおいて,より大きなセマンティックサイズを持つ注目の見出しに影響されているかを検討する。
  論文  参考訳（メタデータ） (2025-03-01T03:35:56Z)
• Human-like conceptual representations emerge from language prediction [72.5875173689788]
  大規模言語モデル(LLMs)は、言語データに対する次世代の予測を通じてのみ訓練され、顕著な人間的な振る舞いを示す。 これらのモデルは、人間に似た概念を発達させ、もしそうなら、そのような概念はどのように表現され、組織化されるのか? 以上の結果から,LLMは言語記述から他の概念に関する文脈的手がかりに関して柔軟に概念を導出できることが示唆された。 これらの結果は、構造化された人間のような概念表現が、現実世界の接地なしに言語予測から自然に現れることを証明している。
  論文  参考訳（メタデータ） (2025-01-21T23:54:17Z)
• VladVA: Discriminative Fine-tuning of LVLMs [67.14293827774827]
  CLIPのような対照的に訓練された視覚言語モデル(VLM)は、識別的視覚言語表現学習の事実上のアプローチとなっている。 我々は,LVLMの識別的微調整のための新たな訓練手法である「両世界のベスト」を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2024-12-05T17:54:27Z)
• Human-like object concept representations emerge naturally in multimodal large language models [24.003766123531545]
  大規模言語モデル(LLM)における対象概念表現と人間の認知との関係を考察するために,行動解析と神経画像解析を併用した。 我々の発見は、マシンインテリジェンスに対する理解を深め、より人間的な人工知能システムの開発に報いる。
  論文  参考訳（メタデータ） (2024-07-01T08:17:19Z)
• LLMs as Models for Analogical Reasoning [14.412456982731467]
  アナロジカル推論は人間の認知と学習の基本である。 近年の研究では、大きな言語モデルが類似の推論タスクにおいて人間と一致することが示されている。
  論文  参考訳（メタデータ） (2024-06-19T20:07:37Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Interpretability is in the Mind of the Beholder: A Causal Framework for Human-interpretable Representation Learning [22.201878275784246]
  説明可能なAIは、入力機能などの低レベル要素の観点から定義された説明から、データから学んだ解釈可能な概念でエンコードされた説明へとシフトしている。 しかし、そのような概念を確実に取得する方法は、基本的には不明確である。 ポストホックな説明器と概念に基づくニューラルネットワークの両方に適した解釈可能な表現を得るための数学的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-14T14:26:20Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• The Fluidity of Concept Representations in Human Brain Signals [0.0]
  我々はfMRIデータにおける具体的な概念と抽象概念の識別可能性を分析する。 我々は流体概念の表現が人間の言語処理のより現実的なモデルに繋がると主張している。
  論文  参考訳（メタデータ） (2020-02-20T17:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。