論文の概要: From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning

• arxiv url: http://arxiv.org/abs/2505.17117v5
• Date: Thu, 25 Sep 2025 21:34:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 16:35:18.85764
• Title: From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning
• Title（参考訳）: トークンから思考へ:LLMと人間はいかにして意味の圧縮を交換するか
• Authors: Chen Shani, Liron Soffer, Dan Jurafsky, Yann LeCun, Ravid Shwartz-Ziv,
• Abstract要約: 大きな言語モデル (LLMs) は言語能力を示すが、同じバランスをとれるかどうかは不明だ。 本稿では,LLMと人間を定量的に比較するために,Information Bottleneckの原理を適用した。
• 参考スコア（独自算出の注目度）: 63.25540801694765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans organize knowledge into compact categories that balance compression with semantic meaning preservation. Large Language Models (LLMs) demonstrate striking linguistic abilities, yet whether they achieve this same balance remains unclear. We apply the Information Bottleneck principle to quantitatively compare how LLMs and humans navigate this compression-meaning trade-off. Analyzing embeddings from 40+ LLMs against classic human categorization benchmarks, we uncover three key findings. First, LLMs broadly align with human categories but miss fine-grained semantic distinctions crucial for human understanding. Second, LLMs demonstrate aggressive statistical compression, achieving ``optimal'' information-theoretic efficiency, while humans prioritize contextual richness and adaptive flexibility. Third, encoder models surprisingly outperform decoder models in human alignment, suggesting that generation and understanding rely on distinct mechanisms in current architectures. In addition, training dynamics analysis reveals that conceptual structure develops in distinct phases: rapid initial formation followed by architectural reorganization, with semantic processing migrating from deeper to mid-network layers as models discover more efficient encoding. These divergent strategies, where LLMs optimize for compression and humans for adaptive utility, reveal fundamental differences between artificial and biological intelligence, guiding development toward more human-aligned AI.
• Abstract（参考訳）: 人間は知識を圧縮と意味保存のバランスをとるコンパクトなカテゴリに分類する。 大きな言語モデル (LLMs) は言語能力を示すが、同じバランスをとれるかどうかは不明だ。 本稿では,LLMと人間を定量的に比較するために,Information Bottleneckの原理を適用した。 40以上のLDMの埋め込みを古典的な人間の分類基準と比較した結果,3つの重要な知見が得られた。 第一に、LLMは人間のカテゴリと広く一致しているが、人間の理解に不可欠な細粒度のセマンティックな区別を見逃している。 第2に、LLMは「最適」の情報理論効率を達成し、人間は文脈的豊かさと適応的柔軟性を優先する。 第三に、エンコーダモデルは人間のアライメントにおいて驚くほどデコーダモデルよりも優れており、生成と理解は現在のアーキテクチャにおける異なるメカニズムに依存していることを示唆している。 モデルがより効率的な符号化を発見すると、セマンティック処理は深層から中層へと移行する。 これらの分散戦略は、LLMが圧縮を最適化し、人間を適応ユーティリティに最適化するものであり、人工知能と生物学的知能の根本的な違いを明らかにし、より人間に整合したAIに向けた開発を導く。

関連論文リスト

• Emerging Human-like Strategies for Semantic Memory Foraging in Large Language Models [0.8749675983608171]
  人間とLarge Language Models (LLM) はどちらも、意味記憶の巨大なリポジトリを格納している。 人間では、このメモリストアへの効率的で戦略的アクセスは、様々な認知機能にとって重要な基盤である。
  論文  参考訳（メタデータ） (2026-03-02T12:55:51Z)
• UniCog: Uncovering Cognitive Abilities of LLMs through Latent Mind Space Analysis [69.50752734049985]
  成長する研究機関は、大きな言語モデル(LLM)の認知過程が人間のものと根本的に異なることを示唆している。 潜在心空間を介してLLM認知を分析する統一フレームワークUniCogを提案する。
  論文  参考訳（メタデータ） (2026-01-25T16:19:00Z)
• A Brain-like Synergistic Core in LLMs Drives Behaviour and Learning [50.68188138112555]
  大規模言語モデルが自然に相乗的コアを開発することを示す。 中層の領域は相乗的処理を示し, 初期層と後期層は冗長性に依存していることがわかった。 この収束は、シナジスティック情報処理が知性の基本的な性質であることを示している。
  論文  参考訳（メタデータ） (2026-01-11T10:48:35Z)
• From Five Dimensions to Many: Large Language Models as Precise and Interpretable Psychological Profilers [14.983442449498739]
  本研究は,人間の心理特性の相関構造を,最小の量的入力からモデル化できるかどうかについて検討する。 我々は816人の個人から、他の9つの心理的尺度でのロールプレイを行うために、ビッグファイブ・パーソナリティ・スケールの反応を持つ様々なLSMを誘導した。 LLMは人間の心理的構造を捉えるのに顕著な精度を示した。
  論文  参考訳（メタデータ） (2025-11-05T06:51:13Z)
• Uncovering the Computational Ingredients of Human-Like Representations in LLMs [8.00888290370075]
  人のような表現を発達させるモデルを構築する上で、これらの材料のうちどれが最も重要なのかは、いまだに不明である。 現在のベンチマークのほとんどは、人間とモデルの間の表現的アライメントの測定には適していない。
  論文  参考訳（メタデータ） (2025-10-01T15:37:19Z)
• LLM-Guided Semantic Relational Reasoning for Multimodal Intent Recognition [14.683883775425821]
  本稿では,マルチモーダル信号から人間の意図を理解する新しい手法を提案する。 この方法は、大きな言語モデル(LLM)の拡張的な知識を活用して意味的基盤を確立する。 マルチモーダルな意図と対話行動タスクの実験は、LGSRRが最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-09-01T10:18:47Z)
• Latent Preference Coding: Aligning Large Language Models via Discrete Latent Codes [54.93980123979578]
  我々は、暗黙の要因をモデル化する新しいフレームワークであるLatent Preference Coding (LPC)を紹介する。 LPCは様々なオフラインアライメントアルゴリズムとシームレスに統合し、基礎となる要因とデータからその重要性を自動的に推測する。
  論文  参考訳（メタデータ） (2025-05-08T06:59:06Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• How Deep is Love in LLMs' Hearts? Exploring Semantic Size in Human-like Cognition [75.11808682808065]
  本研究では,大言語モデル (LLM) が意味的サイズを理解する上で類似した傾向を示すかどうかを検討する。 以上の結果から,マルチモーダルトレーニングはLLMにとって人間的な理解を深める上で不可欠であることが示唆された。 最後に,LLMが実世界のWebショッピングシナリオにおいて,より大きなセマンティックサイズを持つ注目の見出しに影響されているかを検討する。
  論文  参考訳（メタデータ） (2025-03-01T03:35:56Z)
• Human-like conceptual representations emerge from language prediction [72.5875173689788]
  大規模言語モデル(LLMs)は、言語データに対する次世代の予測を通じてのみ訓練され、顕著な人間的な振る舞いを示す。 これらのモデルは、人間に似た概念を発達させ、もしそうなら、そのような概念はどのように表現され、組織化されるのか? 以上の結果から,LLMは言語記述から他の概念に関する文脈的手がかりに関して柔軟に概念を導出できることが示唆された。 これらの結果は、構造化された人間のような概念表現が、現実世界の接地なしに言語予測から自然に現れることを証明している。
  論文  参考訳（メタデータ） (2025-01-21T23:54:17Z)
• VladVA: Discriminative Fine-tuning of LVLMs [67.14293827774827]
  CLIPのような対照的に訓練された視覚言語モデル(VLM)は、識別的視覚言語表現学習の事実上のアプローチとなっている。 我々は,LVLMの識別的微調整のための新たな訓練手法である「両世界のベスト」を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2024-12-05T17:54:27Z)
• Human-like object concept representations emerge naturally in multimodal large language models [24.003766123531545]
  大規模言語モデル(LLM)における対象概念表現と人間の認知との関係を考察するために,行動解析と神経画像解析を併用した。 我々の発見は、マシンインテリジェンスに対する理解を深め、より人間的な人工知能システムの開発に報いる。
  論文  参考訳（メタデータ） (2024-07-01T08:17:19Z)
• LLMs as Models for Analogical Reasoning [14.412456982731467]
  アナロジカル推論は人間の認知と学習の基本である。 近年の研究では、大きな言語モデルが類似の推論タスクにおいて人間と一致することが示されている。
  論文  参考訳（メタデータ） (2024-06-19T20:07:37Z)
• Contextual Feature Extraction Hierarchies Converge in Large Language Models and the Brain [12.92793034617015]
  大規模言語モデル(LLM)がベンチマークタスクで高いパフォーマンスを達成するにつれ、より脳に近いものになることを示す。 また、モデルの性能と脳の類似性を改善する上で、文脈情報の重要性を示す。
  論文  参考訳（メタデータ） (2024-01-31T08:48:35Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Interpretability is in the Mind of the Beholder: A Causal Framework for Human-interpretable Representation Learning [22.201878275784246]
  説明可能なAIは、入力機能などの低レベル要素の観点から定義された説明から、データから学んだ解釈可能な概念でエンコードされた説明へとシフトしている。 しかし、そのような概念を確実に取得する方法は、基本的には不明確である。 ポストホックな説明器と概念に基づくニューラルネットワークの両方に適した解釈可能な表現を得るための数学的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-14T14:26:20Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• The Fluidity of Concept Representations in Human Brain Signals [0.0]
  我々はfMRIデータにおける具体的な概念と抽象概念の識別可能性を分析する。 我々は流体概念の表現が人間の言語処理のより現実的なモデルに繋がると主張している。
  論文  参考訳（メタデータ） (2020-02-20T17:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。