論文の概要: From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning

• arxiv url: http://arxiv.org/abs/2505.17117v3
• Date: Mon, 30 Jun 2025 21:22:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-02 15:54:40.087797
• Title: From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning
• Title（参考訳）: トークンから思考へ:LLMと人間はいかにして意味の圧縮を交換するか
• Authors: Chen Shani, Dan Jurafsky, Yann LeCun, Ravid Shwartz-Ziv,
• Abstract要約: 人間は知識をセマンティック圧縮によってコンパクトなカテゴリに分類する。 大規模言語モデル(LLM)は、顕著な言語能力を示す。 しかし、その内部表現が、圧縮と意味的忠実性の間の人間のようなトレードオフにぶつかるかどうかは不明だ。
• 参考スコア（独自算出の注目度）: 52.32745233116143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans organize knowledge into compact categories through semantic compression by mapping diverse instances to abstract representations while preserving meaning (e.g., robin and blue jay are both birds; most birds can fly). These concepts reflect a trade-off between expressive fidelity and representational simplicity. Large Language Models (LLMs) demonstrate remarkable linguistic abilities, yet whether their internal representations strike a human-like trade-off between compression and semantic fidelity is unclear. We introduce a novel information-theoretic framework, drawing from Rate-Distortion Theory and the Information Bottleneck principle, to quantitatively compare these strategies. Analyzing token embeddings from a diverse suite of LLMs against seminal human categorization benchmarks, we uncover key divergences. While LLMs form broad conceptual categories that align with human judgment, they struggle to capture the fine-grained semantic distinctions crucial for human understanding. More fundamentally, LLMs demonstrate a strong bias towards aggressive statistical compression, whereas human conceptual systems appear to prioritize adaptive nuance and contextual richness, even if this results in lower compressional efficiency by our measures. These findings illuminate critical differences between current AI and human cognitive architectures, guiding pathways toward LLMs with more human-aligned conceptual representations.
• Abstract（参考訳）: 人間は、多種多様なインスタンスを抽象表現にマッピングし、意味を保存することで、知識をコンパクトなカテゴリーに分類する(例えば、ロビンとブルージェイはどちらも鳥であり、ほとんどの鳥は飛ぶことができる)。 これらの概念は表現的忠実さと表現的単純さのトレードオフを反映している。 大きな言語モデル (LLM) は言語能力に優れるが、その内部表現が圧縮と意味的忠実性の間の人間のようなトレードオフにぶつかっているかどうかは不明である。 本稿では,これらの戦略を定量的に比較するために,レート・ディストーション理論とインフォメーション・ボトルネックの原理を取り入れた新しい情報理論フレームワークを提案する。 トークンの埋め込み分析により,重要な違いが明らかになった。 LLMは人間の判断に沿う幅広い概念的なカテゴリーを形成するが、人間の理解に不可欠な細かな意味的区別を捉えるのに苦労している。 より根本的には、LLMは攻撃的な統計的圧縮に対する強いバイアスを示す一方、人間の概念体系は適応的ニュアンスと文脈的豊かさを優先しているように見える。 これらの知見は、現在のAIと人間の認知アーキテクチャの重大な違いを解明し、より人間に整合した概念表現を持つLLMへの経路を導いた。

関連論文リスト

• Emerging Human-like Strategies for Semantic Memory Foraging in Large Language Models [0.8749675983608171]
  人間とLarge Language Models (LLM) はどちらも、意味記憶の巨大なリポジトリを格納している。 人間では、このメモリストアへの効率的で戦略的アクセスは、様々な認知機能にとって重要な基盤である。
  論文  参考訳（メタデータ） (2026-03-02T12:55:51Z)
• UniCog: Uncovering Cognitive Abilities of LLMs through Latent Mind Space Analysis [69.50752734049985]
  成長する研究機関は、大きな言語モデル(LLM)の認知過程が人間のものと根本的に異なることを示唆している。 潜在心空間を介してLLM認知を分析する統一フレームワークUniCogを提案する。
  論文  参考訳（メタデータ） (2026-01-25T16:19:00Z)
• A Brain-like Synergistic Core in LLMs Drives Behaviour and Learning [50.68188138112555]
  大規模言語モデルが自然に相乗的コアを開発することを示す。 中層の領域は相乗的処理を示し, 初期層と後期層は冗長性に依存していることがわかった。 この収束は、シナジスティック情報処理が知性の基本的な性質であることを示している。
  論文  参考訳（メタデータ） (2026-01-11T10:48:35Z)
• From Five Dimensions to Many: Large Language Models as Precise and Interpretable Psychological Profilers [14.983442449498739]
  本研究は,人間の心理特性の相関構造を,最小の量的入力からモデル化できるかどうかについて検討する。 我々は816人の個人から、他の9つの心理的尺度でのロールプレイを行うために、ビッグファイブ・パーソナリティ・スケールの反応を持つ様々なLSMを誘導した。 LLMは人間の心理的構造を捉えるのに顕著な精度を示した。
  論文  参考訳（メタデータ） (2025-11-05T06:51:13Z)
• Uncovering the Computational Ingredients of Human-Like Representations in LLMs [8.00888290370075]
  人のような表現を発達させるモデルを構築する上で、これらの材料のうちどれが最も重要なのかは、いまだに不明である。 現在のベンチマークのほとんどは、人間とモデルの間の表現的アライメントの測定には適していない。
  論文  参考訳（メタデータ） (2025-10-01T15:37:19Z)
• LLM-Guided Semantic Relational Reasoning for Multimodal Intent Recognition [14.683883775425821]
  本稿では,マルチモーダル信号から人間の意図を理解する新しい手法を提案する。 この方法は、大きな言語モデル(LLM)の拡張的な知識を活用して意味的基盤を確立する。 マルチモーダルな意図と対話行動タスクの実験は、LGSRRが最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-09-01T10:18:47Z)
• Latent Preference Coding: Aligning Large Language Models via Discrete Latent Codes [54.93980123979578]
  我々は、暗黙の要因をモデル化する新しいフレームワークであるLatent Preference Coding (LPC)を紹介する。 LPCは様々なオフラインアライメントアルゴリズムとシームレスに統合し、基礎となる要因とデータからその重要性を自動的に推測する。
  論文  参考訳（メタデータ） (2025-05-08T06:59:06Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• How Deep is Love in LLMs' Hearts? Exploring Semantic Size in Human-like Cognition [75.11808682808065]
  本研究では,大言語モデル (LLM) が意味的サイズを理解する上で類似した傾向を示すかどうかを検討する。 以上の結果から,マルチモーダルトレーニングはLLMにとって人間的な理解を深める上で不可欠であることが示唆された。 最後に,LLMが実世界のWebショッピングシナリオにおいて,より大きなセマンティックサイズを持つ注目の見出しに影響されているかを検討する。
  論文  参考訳（メタデータ） (2025-03-01T03:35:56Z)
• Human-like conceptual representations emerge from language prediction [72.5875173689788]
  大規模言語モデル(LLMs)は、言語データに対する次世代の予測を通じてのみ訓練され、顕著な人間的な振る舞いを示す。 これらのモデルは、人間に似た概念を発達させ、もしそうなら、そのような概念はどのように表現され、組織化されるのか? 以上の結果から,LLMは言語記述から他の概念に関する文脈的手がかりに関して柔軟に概念を導出できることが示唆された。 これらの結果は、構造化された人間のような概念表現が、現実世界の接地なしに言語予測から自然に現れることを証明している。
  論文  参考訳（メタデータ） (2025-01-21T23:54:17Z)
• VladVA: Discriminative Fine-tuning of LVLMs [67.14293827774827]
  CLIPのような対照的に訓練された視覚言語モデル(VLM)は、識別的視覚言語表現学習の事実上のアプローチとなっている。 我々は,LVLMの識別的微調整のための新たな訓練手法である「両世界のベスト」を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2024-12-05T17:54:27Z)
• Human-like object concept representations emerge naturally in multimodal large language models [24.003766123531545]
  大規模言語モデル(LLM)における対象概念表現と人間の認知との関係を考察するために,行動解析と神経画像解析を併用した。 我々の発見は、マシンインテリジェンスに対する理解を深め、より人間的な人工知能システムの開発に報いる。
  論文  参考訳（メタデータ） (2024-07-01T08:17:19Z)
• LLMs as Models for Analogical Reasoning [14.412456982731467]
  アナロジカル推論は人間の認知と学習の基本である。 近年の研究では、大きな言語モデルが類似の推論タスクにおいて人間と一致することが示されている。
  論文  参考訳（メタデータ） (2024-06-19T20:07:37Z)
• Contextual Feature Extraction Hierarchies Converge in Large Language Models and the Brain [12.92793034617015]
  大規模言語モデル(LLM)がベンチマークタスクで高いパフォーマンスを達成するにつれ、より脳に近いものになることを示す。 また、モデルの性能と脳の類似性を改善する上で、文脈情報の重要性を示す。
  論文  参考訳（メタデータ） (2024-01-31T08:48:35Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Interpretability is in the Mind of the Beholder: A Causal Framework for Human-interpretable Representation Learning [22.201878275784246]
  説明可能なAIは、入力機能などの低レベル要素の観点から定義された説明から、データから学んだ解釈可能な概念でエンコードされた説明へとシフトしている。 しかし、そのような概念を確実に取得する方法は、基本的には不明確である。 ポストホックな説明器と概念に基づくニューラルネットワークの両方に適した解釈可能な表現を得るための数学的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-14T14:26:20Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• The Fluidity of Concept Representations in Human Brain Signals [0.0]
  我々はfMRIデータにおける具体的な概念と抽象概念の識別可能性を分析する。 我々は流体概念の表現が人間の言語処理のより現実的なモデルに繋がると主張している。
  論文  参考訳（メタデータ） (2020-02-20T17:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。