論文の概要: Uncovering the Computational Ingredients of Human-Like Representations in LLMs

• arxiv url: http://arxiv.org/abs/2510.01030v1
• Date: Wed, 01 Oct 2025 15:37:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.647052
• Title: Uncovering the Computational Ingredients of Human-Like Representations in LLMs
• Title（参考訳）: LLMにおけるヒューマンライク表現の計算能力の解明
• Authors: Zach Studdiford, Timothy T. Rogers, Kushin Mukherjee, Siddharth Suresh,
• Abstract要約: 人のような表現を発達させるモデルを構築する上で、これらの材料のうちどれが最も重要なのかは、いまだに不明である。 現在のベンチマークのほとんどは、人間とモデルの間の表現的アライメントの測定には適していない。
• 参考スコア（独自算出の注目度）: 8.00888290370075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to translate diverse patterns of inputs into structured patterns of behavior has been thought to rest on both humans' and machines' ability to learn robust representations of relevant concepts. The rapid advancement of transformer-based large language models (LLMs) has led to a diversity of computational ingredients -- architectures, fine tuning methods, and training datasets among others -- but it remains unclear which of these ingredients are most crucial for building models that develop human-like representations. Further, most current LLM benchmarks are not suited to measuring representational alignment between humans and models, making benchmark scores unreliable for assessing if current LLMs are making progress towards becoming useful cognitive models. We address these limitations by first evaluating a set of over 70 models that widely vary in their computational ingredients on a triplet similarity task, a method well established in the cognitive sciences for measuring human conceptual representations, using concepts from the THINGS database. Comparing human and model representations, we find that models that undergo instruction-finetuning and which have larger dimensionality of attention heads are among the most human aligned, while multimodal pretraining and parameter size have limited bearing on alignment. Correlations between alignment scores and scores on existing benchmarks reveal that while some benchmarks (e.g., MMLU) are better suited than others (e.g., MUSR) for capturing representational alignment, no existing benchmark is capable of fully accounting for the variance of alignment scores, demonstrating their insufficiency in capturing human-AI alignment. Taken together, our findings help highlight the computational ingredients most essential for advancing LLMs towards models of human conceptual representation and address a key benchmarking gap in LLM evaluation.
• Abstract（参考訳）: 入力の多様なパターンを構造化された行動パターンに翻訳する能力は、人間と機械の両方が関連する概念の堅牢な表現を学ぶ能力に依存していると考えられている。 トランスフォーマーベースの大規模言語モデル(LLM)の急速な進歩は、アーキテクチャ、微調整方法、トレーニングデータセットなど、計算要素の多様化につながっているが、人間のような表現を発達させるモデルを構築する上で、これらの要素のどれが最も重要なのかは、いまだ不明である。 さらに、現在のLLMベンチマークのほとんどは、人間とモデル間の表現的アライメントを測定するのに適していないため、現在のLLMが有用な認知モデルへと進歩しているかどうかを評価するのに、ベンチマークスコアを信頼できないものにしている。 我々はまず、THINGSデータベースの概念を用いて、人間の概念的表現を測定するための認知科学において確立された方法である三重項類似性タスクにおいて、その計算成分に広く異なる70以上のモデルのセットを評価することで、これらの制限に対処する。 人間とモデルの表現と比較すると、指示ファインタニングを行い、注意ヘッドの次元がより大きいモデルが最もヒトのアライメントであるのに対し、マルチモーダル事前学習とパラメータサイズはアライメントに制限されていることが分かる。 既存のベンチマークにおけるアライメントスコアとスコアの相関は、いくつかのベンチマーク(例えば、MMLU)が他のベンチマーク(例えば、MUSR)よりも適しているが、既存のベンチマークではアライメントスコアのばらつきを完全に説明できず、人間のAIアライメントを捉えるのに不十分であることを示している。 本研究は,人間の概念的表現モデルに向けてLLMを推し進める上で最も重要な計算要素を強調し,LLM評価における重要なベンチマークギャップに対処する上で有効である。

関連論文リスト

• From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning [63.25540801694765]
  大きな言語モデル (LLMs) は言語能力を示すが、同じバランスをとれるかどうかは不明だ。 本稿では,LLMと人間を定量的に比較するために,Information Bottleneckの原理を適用した。
  論文  参考訳（メタデータ） (2025-05-21T16:29:00Z)
• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• A Statistical Framework for Ranking LLM-Based Chatbots [57.59268154690763]
  本稿では、ペア比較分析における特定の課題に対処するために、重要な進歩を取り入れた統計フレームワークを提案する。 まず,人力比較のグルーピング処理能力を高める要因付きタイモデルを提案する。 第2に、フレームワークを拡張して、競合間の共分散層をモデル化することで、パフォーマンス関係に関するより深い洞察を可能にします。 第三に、パラメータ非特異性に起因する最適化の課題を、新しい制約を導入することで解決する。
  論文  参考訳（メタデータ） (2024-12-24T12:54:19Z)
• A Flexible Method for Behaviorally Measuring Alignment Between Human and Artificial Intelligence Using Representational Similarity Analysis [0.1957338076370071]
  我々は、AIと人間間のアライメントを定量化するために、ペアワイズな類似度評価法であるRepresentational similarity Analysis (RSA)を適用した。 我々は,テキストと画像のモダリティ間のセマンティックアライメント(セマンティックアライメント)を検証し,Large Language and Vision Language Model(LLM, VLM)の類似性判断が,グループレベルでも個人レベルでも人間の反応とどのように一致しているかを測定した。
  論文  参考訳（メタデータ） (2024-11-30T20:24:52Z)
• SymbolicAI: A framework for logic-based approaches combining generative models and solvers [9.841285581456722]
  生成過程における概念学習とフロー管理に論理的アプローチを取り入れた,汎用的でモジュール化されたフレームワークであるSybolicAIを紹介する。 我々は,大規模言語モデル(LLM)を,自然言語命令と形式言語命令の両方に基づいてタスクを実行する意味的解決器として扱う。
  論文  参考訳（メタデータ） (2024-02-01T18:50:50Z)
• Conceptually Diverse Base Model Selection for Meta-Learners in Concept Drifting Data Streams [3.0938904602244355]
  本稿では,基礎となる部分空間間の主アングル(PA)を用いて計算したベースモデルの概念的類似性を推定するための新しいアプローチを提案する。 オンライン・トランスファー・ラーニング(TL)の文脈における共通アンサンブル・プルーニング・メトリクス、すなわち予測性能と相互情報(MI)を用いた閾値付けに対するこれらの手法の評価を行った。 その結果、概念的類似度閾値は計算オーバーヘッドを低減し、予測性能とMIを用いて閾値に匹敵する予測性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-11-29T13:18:53Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。