論文の概要: Aligning MLLMs with the Latent Structure of Human Cognition via Behavior-Derived Semantic Dimensions

• arxiv url: http://arxiv.org/abs/2610.41951v1
• Date: Fri, 30 Oct 2026 16:06:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.803447
• Title: Aligning MLLMs with the Latent Structure of Human Cognition via Behavior-Derived Semantic Dimensions
• Title（参考訳）: 行動依存的セマンティック次元による人間の認知の潜在構造を有するMLLMの配向
• Abstract要約: 本研究では,MLLMを人間の類似性判断に基づく多次元的心的表現と整合させる新しい枠組みを提案する。 それぞれの三重項について、最も健全な決定次元を推測し、それを次元基底言語論理に変換する。 実験結果から,本手法は人間の類似性判定とモデル整合性を向上することが示された。
• 参考スコア（独自算出の注目度）: 16.575886164832095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) have achieved impressive performance across a wide range of reasoning tasks, yet it remains unclear whether their internal representations and decision criteria align with the latent structure of human cognition. In this work, we propose a novel framework to align MLLMs with the multidimensional mental representations underlying human similarity judgements. We build on a previously established behavior-derived semantic embedding space, in which objects are represented along 66 interpretable dimensions derived from 4.70 million human Odd-One-Out (O1O) judgements. For each triplet, we infer the most salient decision dimension and convert it into a dimension-grounded linguistic rationale. This enables MLLMs to learn both the final choice and a justification consistent with the inferred behavioral criterion. Experimental results demonstrate that our approach improves model consistency with human similarity judgements while retaining competitive performance on standard multimodal benchmarks. Furthermore, using searchlight Representational Similarity Analysis (RSA) on an independent fMRI Natural Scenes Dataset (NSD), we observe increased representational alignment between model and human. Ultimately, our findings point to a data-driven route for incorporating human cognitive structure into MLLMs alignment. The code is available \href{https://github.com/ening-open/cogalign}{here}.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、様々な推論タスクにおいて優れた性能を発揮しているが、その内部表現と決定基準が人間の認知の潜在構造と一致しているかどうかは不明だ。 本研究では,MLLMを人間の類似性判断に基づく多次元的心的表現と整合させる新しい枠組みを提案する。 我々は,O1O(Odd-One-Out)の4.7000万の判断から導かれる66の解釈可能な次元に沿ってオブジェクトが表現される,以前に確立された行動に起因したセマンティックな埋め込み空間を構築した。 それぞれの三重項について、最も健全な決定次元を推測し、それを次元基底言語論理に変換する。 これによりMLLMは、推論された行動基準と一致する最終選択と正当化の両方を学ぶことができる。 実験により,本手法は標準マルチモーダルベンチマークにおける競合性能を維持しつつ,人間の類似性判定とのモデル整合性を向上することを示した。 さらに,独立したfMRI自然シーンデータセット(NSD)上でのサーチライト表現類似性分析(RSA)を用いて,モデルと人間の表現アライメントの増大を観察する。 最終的には、人間の認知構造をMLLMのアライメントに組み込むための、データ駆動の経路が示唆された。 コードは \href{https://github.com/ening-open/cogalign}{here} で利用できる。

関連論文リスト

• Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces [81.41397370235102]
  我々はOmniBehaviorを紹介した。OmniBehaviorは実世界のデータから構築された最初のユーザシミュレーションベンチマークである。 現在のモデルでは,コンテキストウィンドウが拡大しても,複雑な振る舞いを正確にシミュレートすることが困難であることを示す。 この結果、個人差や長い尾の挙動が失われ、将来の高忠実度シミュレーション研究における重要な方向性が浮き彫りになる。
  論文  参考訳（メタデータ） (2026-04-09T15:26:21Z)
• HumanLLM: Towards Personalized Understanding and Simulation of Human Nature [72.55730315685837]
  HumanLLMは個人のパーソナライズされた理解とシミュレーションのために設計された基礎モデルである。 私たちはまず、Reddit、Twitter、Blogger、Amazonといったプラットフォーム上で、現実世界のユーザデータをキュレートした大規模なコーパスであるCognitive Genomeを構築しました。 次に、多様な学習タスクを定式化し、教師付き微調整を行い、モデルの幅広い個人化された人間の行動、思考、経験を予測する。
  論文  参考訳（メタデータ） (2026-01-22T09:27:27Z)
• Uncovering the Computational Ingredients of Human-Like Representations in LLMs [8.00888290370075]
  人のような表現を発達させるモデルを構築する上で、これらの材料のうちどれが最も重要なのかは、いまだに不明である。 現在のベンチマークのほとんどは、人間とモデルの間の表現的アライメントの測定には適していない。
  論文  参考訳（メタデータ） (2025-10-01T15:37:19Z)
• Human-MME: A Holistic Evaluation Benchmark for Human-Centric Multimodal Large Language Models [118.44328586173556]
  MLLM(Multimodal Large Language Models)は視覚的理解タスクにおいて大きな進歩を見せている。 Human-MMEは、人間中心のシーン理解におけるMLLMのより総合的な評価を提供するために設計された、キュレートされたベンチマークである。 我々のベンチマークは、単一対象の理解を多対多の相互理解に拡張する。
  論文  参考訳（メタデータ） (2025-09-30T12:20:57Z)
• 11Plus-Bench: Demystifying Multimodal LLM Spatial Reasoning with Cognitive-Inspired Analysis [54.24689751375923]
  本研究では,最先端MLLMの空間的推論能力を評価するためのシステム評価フレームワークを提案する。 14個のMLLMの実験と人間の評価により、現在のMLLMは空間認知の早期の兆候を示すことが明らかとなった。 これらの知見は,現在のMLLMの空間的推論能力の出現能力と限界の両方を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-08-27T17:22:34Z)
• Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
  VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。 GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。 最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• ExpertLens: Activation steering features are highly interpretable [17.8514287071776]
  我々は,活性化ステアリングの研究から,専門家の手法を用いて特定の概念に責任を負うニューロンを同定する。 ExpertLensの表現はモデルやデータセット間で安定しており、行動データから推測される人間の表現と密接に一致している。 この結果から,ExpertLensはモデル表現のキャプチャと解析のためのフレキシブルで軽量なアプローチであることが示唆された。
  論文  参考訳（メタデータ） (2025-02-20T23:08:03Z)
• A Flexible Method for Behaviorally Measuring Alignment Between Human and Artificial Intelligence Using Representational Similarity Analysis [0.1957338076370071]
  我々は、AIと人間間のアライメントを定量化するために、ペアワイズな類似度評価法であるRepresentational similarity Analysis (RSA)を適用した。 我々は,テキストと画像のモダリティ間のセマンティックアライメント(セマンティックアライメント)を検証し,Large Language and Vision Language Model(LLM, VLM)の類似性判断が,グループレベルでも個人レベルでも人間の反応とどのように一致しているかを測定した。
  論文  参考訳（メタデータ） (2024-11-30T20:24:52Z)
• Human-like object concept representations emerge naturally in multimodal large language models [24.003766123531545]
  大規模言語モデル(LLM)における対象概念表現と人間の認知との関係を考察するために,行動解析と神経画像解析を併用した。 我々の発見は、マシンインテリジェンスに対する理解を深め、より人間的な人工知能システムの開発に報いる。
  論文  参考訳（メタデータ） (2024-07-01T08:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。