論文の概要: AwarenessBench: Assessing Cognitive Capabilities of Language Models

• arxiv url: http://arxiv.org/abs/2609.35409v1
• Date: Mon, 28 Sep 2026 15:28:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 05:46:20.47732
• Title: AwarenessBench: Assessing Cognitive Capabilities of Language Models
• Title（参考訳）: AwarenessBench: 言語モデルの認知能力を評価する
• Abstract要約: AwarenessBenchは,言語モデル(LM)の認知能力を4次元で評価するための,最初の総合的なベンチマークである。 私たちは、すべてがランダムなベースラインを一貫して超え、より高度なモデルのパフォーマンスが向上していることに気付きました。 言語モデリングや推論の進歩は、認知の向上に変換されない。
• 参考スコア（独自算出の注目度）: 19.02224319228207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As language models (LMs) exhibit increasingly consciousness-like behaviors, evaluating their cognitive abilities becomes essential. We introduce AwarenessBench, the first comprehensive benchmark for assessing the cognitive abilities of LMs in four dimensions: metacognition, self-awareness, social awareness, and situational awareness, covering 15 cognitive functions and 14,381 samples. Evaluating 18 state-of-the-art LMs, we find that all consistently surpass random baselines, with more advanced models performing better. We further compare LMs with human performance across three demographic groups, where the best-performing model surpasses human averages overall, but most still fall markedly short in metacognition and self-awareness. Finally, we show that awareness is a distinct capability: progress in language modeling or reasoning does not necessarily translate into improved cognition.
• Abstract（参考訳）: 言語モデル(LM)は、意識的な振る舞いが増すにつれて、認知能力の評価が不可欠となる。 AwarenessBenchは、メタ認知、自己認識、社会的認識、状況認識の4次元でLMの認知能力を評価するための最初の総合的なベンチマークであり、15の認知機能と14,381のサンプルをカバーしている。 最先端の18のLMを評価すると、すべてがランダムなベースラインを一貫して超越し、より高度なモデルの性能が向上することがわかった。 さらに、LMを3つの人口集団における人的パフォーマンスと比較し、最高のパフォーマンスモデルは全体の人的平均を上回るが、メタ認知と自己認識では依然として顕著に不足している。 言語モデリングや推論の進歩は、必ずしも認識の改善に必ずしも変換されない。

関連論文リスト

• Assessing mentalization in humans and large language models [3.592245101862886]
  メンタライゼーションは人間の社会的相互作用の根底にある認知機能である。 大規模言語モデル (LLM) は, メンタライゼーションを通じて適応行動を導くことができることを示す。
  論文  参考訳（メタデータ） (2026-08-26T18:16:12Z)
• A Neuropsychologically Grounded Evaluation of LLM Cognitive Abilities [23.297279975389188]
  大規模言語モデル(LLM)は10ベンチマークで統一された「一般的な要素」の能力を示す。 本稿では,3つの適応型神経心理学検査を基礎としたNeuroCognitionベンチマークを紹介する。 評価の結果,モデルがテキスト上で強く機能する一方で,画像のパフォーマンスが低下し,複雑さが増していることが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-03T02:54:58Z)
• Toward Cognitive Supersensing in Multimodal Large Language Model [67.15559571626747]
  我々は,MLLMに人間のような視覚的特徴を付与する訓練パラダイムであるCognitive Supersensingを紹介する。 実験では、CogSense-BenchでCognitive Supersensingを訓練したMLLMが、最先端のベースラインを大きく上回った。 私たちはCogSense-Benchとモデルウェイトをオープンソースにします。
  論文  参考訳（メタデータ） (2026-02-02T02:19:50Z)
• HUMANLLM: Benchmarking and Reinforcing LLM Anthropomorphism via Human Cognitive Patterns [59.17423586203706]
  本稿では,心理的パターンを因果力の相互作用として扱うフレームワークであるHUMANLLMを提案する。 12,000の学術論文から244のパターンを構築し、2-5のパターンが相互に強化、衝突、変調されるシナリオ11,359を合成する。 我々の二重レベルチェックリストは、個々のパターンの忠実度と創発的なマルチパターンのダイナミクスを評価し、強い人間のアライメントを達成する。
  論文  参考訳（メタデータ） (2026-01-15T08:56:53Z)
• 11Plus-Bench: Demystifying Multimodal LLM Spatial Reasoning with Cognitive-Inspired Analysis [54.24689751375923]
  本研究では,最先端MLLMの空間的推論能力を評価するためのシステム評価フレームワークを提案する。 14個のMLLMの実験と人間の評価により、現在のMLLMは空間認知の早期の兆候を示すことが明らかとなった。 これらの知見は,現在のMLLMの空間的推論能力の出現能力と限界の両方を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-08-27T17:22:34Z)
• Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
  VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。 GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。 最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• The Cognitive Capabilities of Generative AI: A Comparative Analysis with Human Benchmarks [17.5336703613751]
  本研究は、ウェクスラー成人インテリジェンス尺度(WAIS-IV)における大規模言語モデルと視覚言語モデルと人間のパフォーマンスに対するベンチマークである。 ほとんどのモデルは、文字や数字の任意のシーケンスのようなトークンの保存、検索、操作において例外的な機能を示した。 これらの長所にもかかわらず、我々はマルチモーダルモデルから知覚推論指標(PRI)の性能が一貫して劣っていることを観察した。
  論文  参考訳（メタデータ） (2024-10-09T19:22:26Z)
• Core Knowledge Deficits in Multi-Modal Language Models [41.422258645731276]
  MLLM(Multi-modal Large Language Models)は、ハイレベルな認識と推論よりも印象的な能力を示す。 しかし、野生での頑丈さは限定的であり、人間にとって直感的で努力の無い仕事では不足することが多い。 これらの欠陥は,幼少期から人間に根ざした,中核的な知識の欠如に起因する,という仮説を考察する。
  論文  参考訳（メタデータ） (2024-10-06T20:13:11Z)
• Evaluating Large Language Models with Psychometrics [59.821829073478376]
  本稿では,Large Language Models (LLMs) の心理的構造を定量化するための総合的ベンチマークを提案する。 私たちの研究は、13のデータセットで評価された5つの重要な心理的構成要素、人格、価値観、感情的知性、心の理論、自己効力性を特定します。 LLMの自己報告特性と実際のシナリオにおける応答パターンとの間に大きな相違が発見され,その挙動の複雑さが明らかになった。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• Evaluating Subjective Cognitive Appraisals of Emotions from Large Language Models [47.890846082224066]
  この研究は、24の評価次元を評価する最も包括的なデータセットであるCovidET-Appraisalsを提示することでギャップを埋める。 CovidET-Appraisalsは、認知的評価を自動的に評価し、説明するための大規模言語モデルの能力を評価するのに理想的なテストベッドを提供する。
  論文  参考訳（メタデータ） (2023-10-22T19:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。