論文の概要: CogArena: A Multimethod Evaluation of Cognitive Ability Structure in Large Language Models

• arxiv url: http://arxiv.org/abs/2607.24999v1
• Date: Mon, 27 Jul 2026 18:56:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.600922
• Title: CogArena: A Multimethod Evaluation of Cognitive Ability Structure in Large Language Models
• Title（参考訳）: CogArena:大規模言語モデルにおける認知能力構造のマルチメソッド評価
• Abstract要約: 我々は,認知タスクが保証次元ラベルをいつ得点するかを決定するためのベンチマークであるCogArenaを紹介する。 55のオープンウェイトモデル全体において、ほぼすべてのパラダイム相関は正であり、共通の軸が約半分の分散を説明する。 グループ内のアドバンテージは小さく、スコアリングに敏感で、モデルファミリ全体にわたって不確実である。
• 参考スコア（独自算出の注目度）: 3.991518853474585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM cognitive scores are increasingly summarized as per-ability profiles whose dimensions should converge across tasks, respond selectively to matched interventions, and generalize beyond the models used to define them. We introduce CogArena, a procedurally generated 13-paradigm benchmark built around a multimethod framework for determining when cognitive-task scores warrant dimensional labels across five theory-motivated groupings. Across 55 open-weight models, nearly all paradigm correlations are positive and a common axis explains about half the variance. The within-grouping advantage is small, scoring-sensitive, and uncertain across model families. In a separately frozen, fully crossed study across 12 models from six families, targeted scaffolds show a small matched-grouping advantage, but no scaffold-specific contrast survives multiplicity correction and selectivity does not improve held-out-family prediction. The frozen confirmation criterion fails. A post-hoc alternate-wording replication produces a smaller positive estimate and again fails. Together, these results support a boundary conclusion. Theory-aligned prompting produces a small in-battery diagonal tendency, but the present evidence does not establish stable five-dimensional profiles. CogArena provides a workflow joining behavioral signatures, covariance, matched interventions, and out-of-family prediction before cognitive labels are attached to model scores.
• Abstract（参考訳）: LLM認知スコアは、タスクにまたがって次元が収束し、マッチした介入に選択的に応答し、それらを定義するために使用されるモデルを超えて一般化するパービリティプロファイルとして、ますます要約される。 これは、認知タスクが5つの理論を動機づけたグループで保証次元ラベルをスコアするタイミングを決定するためのマルチメソッドフレームワークを中心に構築された、手続き的に生成された13パラダイムのベンチマークである。 55のオープンウェイトモデル全体において、ほぼすべてのパラダイム相関は正であり、共通の軸が約半分の分散を説明する。 グループ内のアドバンテージは小さく、スコアリングに敏感で、モデルファミリ全体にわたって不確実である。 6つの家系から12種類のモデルにまたがって完全に交差した研究では、標的となる足場は小さな一致した集団的優位性を示すが、足場固有のコントラストは多重度補正に留まらず、選択性は家族間予測を改善しない。 凍結確認基準は失敗する。 ポストホックの代替語複製は、より小さな正の見積もりを生成し、再び失敗する。 これらの結果は、境界の結論を支持する。 理論に沿うプロンプトは、小さなバタリー対角線傾向を生じさせるが、この証拠は安定な5次元プロファイルを定めていない。 CogArenaは、モデルスコアに認知ラベルがアタッチされる前に、行動シグネチャ、共分散、一致した介入、家族外の予測を結合するワークフローを提供する。

関連論文リスト

• Mapping and Measuring the Behavioral Evolution of Large Language Models [28.603443859513153]
  ベンチマークのリーダーボードは、言語モデルのパフォーマンスを概説するが、その振る舞いが他のモデルとどのように関係しているか、世代によって異なる。 1万のプロンプトの共有バンクに対する応答を用いて、6つのファミリーから32モデルの出力挙動を特徴付ける。
  論文  参考訳（メタデータ） (2026-08-11T15:07:28Z)
• Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement [66.67463557274358]
  バイアス付きデータセットに基づいてトレーニングされた基礎モデルは、しばしばターゲットラベルと非因果属性の間の急激な相関に依存する。 信頼誘導概念マイニング(CBCM:Confidence-guided Concept Mining)を導入し,属性アノテーションを使わずに信頼性の高いスプリアス属性を同定する。 本稿では,目標と突発的な表現を2つのブランチに分離するプロンプトチューニングフレームワークであるDual-branch Cross-projection Debiasing (DCD)を提案する。
  論文  参考訳（メタデータ） (2026-06-23T05:28:47Z)
• The Ghost Annotator: a Framework to Explore Human Label Variation in Content Moderation through Conformal Prediction [39.10305114526259]
  共形予測と協調フィルタリングスタイルのアノテータ表現を組み合わせたフレームワークを提案する。 非整合スコアを用いて、モデル予測が利用可能なすべてのアノテーションから発散するケースを定量化するために、ゴースト予測メトリックとゴーストアノテーション表現を導入する。 我々の発見は、アノテータの不一致によって全てのモデルの不確実性が増大する一方で、より大きなモデルは、人間のアノテーションと一致しないテキストの分類により自信を持つ傾向にあることを示している。
  論文  参考訳（メタデータ） (2026-06-01T21:32:37Z)
• Deconfounding Scores and Representation Learning for Causal Effect Estimation with Weak Overlap [75.41420283374737]
  オーバーラップは因果治療効果推定の鍵となる条件である。 本稿では,デコンウンディングスコア(deconfounding scores)と呼ばれる特徴表現のクラスを提案する。 このクラスでは, 予後スコアが重なり合うことを示す。
  論文  参考訳（メタデータ） (2026-04-01T12:19:42Z)
• Conditioning Protein Generation via Hopfield Pattern Multiplicity [0.0]
  幾何学的注意によるタンパク質配列生成は、トレーニングなしで小さなアライメントから可塑性ファミリーを生産する。 サンプルの注意ログにバイアスとして付加された1つのスカラーパラメータが、フルファミリーからユーザ特定サブセットへ連続的に生成することを示す。 5種のPfam族に対する実験により,4つの領域にわたる分離とギャップのモノトニックな関係が確認された。
  論文  参考訳（メタデータ） (2026-03-20T16:38:15Z)
• The Lie of the Average: How Class Incremental Learning Evaluation Deceives You? [48.83567710215299]
  クラスインクリメンタルラーニング(CIL)では、モデルが学習済みのクラスを忘れずに、新しいクラスを継続的に学習する必要がある。 我々は、ロバストなCIL評価プロトコルは、性能分布全体を正確に特徴付け、推定するべきであると論じる。 我々は,タスク間類似度を用いて,極端なクラスシーケンスを適応的に識別し,サンプリングする評価プロトコルEDGEを提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:00:15Z)
• ShortcutProbe: Probing Prediction Shortcuts for Learning Robust Models [26.544938760265136]
  ディープラーニングモデルは、必然的にターゲットと非本質的な特徴の間の急激な相関を学習する。 本稿では,グループラベルを必要とせず,新たなポストホックスプリアスバイアス緩和フレームワークを提案する。 我々のフレームワークであるShortcutProbeは、与えられたモデルの潜在空間における予測の非破壊性を反映した予測ショートカットを識別する。
  論文  参考訳（メタデータ） (2025-05-20T04:21:17Z)
• Multi-Level Collaboration in Model Merging [56.31088116526825]
  本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。 これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
  論文  参考訳（メタデータ） (2025-03-03T07:45:04Z)
• Model-Agnostic Covariate-Assisted Inference on Partially Identified Causal Effects [1.9253333342733674]
  多くの因果推定値は、潜在的な結果間の観測不能な関節分布に依存するため、部分的にしか識別できない。 本研究では,部分的同定された推定値の広いクラスに対して,統一的かつモデルに依存しない推論手法を提案する。
  論文  参考訳（メタデータ） (2023-10-12T08:17:30Z)
• Ensembled Prediction Intervals for Causal Outcomes Under Hidden Confounding [49.1865229301561]
  本稿では,既存の因果感受性モデルを用いた部分同定手法を提案し,Caus-Modensがより厳密な結果区間を与えることを示す。 3つの異なるベンチマークのうち最後のものは、未知だが探究可能な基底真理を持つ観測実験にGPT-4を新たに使用することである。
  論文  参考訳（メタデータ） (2023-06-15T21:42:40Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。