論文の概要: Large-scale factor analysis shows machine intelligence is only partially interpretable
- arxiv url: http://arxiv.org/abs/2609.36515v1
- Date: Tue, 29 Sep 2026 02:10:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.111813
- Title: Large-scale factor analysis shows machine intelligence is only partially interpretable
- Title（参考訳）: 機械の知性は部分的に解釈可能であるという大規模因子分析
- Abstract要約: 言語モデル開発における一般的な仮定は、認知能力は一般のドメインフリーインテリジェンス因子を中心に組織化されているということである。
我々は、心理学者が心理的構成を研究するのと同じように、言語モデルにおけるインテリジェンスに対する潜在変数アプローチを採っている。
我々は456のテキストのみのベンチマークで1,618の言語モデルを対象とした13,251の試験結果を分析した。
- 参考スコア（独自算出の注目度）: 0.9297709009482604
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A common assumption in language model development is that cognitive abilities are organized around a general, domain-free intelligence factor, like fluid intelligence in humans. This assumption is rarely tested directly, and prior attempts have done so only at a much smaller scale. We take a latent variable approach to intelligence in language models, similar to how psychometricians study psychological constructs. Performance in every specific problem set is influenced by a domain-specific and a domain-agnostic latent factor. Using factor analysis as a dimension-reduction technique, we analyzed 13,251 published evaluation scores covering 1,618 language models across 456 different text-only benchmarks. Due to the super-sparse nature of the dataset, we triangulate our analysis across different data densifiers and imputation methods. A robust pattern across different modes of bias is that 1. A general intelligence factor accounts for 70.8% of variance in model performance at our most generous estimate, and far less than that in most of our solutions, 2. Content-similar benchmarks do not necessarily cluster together, and 3. The $g$ factor is not dominated by any common theme, and there is a lack of evidence that it is well-proxied by standard "intelligence" benchmarks. Our findings go against current endeavors of defining, identifying, and targeting general intelligence as a tangible construct in language model development. This leaves the strategy of targeting a single conceptual ability without support, since the first-order abilities it would have to reach are often partially idiosyncratic and not identifiable in practice.
- Abstract（参考訳）: 言語モデル開発における一般的な仮定は、認知能力は人間の流体知能のような一般の、ドメインフリーな知能因子を中心に組織されているということである。
この仮定は直接的にテストされることはめったになく、以前の試みはそれよりもはるかに小さなスケールでしか行っていない。
我々は、心理学者が心理的構成を研究するのと同じように、言語モデルにおけるインテリジェンスに対する潜在変数アプローチを採っている。
特定の問題セットのすべてのパフォーマンスは、ドメイン固有の、ドメインに依存しない潜在因子の影響を受けます。
因子分析を次元還元法として用いて,456のテキストのみのベンチマークで1,618の言語モデルを対象とした13,251点の評価スコアを解析した。
データセットの超スパースな性質のため、異なるデータデンシファイアと計算方法にまたがって分析を三角測量する。
さまざまなバイアスのモードにまたがるロバストなパターンは
1. 一般的なインテリジェンス係数は, モデル性能の70.8%を最も寛大な推定で占める。
2. 内容類似ベンチマークは必ずしも一致しない。
3.$g$因子は共通のテーマに支配されず、標準の"知能"ベンチマークで十分に予測されている証拠が不足している。
我々の発見は、言語モデル開発における具体的な構成要素として、汎用知能を定義し、識別し、ターゲットにするという現在の取り組みに反するものである。
これは、サポートなしで単一の概念的能力をターゲットにするという戦略を残している。
関連論文リスト
- Compressed Sensing for Capability Localization in Large Language Models [58.574245030744834]
大規模言語モデル(LLM)は、数学的推論、コード生成、言語行動など幅広い機能を示す。
トランスフォーマーアーキテクチャでは,多くの機能が注目の小さなサブセットに高度にローカライズされていることを示す。
論文 参考訳（メタデータ） (2026-02-11T16:06:59Z) - Explaining Generalization of AI-Generated Text Detectors Through Linguistic Analysis [2.626100048563503]
本稿では,言語分析による一般化行動の説明を目的とした系統的研究について述べる。
6つのプロンプト戦略、7つの大規模言語モデル(LLM)、4つのドメインデータセットにまたがるベンチマークを構築した。
我々は、様々な世代設定に基づいて分類に基づく検出器を微調整し、それらのクロスプロンプト、クロスモデル、およびクロスデータセットの一般化を評価する。
論文 参考訳（メタデータ） (2026-01-12T20:16:06Z) - Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning [77.120955854093]
我々は,データ多様性が言語モデルにおける一般化の強力な予測因子であることを示す。
モデル誘起勾配のエントロピーを通して多様性を定量化する計量であるG-Vendiを導入する。
多様な合成データを生成するためのフレームワークであるPrismatic Synthesisを提案する。
論文 参考訳（メタデータ） (2025-05-26T16:05:10Z) - Evidence of interrelated cognitive-like capabilities in large language models: Indications of artificial general intelligence or achievement? [0.0]
大規模言語モデル (LLM) は、人工知能(AI)システムであり、人間の知能テストで一般的に見られる様々なタスクを実行できる。
また,テストスコアが正の相関を示すかどうかを検討した。
正の多様体と能力の一般因子の強い経験的証拠を発見した。
論文 参考訳（メタデータ） (2023-10-17T22:42:12Z) - Meta predictive learning model of languages in neural circuits [2.5690340428649328]
本稿では,予測符号化フレームワークにおける平均場学習モデルを提案する。
我々のモデルでは、ほとんどの接続は学習後に決定論的になる。
本モデルは,脳計算,次点予測,一般知能の関連性を調べるための出発点となる。
論文 参考訳（メタデータ） (2023-09-08T03:58:05Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳（メタデータ） (2021-11-04T12:59:55Z) - COM2SENSE: A Commonsense Reasoning Benchmark with Complementary
Sentences [21.11065466376105]
常識推論は人間にとって直感的であるが、人工知能(AI)の長期的な課題である。
事前訓練された言語モデルの最近の進歩は、いくつかのCommonsenseベンチマークデータセットで有望な結果を示している。
本稿では,自然言語真偽文からなる新しいコモンセンス推論ベンチマークデータセットを提案する。
論文 参考訳（メタデータ） (2021-06-02T06:31:55Z) - Do Fine-tuned Commonsense Language Models Really Generalize? [8.591839265985412]
厳密な科学的研究を設計・実施することで、一般化問題を詳細に研究する。
実験装置の適度な変更があっても、微調整されたコモンセンス言語モデルがまだうまく一般化していないという明確な証拠が得られます。
論文 参考訳（メタデータ） (2020-11-18T08:52:49Z) - LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。
クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。
毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
論文 参考訳（メタデータ） (2020-10-06T16:42:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。