論文の概要: Artificiality's First Exam: An LLM-Referenced C-test for Supraintelligence

• arxiv url: http://arxiv.org/abs/2610.14005v1
• Date: Sun, 27 Sep 2026 20:41:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.461035
• Title: Artificiality's First Exam: An LLM-Referenced C-test for Supraintelligence
• Title（参考訳）: 人工知能に関するLLM-Referenced C-test
• Abstract要約: 本稿では,LevinのKtをベースとした大規模言語モデルの表現型マシンとしての最初のテストを示す。 新鮮なテストアイテムは、ビット単位で測定された比率スケールで推定される、高い難易度で生成することができる。 結果として生じるエージェント特性曲線は、未チャート高拡散領域まで、難易度で減少する。
• 参考スコア（独自算出の注目度）: 1.3128070963059766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Under the accelerated pace of AI development, any benchmark whose difficulty is calibrated with humans or current AI systems becomes circular, or saturates soon. How can we then evaluate machines that may become more capable than the current machines and the people who write the tests? One answer to the question hinges on inverse problems, inductive inference questions for which difficulty depends on the complexity of the underlying mechanism, given the observations and the previous knowledge. Levin's Kt, a computable variant of Kolmogorov complexity, puts a theoretical upper bound to that difficulty, balancing the simplest representation encoding for the mechanism and the logarithm of the time steps to run that mechanism. Previous tests derived from Levin's Kt, such as the original C-test, are based on minimalistic Universal Turing Machines (UTM), capable of very limited representations and no previous knowledge. Reasoning large language models (LLM) are UTMs that capture a compendium of human culture as knowledge, using prompts as natural language programs. This paper presents the first test based on Levin's Kt with LLMs as representational machines. Fresh test items can be produced at high difficulties, estimated in a ratio scale measured in bits, before any human or frontier model can solve them. We formalise the measure, devise a lightweight generation and certification pipeline, explore the effect of the power of the reference machine and the gap between examiner and examinee. We produce a first battery of certified items administered to twelve LLMs. The resulting agent characteristic curves decrease with difficulty, down to the uncharted high-difficulty region, the supra-intelligence window of items we can certify, yet beyond generations of frontier intelligence.
• Abstract（参考訳）: AI開発が加速する中で、人間や現在のAIシステムで調整が難しいベンチマークは、すぐに丸くなり、飽和する。 次に、現在のマシンやテストを書く人よりも有能になる可能性のあるマシンを評価するにはどうすればよいのか? 逆問題(inverse problem, inductive inference question, inductive inference question)とは、観測とそれ以前の知識を考えると、難易度が基礎となるメカニズムの複雑さに依存する問題である。 コルモゴロフ複雑性の計算可能な変種であるLevin's Ktは、その困難さに理論上界を置き、メカニズムの最も単純な表現エンコーディングと、そのメカニズムを実行するための時間ステップの対数とをバランスさせる。 オリジナルの C-test のような Levin の Kt から派生した以前のテストは、最小限の普遍チューリングマシン (UTM) に基づいている。 大型言語モデル (LLM) は、自然言語プログラムとしてプロンプトを用いて、人間の文化のコンペディアムを知識として捉えた UTM である。 本稿では,Levin の Kt と LLM を表現機械とする最初のテストを提案する。 新鮮なテストアイテムは、人間やフロンティアモデルによって解決される前に、ビット単位で測定された比率スケールで推定される、高い困難で作成することができる。 我々は,この尺度を定式化し,軽量な世代と認定パイプラインを考案し,基準装置のパワーと試験員と試験員のギャップについて検討する。 12個のLSMに管理された認証項目の最初の電池を作成した。 結果として生じるエージェントの特性曲線は難易度によって減少し、未知の高微分領域、認証可能なアイテムの超知性ウィンドウに至るまで、フロンティア・インテリジェンス(英語版)の世代を超えている。

関連論文リスト

• SciML Agents: Write the Solver, Not the Solution [69.5021018644143]
  敵の"ミスリーディング"問題の診断データセットと,1,000種類のODEタスクの大規模ベンチマークという,2つの新しいデータセットを紹介した。 オープンおよびクローズドソース LLM モデルについて, (i) 誘導型とガイド型, (ii) オフ・ザ・シェルフ対微調整型という2つの軸に沿って評価した。 予備的な結果は、慎重なプロンプトと微調整により、単純なODE問題を確実に解決できる特殊なLLMエージェントが得られることを示唆している。
  論文  参考訳（メタデータ） (2025-09-12T02:53:57Z)
• The Imitation Game: Turing Machine Imitator is Length Generalizable Reasoner [71.41162392872393]
  本稿では,大規模言語モデルの長さ一般化能力を向上させるため,Turing Machine Imitation Learning (TAIL)を提案する。 TAILはコンピュータプログラムによってチューリングマシンの実行プロセスを模倣するチェーン・オブ・思想(CoT)データを合成する。 ベルとホイッスルがなければ、TAILは様々なタスクにおけるQwen2.5-7Bの性能と同様に、長さの一般化能力を大幅に改善する。
  論文  参考訳（メタデータ） (2025-07-17T17:50:07Z)
• SuperARC: An Agnostic Test for Narrow, General, and Super Intelligence Based On the Principles of Recursive Compression and Algorithmic Probability [0.14061979259370275]
  アルゴリズムの確率を基礎としたオープンエンドテストを導入する。 これはフロンティアモデルの定量的評価においてベンチマーク汚染を避けることができる。 圧縮はシステムの予測力と等価であり、直接的に比例することを示す。
  論文  参考訳（メタデータ） (2025-03-20T23:11:30Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化は機械学習アプリケーションにおいて重要な要素である。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• Unifying (Quantum) Statistical and Parametrized (Quantum) Algorithms [65.268245109828]
  我々はカーンズのSQオラクルとヴァリアントの弱い評価オラクルからインスピレーションを得ます。 評価クエリから学習するための非条件の下限を出力する,広範かつ直感的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-26T18:23:21Z)
• T-SciQ: Teaching Multimodal Chain-of-Thought Reasoning via Mixed Large Language Model Signals for Science Question Answering [59.63860993280275]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 LLM信号を用いた科学質問応答の指導を目的とした,T-SciQと呼ばれる新しい手法を提案する。 提案手法は,ScienceQAベンチマークで96.18%の精度で,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-05T11:56:30Z)
• LogiQA: A Challenge Dataset for Machine Reading Comprehension with Logical Reasoning [20.81312285957089]
  私たちは、人間の論理的推論をテストするための専門家による質問から得られた、LogiQAという名前の包括的なデータセットを構築します。 その結果、最先端のニューラルモデルでは、人間の天井よりもはるかにパフォーマンスが悪いことが判明した。 我々のデータセットは、ディープラーニングNLP設定下で論理AIを再調査するためのベンチマークとしても機能する。
  論文  参考訳（メタデータ） (2020-07-16T05:52:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。