論文の概要: The Impossible Test: A 2024 Unsolvable Dataset and A Chance for an AGI Quiz

• arxiv url: http://arxiv.org/abs/2411.14486v1
• Date: Wed, 20 Nov 2024 04:12:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:04:12.347753
• Title: The Impossible Test: A 2024 Unsolvable Dataset and A Chance for an AGI Quiz
• Title（参考訳）: 2024年の未解決のデータセットとAGIクイズ
• Authors: David Noever, Forrest McKee,
• Abstract要約: 我々は、675の根本的な解決不可能な問題に対して不確実性を認識できる大規模言語モデル(LLM)の能力を評価する。 62-68%の精度で得られた最良のモデルは、生物学から哲学、数学まで様々な分野において未知であった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This research introduces a novel evaluation framework designed to assess large language models' (LLMs) ability to acknowledge uncertainty on 675 fundamentally unsolvable problems. Using a curated dataset of graduate-level grand challenge questions with intentionally unknowable answers, we evaluated twelve state-of-the-art LLMs, including both open and closed-source models, on their propensity to admit ignorance rather than generate plausible but incorrect responses. The best models scored in 62-68% accuracy ranges for admitting the problem solution was unknown in fields ranging from biology to philosophy and mathematics. We observed an inverse relationship between problem difficulty and model accuracy, with GPT-4 demonstrating higher rates of uncertainty acknowledgment on more challenging problems (35.8%) compared to simpler ones (20.0%). This pattern indicates that models may be more prone to generate speculative answers when problems appear more tractable. The study also revealed significant variations across problem categories, with models showing difficulty in acknowledging uncertainty in invention and NP-hard problems while performing relatively better on philosophical and psychological challenges. These results contribute to the growing body of research on artificial general intelligence (AGI) assessment by highlighting the importance of uncertainty recognition as a critical component of future machine intelligence evaluation. This impossibility test thus extends previous theoretical frameworks for universal intelligence testing by providing empirical evidence of current limitations in LLMs' ability to recognize their own knowledge boundaries, suggesting new directions for improving model training architectures and evaluation approaches.
• Abstract（参考訳）: 本研究は、675の根本的な解決不可能な問題に対する不確実性を認識するための大規模言語モデル(LLM)の能力を評価するために設計された新しい評価フレームワークを紹介する。 意図的な答えが得られない,大学院レベルの大問題質問のキュレートデータセットを用いて,オープン・ソースモデルとクローズド・ソースモデルを含む12のLLMを,妥当かつ不正確な応答を生成するのではなく,無知を許容する確率で評価した。 62-68%の精度で得られた最良のモデルは、生物学から哲学、数学まで様々な分野において未知であった。 問題難易度とモデル精度の逆相関を観測し, GPT-4はより難しい問題に対する不確実性認知率(35.8%)を, より単純な問題(20.0%)と比較した。 このパターンは、問題がより抽出可能なように見えると、モデルは投機的回答を生成する傾向にあることを示している。 この研究は、発明の不確実性を認めるのが困難であるモデルや、哲学的および心理学的課題に対して比較的優れた性能を保ちながら、問題カテゴリーにまたがる重要なバリエーションを明らかにした。 これらの結果は,人工知能評価の重要コンポーネントとして不確実性認識の重要性を強調することによって,人工知能評価(AGI)研究の進展に寄与する。 この不合理性テストは、LLMが自身の知識境界を認識する能力の現在の限界を実証的に証明し、モデルトレーニングアーキテクチャや評価アプローチを改善するための新しい方向性を提案することで、これまでのユニバーサルインテリジェンステストの理論的枠組みを拡張した。

関連論文リスト

• Large Language Models and Mathematical Reasoning Failures [1.6114012813668932]
  本稿では,50の高校レベルの単語問題を用いた大規模言語モデル(LLM)の数学的推論能力について検討する。 最終回答と解決手順の両方を厳格に分析して、推論の失敗を特定します。 より新しいモデル(例えば、o3-mini、deepseek-r1)はより精度が高いが、全てのモデルは空間的推論、戦略的計画、算術における誤りを示す。
  論文  参考訳（メタデータ） (2025-02-17T09:07:32Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• A Comprehensive Evaluation of Large Language Models on Mental Illnesses [0.8458496687170665]
  GPT-4とLlama 3はバイナリ障害検出において優れた性能を示し、特定のデータセットで最大85%の精度に達した。 素早いエンジニアリングは モデル性能を高める上で 重要な役割を担った 有望な結果にもかかわらず、我々の分析では、データセット間のパフォーマンスのばらつきや、注意深いプロンプトエンジニアリングの必要性など、いくつかの課題を特定した。
  論文  参考訳（メタデータ） (2024-09-24T02:58:52Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• OlympicArena: Benchmarking Multi-discipline Cognitive Reasoning for Superintelligent AI [73.75520820608232]
  我々は,11,163のバイリンガル問題を含む,テキストのみとインターリーブされたテキストイメージのモダリティを紹介する。 これらの課題には、7つのフィールドと62の国際オリンピック大会にわたる幅広い規律が含まれており、データ漏洩について厳格に調査されている。 我々の評価によると、GPT-4oのような先進モデルでさえ、複雑な推論とマルチモーダル統合における現在のAI制限を反映して、全体的な精度は39.97%しか達成していない。
  論文  参考訳（メタデータ） (2024-06-18T16:20:53Z)
• VC Search: Bridging the Gap Between Well-Defined and Ill-Defined Problems in Mathematical Reasoning [46.25056744404318]
  5000以上の不確定な数学的問題を含むPMC(Issue with Missing and Contradictory conditions)というベンチマークを開発した。 VCSEARCHは、解決不可能な問題を特定する精度を、さまざまな大きな言語モデルで少なくとも12%向上させる。
  論文  参考訳（メタデータ） (2024-06-07T16:24:12Z)
• Competition-Level Problems are Effective LLM Evaluators [121.15880285283116]
  本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。 まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。 驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
  論文  参考訳（メタデータ） (2023-12-04T18:58:57Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。