論文の概要: The Impossible Test: A 2024 Unsolvable Dataset and A Chance for an AGI Quiz

• arxiv url: http://arxiv.org/abs/2411.14486v1
• Date: Wed, 20 Nov 2024 04:12:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:04:12.347753
• Title: The Impossible Test: A 2024 Unsolvable Dataset and A Chance for an AGI Quiz
• Title（参考訳）: 2024年の未解決のデータセットとAGIクイズ
• Authors: David Noever, Forrest McKee,
• Abstract要約: 我々は、675の根本的な解決不可能な問題に対して不確実性を認識できる大規模言語モデル(LLM)の能力を評価する。 62-68%の精度で得られた最良のモデルは、生物学から哲学、数学まで様々な分野において未知であった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This research introduces a novel evaluation framework designed to assess large language models' (LLMs) ability to acknowledge uncertainty on 675 fundamentally unsolvable problems. Using a curated dataset of graduate-level grand challenge questions with intentionally unknowable answers, we evaluated twelve state-of-the-art LLMs, including both open and closed-source models, on their propensity to admit ignorance rather than generate plausible but incorrect responses. The best models scored in 62-68% accuracy ranges for admitting the problem solution was unknown in fields ranging from biology to philosophy and mathematics. We observed an inverse relationship between problem difficulty and model accuracy, with GPT-4 demonstrating higher rates of uncertainty acknowledgment on more challenging problems (35.8%) compared to simpler ones (20.0%). This pattern indicates that models may be more prone to generate speculative answers when problems appear more tractable. The study also revealed significant variations across problem categories, with models showing difficulty in acknowledging uncertainty in invention and NP-hard problems while performing relatively better on philosophical and psychological challenges. These results contribute to the growing body of research on artificial general intelligence (AGI) assessment by highlighting the importance of uncertainty recognition as a critical component of future machine intelligence evaluation. This impossibility test thus extends previous theoretical frameworks for universal intelligence testing by providing empirical evidence of current limitations in LLMs' ability to recognize their own knowledge boundaries, suggesting new directions for improving model training architectures and evaluation approaches.
• Abstract（参考訳）: 本研究は、675の根本的な解決不可能な問題に対する不確実性を認識するための大規模言語モデル(LLM)の能力を評価するために設計された新しい評価フレームワークを紹介する。 意図的な答えが得られない,大学院レベルの大問題質問のキュレートデータセットを用いて,オープン・ソースモデルとクローズド・ソースモデルを含む12のLLMを,妥当かつ不正確な応答を生成するのではなく,無知を許容する確率で評価した。 62-68%の精度で得られた最良のモデルは、生物学から哲学、数学まで様々な分野において未知であった。 問題難易度とモデル精度の逆相関を観測し, GPT-4はより難しい問題に対する不確実性認知率(35.8%)を, より単純な問題(20.0%)と比較した。 このパターンは、問題がより抽出可能なように見えると、モデルは投機的回答を生成する傾向にあることを示している。 この研究は、発明の不確実性を認めるのが困難であるモデルや、哲学的および心理学的課題に対して比較的優れた性能を保ちながら、問題カテゴリーにまたがる重要なバリエーションを明らかにした。 これらの結果は,人工知能評価の重要コンポーネントとして不確実性認識の重要性を強調することによって,人工知能評価(AGI)研究の進展に寄与する。 この不合理性テストは、LLMが自身の知識境界を認識する能力の現在の限界を実証的に証明し、モデルトレーニングアーキテクチャや評価アプローチを改善するための新しい方向性を提案することで、これまでのユニバーサルインテリジェンステストの理論的枠組みを拡張した。

関連論文リスト

• ErrorRadar: Benchmarking Complex Mathematical Reasoning of Multimodal Large Language Models Via Error Detection [60.297079601066784]
  エラー検出におけるMLLMの能力を評価するために設計された最初のベンチマークであるErrorRadarを紹介する。 ErrorRadarはエラーステップ識別とエラー分類という2つのサブタスクを評価している。 2500の高品質なマルチモーダルK-12数学問題で構成され、実世界の学生相互作用から収集される。 GPT-4oの優れた性能は、まだ人間の評価に約10%遅れているため、大きな課題が残っている。
  論文  参考訳（メタデータ） (2024-10-06T14:59:09Z)
• A Comprehensive Evaluation of Large Language Models on Mental Illnesses [0.8458496687170665]
  GPT-4とLlama 3はバイナリ障害検出において優れた性能を示し、特定のデータセットで最大85%の精度に達した。 素早いエンジニアリングは モデル性能を高める上で 重要な役割を担った 有望な結果にもかかわらず、我々の分析では、データセット間のパフォーマンスのばらつきや、注意深いプロンプトエンジニアリングの必要性など、いくつかの課題を特定した。
  論文  参考訳（メタデータ） (2024-09-24T02:58:52Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• OlympicArena: Benchmarking Multi-discipline Cognitive Reasoning for Superintelligent AI [73.75520820608232]
  我々は,11,163のバイリンガル問題を含む,テキストのみとインターリーブされたテキストイメージのモダリティを紹介する。 これらの課題には、7つのフィールドと62の国際オリンピック大会にわたる幅広い規律が含まれており、データ漏洩について厳格に調査されている。 我々の評価によると、GPT-4oのような先進モデルでさえ、複雑な推論とマルチモーダル統合における現在のAI制限を反映して、全体的な精度は39.97%しか達成していない。
  論文  参考訳（メタデータ） (2024-06-18T16:20:53Z)
• Context Matters: Data-Efficient Augmentation of Large Language Models for Scientific Applications [15.893290942177112]
  GPT-4のような大規模言語モデル(LLM)に固有の課題について検討する。 一貫性と意味論的に厳密な方法で誤った回答を提示するLLMの能力は、事実の不正確さの検出を複雑にする。 本研究の目的は,このような誤りの理解と軽減を図り,LCMの精度と信頼性の向上に寄与することである。
  論文  参考訳（メタデータ） (2023-12-12T08:43:20Z)
• Competition-Level Problems are Effective LLM Evaluators [121.15880285283116]
  本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。 まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。 驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
  論文  参考訳（メタデータ） (2023-12-04T18:58:57Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Knowledge of Knowledge: Exploring Known-Unknowns Uncertainty with Large Language Models [44.117620571329596]
  我々は,不確定な回答がないことによる不確実性の高さを特徴とする,未知の疑問に対処することに注力する。 研究を容易にするために,Known-Unknown Questions (KUQ) を用いた新しいデータセットを収集した。 本稿では、このデータセットを用いて微調整したオープンソースのLLMの性能について検討し、未知のクエリと未知のクエリを区別する。
  論文  参考訳（メタデータ） (2023-05-23T05:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。