論文の概要: General365: Benchmarking General Reasoning in Large Language Models Across Diverse and Challenging Tasks

• arxiv url: http://arxiv.org/abs/2604.11778v1
• Date: Mon, 13 Apr 2026 17:44:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.731495
• Title: General365: Benchmarking General Reasoning in Large Language Models Across Diverse and Challenging Tasks
• Title（参考訳）: ジェネラル365:多変量および混在タスクにわたる大規模言語モデルにおける一般的な推論のベンチマーク
• Authors: Junlin Liu, Shengnan An, Shuang Zhou, Dan Ma, Shixiong Luo, Ying Xie, Yuan Zhang, Wenling Yuan, Yifan Zhou, Xiaoyu Li, Ziwen Wang, Xuezhi Cao, Xunliang Cai,
• Abstract要約: General365は、大規模言語モデルの一般的な推論を評価するために特別に設計されたベンチマークである。 トップパフォーマンスモデルでさえ62.8%の精度しか達成していない。 我々は、ジェネラル365を、ドメイン固有のタスクを超えて、堅牢で汎用的な実世界のシナリオへのLSM推論を促進する触媒として想定する。
• 参考スコア（独自算出の注目度）: 28.462049571160605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contemporary large language models (LLMs) have demonstrated remarkable reasoning capabilities, particularly in specialized domains like mathematics and physics. However, their ability to generalize these reasoning skills to more general and broader contexts--often termed general reasoning--remains under-explored. Unlike domain-specific reasoning, general reasoning relies less on expert knowledge but still presents formidable reasoning challenges, such as complex constraints, nested logical branches, and semantic interference. To address this gap, we introduce General365, a benchmark specifically designed to assess general reasoning in LLMs. By restricting background knowledge to a K-12 level, General365 explicitly decouples reasoning from specialized expertise. The benchmark comprises 365 seed problems and 1,095 variant problems across eight categories, ensuring both high difficulty and diversity. Evaluations across 26 leading LLMs reveal that even the top-performing model achieves only 62.8% accuracy, in stark contrast to the near-perfect performances of LLMs in math and physics benchmarks. These results suggest that the reasoning abilities of current LLMs are heavily domain-dependent, leaving significant room for improvement in broader applications. We envision General365 as a catalyst for advancing LLM reasoning beyond domain-specific tasks toward robust, general-purpose real-world scenarios. Code, Dataset, and Leaderboard: https://general365.github.io
• Abstract（参考訳）: 現代の大規模言語モデル(LLM)は、特に数学や物理学のような専門分野において顕著な推論能力を示している。 しかし、これらの推論スキルをより一般的な、より広い文脈に一般化する能力は、しばしば一般的な推論と呼ばれ、未調査のまま残されている。 ドメイン固有の推論とは異なり、一般的な推論は専門家の知識に頼らず、複雑な制約、ネストされた論理分岐、セマンティックな干渉といった恐ろしい推論の課題を生んでいる。 このギャップに対処するために、LLMの一般的な推論を評価するために特別に設計されたベンチマークであるGeneral365を紹介する。 バックグラウンド知識をK-12レベルに制限することにより、ジェネラル365は専門的な専門知識から推論を明示的に分離する。 ベンチマークは、365の種問題と8つのカテゴリにわたる1,095の変種問題で構成され、高い難易度と多様性を保証している。 数学や物理学のベンチマークでは、LLMのほぼ完全な性能とは対照的に、トップパフォーマンスモデルでさえ62.8%の精度しか達成していない。 これらの結果は、現在のLLMの推論能力はドメインに依存しており、より広範なアプリケーションを改善する余地が残されていることを示唆している。 我々は、ジェネラル365を、ドメイン固有のタスクを超えて、堅牢で汎用的な実世界のシナリオへのLSM推論を促進する触媒として想定する。 Code, Dataset, Leaderboard: https:// general365.github.io

関連論文リスト

• Mixing Expert Knowledge: Bring Human Thoughts Back To the Game of Go [74.28228642327726]
  大規模言語モデル (LLM) は数学やコーディングなどの推論タスクにおいて例外的な性能を示した。 LoGosは、優れた一般的な推論能力を維持するだけでなく、自然言語でGoのゲームプレイも行う強力なLLMである。 LoGosは人間のプロプレイヤーに匹敵するパフォーマンスを達成し、既存のLLMをはるかに上回っている。
  論文  参考訳（メタデータ） (2026-01-23T05:00:49Z)
• General-Reasoner: Advancing LLM Reasoning Across All Domains [64.70599911897595]
  強化学習(RL)は近年,大規模言語モデル(LLM)の推論能力の向上に強い可能性を示している。 本稿では,多分野にわたるLSM推論能力の向上を目的とした,新たなトレーニングパラダイムであるGeneral-Reasonerを提案する。 私たちは一連のモデルをトレーニングし、物理学、化学、金融、電子工学など幅広い分野をカバーする幅広いデータセットでそれらを評価します。
  論文  参考訳（メタデータ） (2025-05-20T17:41:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。