論文の概要: KORGym: A Dynamic Game Platform for LLM Reasoning Evaluation

• arxiv url: http://arxiv.org/abs/2505.14552v2
• Date: Wed, 21 May 2025 07:43:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 13:19:52.368093
• Title: KORGym: A Dynamic Game Platform for LLM Reasoning Evaluation
• Title（参考訳）: KORGym: LLM推論評価のための動的ゲームプラットフォーム
• Authors: Jiajun Shi, Jian Yang, Jiaheng Liu, Xingyuan Bu, Jiangjie Chen, Junting Zhou, Kaijing Ma, Zhoufutu Wen, Bingli Wang, Yancheng He, Liang Song, Hualei Zhu, Shilong Li, Xingjian Wang, Wei Zhang, Ruibin Yuan, Yifan Yao, Wenjun Yang, Yunli Wang, Siyuan Fang, Siyu Yuan, Qianyu He, Xiangru Tang, Yingshui Tan, Wangchunshu Zhou, Zhaoxiang Zhang, Zhoujun Li, Wenhao Huang, Ge Zhang,
• Abstract要約: 我々はKOR-BenchとGymnasiumに触発された動的評価プラットフォームであるKORGym(Knowledge Orthogonal Reasoning Gymnasium)を紹介する。 KORGymはテキストまたはビジュアル形式で50以上のゲームを提供し、強化学習シナリオによるインタラクティブでマルチターンアセスメントをサポートする。
• 参考スコア（独自算出の注目度）: 78.96590724864606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in large language models (LLMs) underscore the need for more comprehensive evaluation methods to accurately assess their reasoning capabilities. Existing benchmarks are often domain-specific and thus cannot fully capture an LLM's general reasoning potential. To address this limitation, we introduce the Knowledge Orthogonal Reasoning Gymnasium (KORGym), a dynamic evaluation platform inspired by KOR-Bench and Gymnasium. KORGym offers over fifty games in either textual or visual formats and supports interactive, multi-turn assessments with reinforcement learning scenarios. Using KORGym, we conduct extensive experiments on 19 LLMs and 8 VLMs, revealing consistent reasoning patterns within model families and demonstrating the superior performance of closed-source models. Further analysis examines the effects of modality, reasoning strategies, reinforcement learning techniques, and response length on model performance. We expect KORGym to become a valuable resource for advancing LLM reasoning research and developing evaluation methodologies suited to complex, interactive environments.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、推論能力を正確に評価するためのより包括的な評価方法の必要性を浮き彫りにしている。 既存のベンチマークはドメイン固有のものが多いため、LLMの一般的な推論能力をフルに捉えることはできない。 この制限に対処するために,KOR-Bench と Gymnasium に触発された動的評価プラットフォームである Knowledge Orthogonal Reasoning Gymnasium (KORGym) を導入する。 KORGymはテキストまたはビジュアル形式で50以上のゲームを提供し、強化学習シナリオによるインタラクティブでマルチターンアセスメントをサポートする。 KORGymを用いて、19のLLMと8のVLMに対して広範な実験を行い、モデルファミリ内の一貫した推論パターンを明らかにし、クローズドソースモデルの優れた性能を示す。 さらに,モデル性能に対するモダリティ,推論方略,強化学習法,応答長の影響について検討した。 我々は,KORGymがLLM推論研究を進展させ,複雑で対話的な環境に適した評価手法を開発する上で,貴重な資源になることを期待する。

関連論文リスト

• GraphOmni: A Comprehensive and Extendable Benchmark Framework for Large Language Models on Graph-theoretic Tasks [26.992997870540435]
  Graph Omniは、自然言語で記述されたグラフ理論タスクにおけるLLMの推論能力を評価するためのベンチマークである。 これらの次元間の重要な相互作用を識別し、モデルの性能に大きな影響を与えることを示す。 我々の実験によると、Claude-3.5やo4-miniのような最先端モデルは、他のモデルよりも一貫して優れていますが、これらの主要なモデルでさえ、改善の余地がかなりあります。
  論文  参考訳（メタデータ） (2025-04-17T09:01:16Z)
• V-MAGE: A Game Evaluation Framework for Assessing Vision-Centric Capabilities in Multimodal Large Language Models [84.27290155010533]
  本稿では,視覚中心型多機能ゲーム評価(V-MAGE)について紹介する。 V-MAGEは、30以上の慎重に構築された評価シナリオからなる5つの異なるビデオゲームを特徴としている。 V-MAGEは、動的かつインタラクティブな設定において、MLLMの視覚的および推論能力を改善するために実行可能な洞察を提供する。
  論文  参考訳（メタデータ） (2025-04-08T15:43:01Z)
• A Survey of Scaling in Large Language Model Reasoning [62.92861523305361]
  大規模言語モデル(LLM)推論におけるスケーリングの総合的な検討について述べる。 我々は、多段階推論と論理的整合性を改善する推論ステップにおけるスケーリングを分析する。 我々は、反復モデルの改善による最適化に焦点を当て、トレーニング可能な推論のスケーリングについて論じる。
  論文  参考訳（メタデータ） (2025-04-02T23:51:27Z)
• CrossWordBench: Evaluating the Reasoning Capabilities of LLMs and LVLMs with Controllable Puzzle Generation [53.452699232071495]
  CrossWordBenchは、大きな言語モデル(LLM)とLVLM(Large Vision-Language Models)の推論能力を評価するために設計されたベンチマークである。 評価の結果,LLMの推論は,クロスレター制約を効果的に活用することにより,非推論モデルよりも大幅に優れていることがわかった。 本研究は,現在のLLMとLVLMの推論能力の限界について考察し,今後の評価のために,マルチモーダル制約タスクを作成するための効果的なアプローチを提供する。
  論文  参考訳（メタデータ） (2025-03-30T20:03:36Z)
• Approximating Human Strategic Reasoning with LLM-Enhanced Recursive Reasoners Leveraging Multi-agent Hypergames [3.5083201638203154]
  我々は、洗練された推論者に適したロールベースのマルチエージェント戦略相互作用フレームワークを実装した。 我々は,最新のLCMの推論能力を評価するために,ワンショット2プレーヤ美容コンテストを用いた。 実験の結果,人間行動の近似と最適解への到達の両面で,人工推論がベースラインモデルより優れていることがわかった。
  論文  参考訳（メタデータ） (2025-02-11T10:37:20Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• An LLM Feature-based Framework for Dialogue Constructiveness Assessment [8.87747076871578]
  対話構築性評価に関する研究は、(i)個人が特定の行動をとること、議論に勝つこと、視点を変えること、またはオープンマインドネスを広げること、および(ii)そのような事例に対する対話に続く構成性の結果を予測することに焦点を当てている。 これらの目的は、解釈可能な特徴ベースモデルか、事前訓練された言語モデルのようなニューラルモデルのいずれかをトレーニングすることで達成できる。 特徴ベースとニューラルアプローチの強みを組み合わせた対話構築性評価のためのLLM特徴ベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-20T22:10:52Z)
• K-Level Reasoning: Establishing Higher Order Beliefs in Large Language Models for Strategic Reasoning [76.3114831562989]
  マルチエージェント環境で戦略を動的に適応させるためには、LLM(Large Language Model)エージェントが必要である。 我々は,「K-Level Reasoning with Large Language Models (K-R)」という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-02T16:07:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。