論文の概要: KORGym: A Dynamic Game Platform for LLM Reasoning Evaluation

• arxiv url: http://arxiv.org/abs/2505.14552v2
• Date: Wed, 21 May 2025 07:43:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 13:19:52.368093
• Title: KORGym: A Dynamic Game Platform for LLM Reasoning Evaluation
• Title（参考訳）: KORGym: LLM推論評価のための動的ゲームプラットフォーム
• Abstract要約: 我々はKOR-BenchとGymnasiumに触発された動的評価プラットフォームであるKORGym(Knowledge Orthogonal Reasoning Gymnasium)を紹介する。 KORGymはテキストまたはビジュアル形式で50以上のゲームを提供し、強化学習シナリオによるインタラクティブでマルチターンアセスメントをサポートする。
• 参考スコア（独自算出の注目度）: 78.96590724864606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in large language models (LLMs) underscore the need for more comprehensive evaluation methods to accurately assess their reasoning capabilities. Existing benchmarks are often domain-specific and thus cannot fully capture an LLM's general reasoning potential. To address this limitation, we introduce the Knowledge Orthogonal Reasoning Gymnasium (KORGym), a dynamic evaluation platform inspired by KOR-Bench and Gymnasium. KORGym offers over fifty games in either textual or visual formats and supports interactive, multi-turn assessments with reinforcement learning scenarios. Using KORGym, we conduct extensive experiments on 19 LLMs and 8 VLMs, revealing consistent reasoning patterns within model families and demonstrating the superior performance of closed-source models. Further analysis examines the effects of modality, reasoning strategies, reinforcement learning techniques, and response length on model performance. We expect KORGym to become a valuable resource for advancing LLM reasoning research and developing evaluation methodologies suited to complex, interactive environments.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、推論能力を正確に評価するためのより包括的な評価方法の必要性を浮き彫りにしている。 既存のベンチマークはドメイン固有のものが多いため、LLMの一般的な推論能力をフルに捉えることはできない。 この制限に対処するために,KOR-Bench と Gymnasium に触発された動的評価プラットフォームである Knowledge Orthogonal Reasoning Gymnasium (KORGym) を導入する。 KORGymはテキストまたはビジュアル形式で50以上のゲームを提供し、強化学習シナリオによるインタラクティブでマルチターンアセスメントをサポートする。 KORGymを用いて、19のLLMと8のVLMに対して広範な実験を行い、モデルファミリ内の一貫した推論パターンを明らかにし、クローズドソースモデルの優れた性能を示す。 さらに,モデル性能に対するモダリティ,推論方略,強化学習法,応答長の影響について検討した。 我々は,KORGymがLLM推論研究を進展させ,複雑で対話的な環境に適した評価手法を開発する上で,貴重な資源になることを期待する。

関連論文リスト

• FutureMind: Equipping Small Language Models with Strategic Thinking-Pattern Priors via Adaptive Knowledge Distillation [13.855534865501369]
  小型言語モデル(SLM)は、その効率的で低レイテンシな推論のため、コスト感受性とリソース制限の設定に魅力的である。 本稿では,SLMに戦略的思考パターンを付加したモジュラー推論フレームワークであるFutureMindを提案する。
  論文  参考訳（メタデータ） (2026-02-01T13:26:04Z)
• Evaluating from Benign to Dynamic Adversarial: A Squid Game for Large Language Models [57.33350664910483]
  資源制約と非対称な情報設定を備えた動的・対角的評価環境であるSquid Gameを紹介する。 我々は,Squid Game 上で50以上の LLM を評価し,動的対向シナリオにおける一般 LLM の行動評価研究を最大規模で行った。
  論文  参考訳（メタデータ） (2025-11-12T06:06:29Z)
• KnowMT-Bench: Benchmarking Knowledge-Intensive Long-Form Question Answering in Multi-Turn Dialogues [58.305425399644086]
  MT-LFQA(Multi-Turn Long-Form Question Answering)は、知識集約ドメインにおけるLLM(Large Language Models)の重要な応用パラダイムである。 textbfKnowMT-Benchは、知識集約的な分野にわたるLLMのためのMT-LFQAを体系的に評価するために設計された、テキストファーストなベンチマークである。
  論文  参考訳（メタデータ） (2025-09-26T04:32:29Z)
• LLMsPark: A Benchmark for Evaluating Large Language Models in Strategic Gaming Contexts [19.97430860742638]
  本稿では,大規模言語モデルの意思決定戦略と社会行動を測定するゲーム理論に基づく評価プラットフォームについて述べる。 本システムでは,トップボードランキングとスコアリング機構を用いて,15のLLMを横断的に評価する。 この研究は、LLMの戦略的知性を評価するための新しい視点を導入し、既存のベンチマークを強化し、インタラクティブでゲーム理論的なシナリオにおけるそれらの評価を広げる。
  論文  参考訳（メタデータ） (2025-09-20T10:21:17Z)
• What to Ask Next? Probing the Imaginative Reasoning of LLMs with TurtleSoup Puzzles [26.90890466164784]
  TurtleSoup-Benchは、想像的推論のための、最初の大規模、バイリンガル、インタラクティブなベンチマークである。 また,この環境下でのLLMの性能を評価するための新しいエージェントであるMosaic-Agentを提案する。
  論文  参考訳（メタデータ） (2025-08-14T05:55:42Z)
• MeRF: Motivation-enhanced Reinforcement Finetuning for Large Reasoning Models [95.6332110724999]
  MeRF(Motivation-enhanced Reinforcement Finetuning)は、大規模言語モデル(LLM)の強化学習を強化する直感的かつ効果的な手法である。 MeRFは報酬仕様を直接プロンプトに注入し、最適化目標を認識して応答を改善するためのコンテキスト内モチベーションとして機能する。 Knights and Knaves(K&K)論理パズル推論ベンチマークに関する実証的な評価は、texttMeRFがベースラインよりもかなりの性能向上を達成することを示した。
  論文  参考訳（メタデータ） (2025-06-23T10:37:57Z)
• From Passive to Active Reasoning: Can Large Language Models Ask the Right Questions under Incomplete Information? [34.959850282872594]
  LLMのアクティブな推論能力を評価するために設計された新しいベンチマークであるAR-Benchを提案する。 AR-Benchは3つのタスクファミリー検出ケース、状況パズル、推測数で構成される。 AR-ベンチに関する実証的な評価は、現代のLDMは活発な推論を伴う困難を顕著に示していることを示している。
  論文  参考訳（メタデータ） (2025-06-09T23:56:41Z)
• GraphOmni: A Comprehensive and Extendable Benchmark Framework for Large Language Models on Graph-theoretic Tasks [26.992997870540435]
  Graph Omniは、自然言語で記述されたグラフ理論タスクにおけるLLMの推論能力を評価するためのベンチマークである。 これらの次元間の重要な相互作用を識別し、モデルの性能に大きな影響を与えることを示す。 我々の実験によると、Claude-3.5やo4-miniのような最先端モデルは、他のモデルよりも一貫して優れていますが、これらの主要なモデルでさえ、改善の余地がかなりあります。
  論文  参考訳（メタデータ） (2025-04-17T09:01:16Z)
• V-MAGE: A Game Evaluation Framework for Assessing Vision-Centric Capabilities in Multimodal Large Language Models [84.27290155010533]
  本稿では,視覚中心型多機能ゲーム評価(V-MAGE)について紹介する。 V-MAGEは、30以上の慎重に構築された評価シナリオからなる5つの異なるビデオゲームを特徴としている。 V-MAGEは、動的かつインタラクティブな設定において、MLLMの視覚的および推論能力を改善するために実行可能な洞察を提供する。
  論文  参考訳（メタデータ） (2025-04-08T15:43:01Z)
• A Survey of Scaling in Large Language Model Reasoning [62.92861523305361]
  大規模言語モデル(LLM)推論におけるスケーリングの総合的な検討について述べる。 我々は、多段階推論と論理的整合性を改善する推論ステップにおけるスケーリングを分析する。 我々は、反復モデルの改善による最適化に焦点を当て、トレーニング可能な推論のスケーリングについて論じる。
  論文  参考訳（メタデータ） (2025-04-02T23:51:27Z)
• CrossWordBench: Evaluating the Reasoning Capabilities of LLMs and LVLMs with Controllable Puzzle Generation [53.452699232071495]
  CrossWordBenchは、大きな言語モデル(LLM)とLVLM(Large Vision-Language Models)の推論能力を評価するために設計されたベンチマークである。 評価の結果,LLMの推論は,クロスレター制約を効果的に活用することにより,非推論モデルよりも大幅に優れていることがわかった。 本研究は,現在のLLMとLVLMの推論能力の限界について考察し,今後の評価のために,マルチモーダル制約タスクを作成するための効果的なアプローチを提供する。
  論文  参考訳（メタデータ） (2025-03-30T20:03:36Z)
• Approximating Human Strategic Reasoning with LLM-Enhanced Recursive Reasoners Leveraging Multi-agent Hypergames [3.5083201638203154]
  我々は、洗練された推論者に適したロールベースのマルチエージェント戦略相互作用フレームワークを実装した。 我々は,最新のLCMの推論能力を評価するために,ワンショット2プレーヤ美容コンテストを用いた。 実験の結果,人間行動の近似と最適解への到達の両面で,人工推論がベースラインモデルより優れていることがわかった。
  論文  参考訳（メタデータ） (2025-02-11T10:37:20Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• An LLM Feature-based Framework for Dialogue Constructiveness Assessment [8.87747076871578]
  対話構築性評価に関する研究は、(i)個人が特定の行動をとること、議論に勝つこと、視点を変えること、またはオープンマインドネスを広げること、および(ii)そのような事例に対する対話に続く構成性の結果を予測することに焦点を当てている。 これらの目的は、解釈可能な特徴ベースモデルか、事前訓練された言語モデルのようなニューラルモデルのいずれかをトレーニングすることで達成できる。 特徴ベースとニューラルアプローチの強みを組み合わせた対話構築性評価のためのLLM特徴ベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-20T22:10:52Z)
• Towards a Robust Retrieval-Based Summarization System [11.747998334533776]
  本稿では,大規模言語モデル(LLM)のRAGに基づく要約タスクに対する堅牢性について検討する。 最初のコントリビューションはLogicSummで、現実的なシナリオを取り入れた革新的な評価フレームワークです。 LogiSummによって特定された制限に基づいて、トレーニング対話を作成し、堅牢性を高めるためのモデルを微調整する包括的システム SummRAG を開発した。
  論文  参考訳（メタデータ） (2024-03-29T00:14:46Z)
• K-Level Reasoning: Establishing Higher Order Beliefs in Large Language Models for Strategic Reasoning [76.3114831562989]
  マルチエージェント環境で戦略を動的に適応させるためには、LLM(Large Language Model)エージェントが必要である。 我々は,「K-Level Reasoning with Large Language Models (K-R)」という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-02T16:07:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。