論文の概要: GameTraversalBenchmark: Evaluating Planning Abilities Of Large Language Models Through Traversing 2D Game Maps

• arxiv url: http://arxiv.org/abs/2410.07765v1
• Date: Thu, 10 Oct 2024 09:54:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 15:06:11.514870
• Title: GameTraversalBenchmark: Evaluating Planning Abilities Of Large Language Models Through Traversing 2D Game Maps
• Title（参考訳）: GameTraversalベンチマーク:2Dゲームマップのトラバースによる大規模言語モデルの計画能力の評価
• Authors: Muhammad Umair Nasir, Steven James, Julian Togelius,
• Abstract要約: 大規模言語モデル(LLM)は、最近、自然言語の生成と理解において大きな成功を収めた。 多様な2次元グリッドベースのゲームマップからなるベンチマークであるGameTraversalBenchmark (GTB)を提案する。 GPT-4-TurboはGTB_Score(GTBS)で44.97%の最高スコアを記録した。
• 参考スコア（独自算出の注目度）: 5.874552372073687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have recently demonstrated great success in generating and understanding natural language. While they have also shown potential beyond the domain of natural language, it remains an open question as to what extent and in which way these LLMs can plan. We investigate their planning capabilities by proposing GameTraversalBenchmark (GTB), a benchmark consisting of diverse 2D grid-based game maps. An LLM succeeds if it can traverse through given objectives, with a minimum number of steps and a minimum number of generation errors. We evaluate a number of LLMs on GTB and found that GPT-4-Turbo achieved the highest score of 44.97% on GTB\_Score (GTBS), a composite score that combines the three above criteria. Furthermore, we preliminarily test large reasoning models, namely o1, which scores $67.84\%$ on GTBS, indicating that the benchmark remains challenging for current models. Code, data, and documentation are available at https://github.com/umair-nasir14/Game-Traversal-Benchmark.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、自然言語の生成と理解において大きな成功を収めた。 彼らはまた、自然言語の領域を超えた可能性を示したが、これらのLSMがどの程度、どのように計画できるかについては、未解決の疑問である。 多様な2次元グリッドベースのゲームマップからなるベンチマークであるGameTraversalBenchmark(GTB)を提案し,その計画能力を検証した。 LLMは、最小のステップ数と最小の生成エラー数で、与えられた目的を横切ることができれば成功する。 GTBでは, GPT-4-Turbo が GTB\_Score (GTBS) で44.97% のスコアを得た。 さらに, GTBS 上で 67.84 % のスコアを持つ o1 という大推理モデルを予備試験した結果, ベンチマークが現在のモデルでは依然として困難であることが示唆された。 コード、データ、ドキュメントはhttps://github.com/umair-nasir14/Game-Traversal-Benchmarkで公開されている。

関連論文リスト

• TituLLMs: A Family of Bangla LLMs with Comprehensive Benchmarking [6.070192392563392]
  1B と 3B のパラメータサイズで最初の大容量バングラ LLM である TituLLMs を提示する。 TituLLMsをトレーニングするために、約37億トークンの事前トレーニングデータセットを収集しました。 我々はLlama-3.2トークンを言語や文化固有の知識に組み込むように拡張した。
  論文  参考訳（メタデータ） (2025-02-16T16:22:23Z)
• Beyond Outcomes: Transparent Assessment of LLM Reasoning in Games [54.49589494014147]
  GAMEBoTは、大規模言語モデルの厳格な評価のために設計されたゲームアリーナである。 我々は,8つのゲームにまたがる17の卓越したLSMをベンチマークし,様々な戦略能力とゲーム特性について検討した。 以上の結果から,LDMに詳細なCoTプロンプトが付与されている場合でも,GAMEBoTは大きな課題となることが示唆された。
  論文  参考訳（メタデータ） (2024-12-18T08:32:53Z)
• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• PLUGH: A Benchmark for Spatial Understanding and Reasoning in Large Language Models [13.615681132633561]
  現在5つのタスクからなる最新のベンチマークであるPLUGHについて,48種類のゲームから125個の入力テキストを抽出した。 APIベースおよびオープンソース LLM の評価は,いくつかの商用 LLM には強い推論能力があるが,オープンソースコンペティタは,ほぼ同じレベルの品質を示すことができることを示している。
  論文  参考訳（メタデータ） (2024-08-03T13:21:08Z)
• Evaluating Large Language Models with Grid-Based Game Competitions: An Extensible LLM Benchmark and Leaderboard [0.0]
  我々は,Tic-Tac-Toe,Connect Four,Gomokuなどのグリッドベースのゲームを通じて,大規模言語モデル(LLM)の新たなベンチマークを導入する。 GitHubで利用可能なオープンソースのゲームシミュレーションコードにより、LSMは、詳細なデータファイルと競合し、生成することができる。 本稿では,Orthropic の Claude 3.5 Sonnet と Claude 3 Sonnet,Google の Gemini 1.5 Pro と Gemini Flash,OpenAI の GPT-4 Turbo と GPT-4o,Meta の Llama3-70B などの主要な LLM のゲーム結果を紹介する。
  論文  参考訳（メタデータ） (2024-07-10T16:14:34Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• MEGAVERSE: Benchmarking Large Language Models Across Languages, Modalities, Models and Tasks [12.665447518524187]
  本研究の目的は、同一の多言語データセットで比較することで、SoTA LLMの非英語能力の徹底的な評価を行うことである。 私たちのベンチマークは、低リソースのアフリカ言語を含む83の言語をカバーする22のデータセットで構成されています。 また、データ汚染に関する研究を行い、複数のモデルが多言語評価ベンチマークで汚染される可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-13T16:45:37Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• LEXTREME: A Multi-Lingual and Multi-Task Benchmark for the Legal Domain [24.54412069999257]
  法的なNLP文献を調査し、LEXTREMEを作成する24言語を含む11のデータセットを選択した。 ベストベースライン(XLM-R大)は、両方のデータセットアグリゲーションが言語アグリゲーションスコア61.3を達成する。 これは、LEXTREMEが依然として非常に困難であり、改善の余地が十分にあることを示している。
  論文  参考訳（メタデータ） (2023-01-30T18:05:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。