論文の概要: GameCommBench: A Unified Benchmark and Type-Aware Evaluation for AI-Generated Game Commentary
- arxiv url: http://arxiv.org/abs/2610.11129v1
- Date: Thu, 08 Oct 2026 02:55:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.749534
- Title: GameCommBench: A Unified Benchmark and Type-Aware Evaluation for AI-Generated Game Commentary
- Title（参考訳）: GameCommBench: AI生成ゲーム解説のための統一ベンチマークとタイプアウェア評価
- Abstract要約: textscGameCommBenchは、ボードゲーム、スポーツ、エスポートにまたがる統一ベンチマークである。
次に,異なるタイプのコメントを評価するための構造化フレームワークであるType-Aware Commentary Evaluation (TACE)を提案する。
その結果,一様でない能力プロファイルが示され,ライブ観察と戦略的分析が大きなボトルネックとして浮上した。
- 参考スコア（独自算出の注目度）: 7.624548542228538
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Game commentary is an open-ended generation task requiring multimodal perception, strategic reasoning, and contextual knowledge. Existing AI-Generated Game Commentary (AI-GGC) studies remain fragmented across games, modalities, and evaluation protocols, while overlap-based or holistic evaluators fail to capture the functional heterogeneity of commentary. We introduce \textsc{GameCommBench}, a unified benchmark spanning board games, sports, and esports, with commentary aligned to heterogeneous game contexts and annotated by commentary type. We further propose Type-Aware Commentary Evaluation (TACE), a structured framework for evaluating different types of commentary. We then validate TACE for reliability and human agreement, and use it to benchmark representative AI commentators. Results reveal non-uniform capability profiles, with live observation and strategic analysis emerging as major bottlenecks. Together, \textsc{GameCommBench} and TACE provide a diagnostic foundation for comparable and interpretable AI-GGC evaluation.
- Abstract（参考訳）: ゲームコメンタリー(Game commentary)は、マルチモーダルな認識、戦略的推論、文脈的知識を必要とするオープンな世代タスクである。
既存のAI-Generated Game Commentary (AI-GGC) 研究はゲーム、モダリティ、評価プロトコルで断片化されているが、オーバーラップベースまたは全体論的評価器はコメントの機能的不均一性を捉えることができない。
ボードゲーム,スポーツ,エスポートにまたがる統一ベンチマークである \textsc{GameCommBench} を紹介する。
さらに,様々なタイプのコメントを評価するための構造化フレームワークであるType-Aware Commentary Evaluation (TACE)を提案する。
次に、信頼性と人的合意のためにTACEを評価し、それを代表的AIコメンテータのベンチマークに使用します。
その結果,一様でない能力プロファイルが示され,ライブ観察と戦略的分析が大きなボトルネックとして浮上した。
\textsc{GameCommBench} と TACE は、同等で解釈可能なAI-GGC評価のための診断基盤を提供する。
関連論文リスト
- BoxComm: Benchmarking Category-Aware Commentary Generation and Narration Rhythm in Boxing [9.244368483134101]
BoxCommは445のワールド・ボクシング・チャンピオンシップ・ビデオと52K以上のプロ放送の解説文からなる大規模なデータセットである。
本稿では,各文をプレイ・バイ・プレイ,戦術,文脈に分類する構造的注釈分類法を提案する。
本稿では,スポーツ解説生成に適した2つの新しい,補完的な評価手法を提案する。
論文 参考訳（メタデータ） (2026-04-06T04:56:49Z) - Beyond Survival: Evaluating LLMs in Social Deduction Games with Human-Aligned Strategies [54.08697738311866]
Werewolfのようなソーシャル推論ゲームは、言語、推論、戦略を組み合わせている。
我々は,100時間以上のビデオ,32.4M発声トークン,15の規則変種を含む高品質で人間認証されたWerewolfデータセットをキュレートした。
本稿では,勝利派戦略を2段階の真理として活用する新たな戦略調整評価法を提案する。
論文 参考訳（メタデータ） (2025-10-13T13:33:30Z) - CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。
また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
論文 参考訳（メタデータ） (2025-08-28T06:03:11Z) - From Multimodal Perception to Strategic Reasoning: A Survey on AI-Generated Game Commentary [9.045787191833822]
本稿では,3つのコアコメンテータ(Live Observation, Strategic Analysis, Historical Recall)に焦点をあてた新しい分類法を提案する。
各種ゲームジャンルにおける最先端の手法,データセット,評価指標の詳細なレビューを行う。
論文 参考訳（メタデータ） (2025-06-17T07:04:51Z) - Enhancing Commentary Strategies for Imperfect Information Card Games: A Study of Large Language Models in Guandan Commentary [1.436872304718226]
強化学習(RL)と大規模言語モデル(LLM)を組み合わせた新しい注釈手法を提案する。
本システムでは,RLを利用して複雑なカード再生シナリオを生成し,LLMを用いて対応する注釈文を生成する。
オープンソース LLM に適用した場合,提案する注釈フレームワークによって達成される性能の大幅な向上を示す。
論文 参考訳（メタデータ） (2024-06-23T11:58:26Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - GameEval: Evaluating LLMs on Conversational Games [93.40433639746331]
大規模言語モデル(LLM)を評価する新しいアプローチであるGameEvalを提案する。
GameEvalはLSMをゲームプレイヤーとして扱い、様々な形式の会話を起動することで達成した特定の目標にそれぞれ異なる役割を割り当てる。
我々は,GameEvalが様々なLLMの能力を効果的に差別化することができ,複雑な問題を解決するための統合能力を総合的に評価できることを示した。
論文 参考訳（メタデータ） (2023-08-19T14:33:40Z) - Contextual Games: Multi-Agent Learning with Side Information [57.76996806603094]
各ラウンドでコンテキスト情報によって駆動されるコンテキストゲームの新しいクラスを定式化する。
カーネルベースの規則性仮定を用いて、異なるコンテキストとゲーム結果の相関関係をモデル化する。
本研究では,個々のプレイヤーの文脈的後悔を最小限に抑えるために,そのような相関を利用した新しいオンライン(メタ)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-07-13T18:37:37Z) - Interactive Fiction Game Playing as Multi-Paragraph Reading
Comprehension with Reinforcement Learning [94.50608198582636]
対話型フィクション(IF)ゲームと実際の自然言語テキストは、言語理解技術に対する新たな自然な評価を提供する。
IFゲーム解決の新たな視点を捉え,MPRC(Multi-Passage Reading)タスクとして再フォーマットする。
論文 参考訳（メタデータ） (2020-10-05T23:09:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。