論文の概要: GuessArena: Guess Who I Am? A Self-Adaptive Framework for Evaluating LLMs in Domain-Specific Knowledge and Reasoning

• arxiv url: http://arxiv.org/abs/2505.22661v1
• Date: Wed, 28 May 2025 17:59:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.797767
• Title: GuessArena: Guess Who I Am? A Self-Adaptive Framework for Evaluating LLMs in Domain-Specific Knowledge and Reasoning
• Title（参考訳）: GuessArena: ドメイン特化知識と推論におけるLLM評価のための自己適応型フレームワーク
• Authors: Qingchen Yu, Zifan Zheng, Ding Chen, Simin Niu, Bo Tang, Feiyu Xiong, Zhiyu Li,
• Abstract要約: 対戦型ゲームベースインタラクションに基づく適応評価フレームワークGuessArenaを提案する。 我々のフレームワークは、動的ドメイン知識モデリングとプログレッシブ推論アセスメントをシームレスに統合します。
• 参考スコア（独自算出の注目度）: 9.226215535668162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The evaluation of large language models (LLMs) has traditionally relied on static benchmarks, a paradigm that poses two major limitations: (1) predefined test sets lack adaptability to diverse application domains, and (2) standardized evaluation protocols often fail to capture fine-grained assessments of domain-specific knowledge and contextual reasoning abilities. To overcome these challenges, we propose GuessArena, an adaptive evaluation framework grounded in adversarial game-based interactions. Inspired by the interactive structure of the Guess Who I Am? game, our framework seamlessly integrates dynamic domain knowledge modeling with progressive reasoning assessment to improve evaluation fidelity. Empirical studies across five vertical domains-finance, healthcare, manufacturing, information technology, and education-demonstrate that GuessArena effectively distinguishes LLMs in terms of domain knowledge coverage and reasoning chain completeness. Compared to conventional benchmarks, our method provides substantial advantages in interpretability, scalability, and scenario adaptability.
• Abstract（参考訳）: 大規模言語モデル (LLM) の評価は、伝統的に静的なベンチマークに依存しており、(1) 事前定義されたテストセットは、多様なアプリケーションドメインへの適応性に欠けており、(2) 標準化された評価プロトコルは、ドメイン固有の知識と文脈的推論能力のきめ細かい評価を捉えるのに失敗する。 これらの課題を克服するために,対戦型ゲームベースインタラクションを基盤とした適応評価フレームワークであるGuessArenaを提案する。 ギース・フー・アイ・アムのインタラクティブな構造にインスパイアされた。 ゲーム,我々のフレームワークは,動的ドメイン知識モデリングとプログレッシブ推論評価をシームレスに統合し,評価精度を向上させる。 GuessArenaは、ドメイン知識のカバレッジと推論チェーンの完全性の観点から、LLMを効果的に区別する5つの垂直ドメインファイナンス、医療、製造、情報技術、教育デーモンストレートに関する実証的研究を行っている。 従来のベンチマークと比較すると,本手法は解釈可能性,拡張性,シナリオ適応性において大きな利点をもたらす。

関連論文リスト

• SEOE: A Scalable and Reliable Semantic Evaluation Framework for Open Domain Event Detection [70.23196257213829]
  オープンドメインイベント検出のためのスケーラブルで信頼性の高いセマンティックレベルの評価フレームワークを提案する。 提案フレームワークはまず,現在7つの主要ドメインをカバーする564のイベントタイプを含む,スケーラブルな評価ベンチマークを構築した。 次に,大言語モデル(LLM)を自動評価エージェントとして活用し,意味的類似ラベルのきめ細かい定義を取り入れた意味的F1スコアを計算する。
  論文  参考訳（メタデータ） (2025-03-05T09:37:05Z)
• SelfPrompt: Autonomously Evaluating LLM Robustness via Domain-Constrained Knowledge Guidelines and Refined Adversarial Prompts [0.6291443816903801]
  本稿では,大規模言語モデル(LLM)のロバスト性を自律的に評価する新しいフレームワークを提案する。 本稿では,ドメイン制約付き知識グラフ三重項から記述文を生成し,敵対的プロンプトを定式化する。 この自己評価機構により、LCMは外部ベンチマークを必要とせずにその堅牢性を評価することができる。
  論文  参考訳（メタデータ） (2024-12-01T10:58:53Z)
• TestAgent: A Framework for Domain-Adaptive Evaluation of LLMs via Dynamic Benchmark Construction and Exploratory Interaction [29.72874725703848]
  大規模言語モデル(LLM)は、様々な垂直領域に徐々に展開されている。 現在の評価方法は、実世界の要求に合致しない静的でリソース集約的なデータセットに依存している。 textbfBenchmark+は従来の質問応答ベンチマークを、より柔軟な戦略基準のフォーマットに拡張します。 我々は,これらの概念を実装したエージェントベースの評価フレームワークであるtextbftextscTestAgentを提案する。
  論文  参考訳（メタデータ） (2024-10-15T11:20:42Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• SLIDE: A Framework Integrating Small and Large Language Models for Open-Domain Dialogues Evaluation [23.203761925540736]
  対話評価のためのフレームワークSLIDE(Small and Large Integrated for Dialogue Evaluation)を提案する。 本手法は, 分類タスクと評価タスクの両方において最先端のパフォーマンスを達成し, また, SLIDEは人的評価器との相関性も良好である。
  論文  参考訳（メタデータ） (2024-05-24T20:32:49Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。