論文の概要: Benchmarking Large Language Models via Random Variables

• arxiv url: http://arxiv.org/abs/2501.11790v2
• Date: Mon, 17 Feb 2025 08:06:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:06:35.969423
• Title: Benchmarking Large Language Models via Random Variables
• Title（参考訳）: ランダム変数による大規模言語モデルのベンチマーク
• Authors: Zijin Hong, Hao Wu, Su Dong, Junnan Dong, Yilin Xiao, Yujing Zhang, Zhu Wang, Feiran Huang, Linyi Li, Hongxia Yang, Xiao Huang,
• Abstract要約: 近年の研究では、現在の数学ベンチマークの信頼性が懸念されている。 本稿では,Random Variablesによる大規模言語モデルを数学的推論でベンチマークするフレームワークであるRV-Benchを提案する。 以上の結果から,LSMは出現したデータドメインと"見えない"データドメインの習熟度に不整合を示すことが示唆された。
• 参考スコア（独自算出の注目度）: 40.65711363554025
• License:
• Abstract: Recent studies have raised concerns about the reliability of current mathematical benchmarks, highlighting issues such as simplistic design and potential data contamination. Therefore, creating a reliable benchmark that effectively evaluates the genuine capabilities of large language models (LLMs) in mathematical reasoning remains a significant challenge. To address this, we propose RV-Bench, a framework for Benchmarking LLMs via Random Variables in mathematical reasoning. Specifically, the background content of a random variable question (RV question) mirrors the original problem in existing benchmarks, but the variable combinations are randomized, making it "unseen" by the LLMs. Models must completely understand the question pattern of the original problem to correctly answer RV questions with various variable values. As a result, the LLM's genuine capability in mathematical reasoning is reflected by its accuracy and robustness on RV-Bench. We conducted extensive experiments on over 30 representative LLMs across more than 1000 RV questions. Our findings suggest that LLMs exhibit an imbalance in proficiency between encountered and "unseen" data domains. Proficiency generalization across similar mathematical reasoning tasks is verified to be limited by accuracy and robustness, but it can still be enhanced through test-time scaling.
• Abstract（参考訳）: 最近の研究は、現在の数学ベンチマークの信頼性に関する懸念を提起し、単純化設計や潜在的なデータ汚染といった問題を強調している。 したがって、数学的推論において、大規模言語モデル(LLM)の真の性能を効果的に評価する信頼性の高いベンチマークを作成することは重要な課題である。 これを解決するために,数理的推論においてランダム変数を介してLLMをベンチマークするフレームワークであるRV-Benchを提案する。 具体的には、乱数変数質問 (RV question) の背景内容は、既存のベンチマークにおける元の問題を反映するが、変数の組み合わせはランダム化され、LLMは「目に見えない」。 モデルは、RVの質問に様々な変数の値で正しく答えるために、元の問題の質問パターンを完全に理解しなければならない。 その結果, LLM の数学的推論能力は RV-Bench 上での精度とロバスト性に反映された。 我々は,1000以上のRV質問に対して30以上の代表LSMについて広範な実験を行った。 以上の結果から,LSMは出現したデータドメインと"見えない"データドメインの習熟度に不整合を示すことが示唆された。 同様の数学的推論タスクにおける習熟度一般化は、精度と堅牢性によって制限されるが、テスト時間スケーリングによって拡張できる。

関連論文リスト

• CounterBench: A Benchmark for Counterfactuals Reasoning in Large Language Models [5.409370027524351]
  本研究では, 大規模言語モデル(LLM)の性能評価を行った。 我々は,新しいベンチマークデータセットであるCounterBenchを紹介した。
  論文  参考訳（メタデータ） (2025-02-16T06:19:37Z)
• Beyond the Singular: The Essential Role of Multiple Generations in Effective Benchmark Evaluation and Analysis [10.133537818749291]
  大規模言語モデル(LLM)は、現実世界のアプリケーションにおいて重要なユーティリティを実証している。 LLMの能力を評価するにはベンチマーク評価が不可欠である。
  論文  参考訳（メタデータ） (2025-02-13T03:43:33Z)
• Are Your LLMs Capable of Stable Reasoning? [38.03049704515947]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な進歩を示している。 しかし、ベンチマークパフォーマンスと実世界のアプリケーションの間には大きな違いがある。 G-Pass@kはモデルの性能を連続的に評価する新しい評価指標である。 本稿では,挑戦的,現代数学的な問題からなる動的ベンチマークであるLiveMathBenchを紹介する。
  論文  参考訳（メタデータ） (2024-12-17T18:12:47Z)
• Quantifying Prediction Consistency Under Model Multiplicity in Tabular LLMs [10.494477811252034]
  微調整された大きな言語モデルは、同じ入力で矛盾する予測を行うような、テクティファインチューニングの多重性につながる可能性がある。 これにより、Tabular LLMの堅牢性と信頼性に関する重要な懸念が持ち上がる。 本研究は,コストのかかるモデル再訓練を伴わずに個々の予測の堅牢性を定量化する新しい指標を提案する。
  論文  参考訳（メタデータ） (2024-07-04T22:22:09Z)
• LiveBench: A Challenging, Contamination-Free LLM Benchmark [101.21578097087699]
  最近の情報ソースから頻繁に更新された質問を含む最初のベンチマークであるLiveBenchをリリースする。 我々は、多くの著名なクローズドソースモデルと、0.5Bから110Bまでの数十のオープンソースモデルを評価した。 質問は毎月追加され、更新されるので、時間とともに新しいタスクとより難しいバージョンのタスクをリリースします。
  論文  参考訳（メタデータ） (2024-06-27T16:47:42Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。