論文の概要: Simplicity Paradox: Debunking myths about prompting and datasets for LLM evaluation

• arxiv url: http://arxiv.org/abs/2607.14109v1
• Date: Thu, 07 May 2026 21:11:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.010896
• Title: Simplicity Paradox: Debunking myths about prompting and datasets for LLM evaluation
• Title（参考訳）: Simplicity Paradox: LLM評価のためのプロンプトとデータセットに関する神話を語る
• Abstract要約: いくつかの研究は、より洗練されたプロンプト技術でより良い性能を主張するが、包括的な評価は提供していない。 このギャップは、MCQA(Multiple-choice Question answering)データセット10個にまたがる8つのプロンプト技術に関する総合的な実証研究を通じて解決される。 以上の結果から,様々なベンチマークにおいて,ベースラインが複雑な推論手法を一貫して上回るという顕著なパラドックスが明らかとなった。
• 参考スコア（独自算出の注目度）: 2.221515121005437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Probing the capabilities of Large Language Models (LLMs) and building robust solutions for Multiple-Choice Question Answering (MCQA) remain central challenges in natural language understanding. Furthermore, the rapid proliferation of LLMs has created the implicit assumption that more sophisticated prompting techniques yield better performance. Several studies claim better performance with more sophisticated prompting techniques, but do not provide a comprehensive evaluation. We address this gap through a comprehensive empirical study of 8 prompting techniques across 10 multiple-choice question answering (MCQA) datasets, encompassing 27 model configurations and roughly 4,300 unique questions evaluated more than 430,000 times. Our findings reveal a striking paradox that baseline prompting consistently outperforms complex reasoning techniques on various benchmarks. Only minimal expert and inductive role framing (CoT-Expert and CoT-Inductive) yields a small but statistically significant $\sim$3 percentage-point (pp) gain over baseline whereas every other elaborate technique we tested matches or under-performs it, often by large margins (up to 31~pp for Self-Analogical). We further investigate three critical phenomena: (1) the unexpected victory of Qwen3-30B-A3B-Thinking-2507 in Elo ratings, (2) the performance-efficiency trade-offs across model variants with different thinking budgets, revealing model-dependent optimal configurations, and (3) the substantial variation in dataset difficulty, with 60% of benchmarks below 70% accuracy and a 47.5~pp spread from easiest to hardest, indicating considerable room for model improvement. These results suggest that the LLM evaluation community may be overcomplicating prompt engineering and that substantial performance gaps remain across diverse benchmarks, offering opportunities for genuine model improvements rather than prompt optimization.
• Abstract（参考訳）: 大規模言語モデル (LLMs) の能力の検証とマルチコース質問回答 (MCQA) のための堅牢なソリューションの構築は、自然言語理解における中心的な課題である。 さらに、LSMの急速な普及は、より洗練されたプロンプト技術がより良い性能をもたらすという暗黙の仮定を生み出した。 いくつかの研究は、より洗練されたプロンプト技術でより良い性能を主張するが、包括的な評価は提供していない。 このギャップは、10のMCQAデータセットにまたがって、27のモデル構成と約4,300のユニークな質問を430,000回以上評価した8つのテクニックの総合的研究を通じて解決される。 以上の結果から,様々なベンチマークにおいて,ベースラインが複雑な推論手法を一貫して上回るという顕著なパラドックスが明らかとなった。 最小限の専門家とインダクティブ・ロール・フレーミング(CoT-ExpertとCoT-Inductive)だけが、ベースラインよりも小さいが統計的に重要な$\sim$3パーセンテージ・ポイント(pp)を得られるのに対して、私たちがテストしたその他の精巧なテクニックは、多くの場合、大きなマージン(自己分析では31〜pp)によって実現されます。 さらに,(1)エロ評価におけるQwen3-30B-A3B-Thinking-2507の予期せぬ勝利,(2)異なる思考予算を持つモデル変種間の性能・効率のトレードオフ,(3)モデル依存的最適構成を明らかにすること,(3)データセットの難易度が大きく変化すること,(3)ベンチマークの60%が70%以下で、47.5〜ppが最短から最短に広がること,の3つの重要な現象について検討した。 これらの結果は、LCM評価コミュニティが迅速なエンジニアリングを過度に複雑にしている可能性があり、様々なベンチマークでかなりのパフォーマンスのギャップが残っており、迅速な最適化よりも真のモデル改善の機会を提供していることを示唆している。

関連論文リスト

• Brevity Constraints Reverse Performance Hierarchies in Language Models [0.0]
  ベンチマーク問題の7.7%では、より大きな言語モデルは10-100倍のパラメータにもかかわらず、より小さな言語モデルよりも28.4ポイント低い。 我々は,このメカニズムを,過度な作業を通じてエラーを発生させる自発的なスケール依存的冗長性として認識する。 この結果から,大規模モデルの性能を最大化するには,スケールアウェア・プロンプト・エンジニアリングが必要であることが判明した。
  論文  参考訳（メタデータ） (2026-03-11T06:47:41Z)
• Task Complexity Matters: An Empirical Study of Reasoning in LLMs for Sentiment Analysis [2.1036545320600095]
  推論能力を持つ大規模言語モデル(LLM)は、推論が言語タスク全体のパフォーマンスを普遍的に改善する、という魅力的な物語を生み出している。 7つのモデルファミリーにまたがる504構成を包括的に評価することで,この主張を検証した。 その結果, 推論の有効性は, タスク依存的であり, 課題の多い仮定であることが明らかとなった。
  論文  参考訳（メタデータ） (2026-02-27T14:49:05Z)
• RankLLM: Weighted Ranking of LLMs by Quantifying Question Difficulty [102.02839046225468]
  RankLLMは質問の難しさとモデルの能力の両方を定量化する新しいフレームワークである。 複数のドメインにまたがる35,550の質問に対して30のモデルを評価する。
  論文  参考訳（メタデータ） (2026-02-12T21:28:46Z)
• Scaling Trends for Multi-Hop Contextual Reasoning in Mid-Scale Language Models [0.0]
  大規模言語モデルにおけるマルチホップ文脈推論の制御に関する研究について述べる。 マルチエージェントシステムは逆パターンを示し、ルールベースのメソッドが失敗する推論タスクを最大80%達成する。
  論文  参考訳（メタデータ） (2026-01-06T20:18:55Z)
• AutoLogi: Automated Generation of Logic Puzzles for Evaluating Reasoning Abilities of Large Language Models [86.83875864328984]
  本稿では,オープンエンド論理パズルを自動合成する手法を提案し,それをバイリンガルベンチマークであるAutoLogiの開発に利用する。 提案手法は,プログラムベースの検証と制御可能な難易度を特徴とし,モデルの推論能力をよりよく区別する信頼性の高い評価を可能にする。
  論文  参考訳（メタデータ） (2025-02-24T07:02:31Z)
• Recursive Decomposition of Logical Thoughts: Framework for Superior Reasoning and Knowledge Propagation in Large Language Models [1.4956870931936515]
  RDoLTは大規模言語モデルの推論性能を大幅に向上させる新しいフレームワークである。 RDoLTは、(1)複雑な推論タスクを進歩的複雑性のサブタスクに分解すること、(2)最も有望な推論思考を特定するための高度な選択とスコアリング機構を使用すること、(3)人間の学習を模倣する知識伝達モジュールを統合すること、の3つの主要なイノベーションに基づいて構築されている。 提案手法は,GSM8K,SVAMP,MultiArithm,LastLetterConcatenation,Gaokao2023 Mathなど,複数のベンチマークで評価された。
  論文  参考訳（メタデータ） (2025-01-03T02:55:44Z)
• MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
  MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。 既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。 そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T18:14:24Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)
• Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-04-02T16:25:30Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。