論文の概要: A Looming Replication Crisis in Evaluating Behavior in Language Models? Evidence and Solutions

• arxiv url: http://arxiv.org/abs/2409.20303v1
• Date: Mon, 30 Sep 2024 14:00:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 10:12:47.494669
• Title: A Looming Replication Crisis in Evaluating Behavior in Language Models? Evidence and Solutions
• Title（参考訳）: 言語モデルにおける行動評価における暗黙のレプリケーション危機 : 証拠と解決法
• Authors: Laurène Vaugrante, Mathias Niepert, Thilo Hagendorff,
• Abstract要約: 大規模言語モデル(LLM)は、ますます広範囲の日常アプリケーションに統合されている。 このことは、LLMの振る舞いの研究から得られた洞察の複製性と一般化可能性に関する懸念を提起する。 GPT-3.5, GPT-4o, Gemini 1.5 Pro, Claude 3 Opus, Llama 3-8B, Llama 3-70Bをチェーン・オブ・ソート, EmotionPrompting, ExpertPrompting, Sandbagging, Re-Reading prompt Engineering Techniqueでテストした。
• 参考スコア（独自算出の注目度）: 15.350973327319418
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In an era where large language models (LLMs) are increasingly integrated into a wide range of everyday applications, research into these models' behavior has surged. However, due to the novelty of the field, clear methodological guidelines are lacking. This raises concerns about the replicability and generalizability of insights gained from research on LLM behavior. In this study, we discuss the potential risk of a replication crisis and support our concerns with a series of replication experiments focused on prompt engineering techniques purported to influence reasoning abilities in LLMs. We tested GPT-3.5, GPT-4o, Gemini 1.5 Pro, Claude 3 Opus, Llama 3-8B, and Llama 3-70B, on the chain-of-thought, EmotionPrompting, ExpertPrompting, Sandbagging, as well as Re-Reading prompt engineering techniques, using manually double-checked subsets of reasoning benchmarks including CommonsenseQA, CRT, NumGLUE, ScienceQA, and StrategyQA. Our findings reveal a general lack of statistically significant differences across nearly all techniques tested, highlighting, among others, several methodological weaknesses in previous research. We propose a forward-looking approach that includes developing robust methodologies for evaluating LLMs, establishing sound benchmarks, and designing rigorous experimental frameworks to ensure accurate and reliable assessments of model outputs.
• Abstract（参考訳）: 大規模言語モデル (LLMs) が広範囲の日常アプリケーションに統合されつつある時代には、これらのモデルの振る舞いの研究が急増している。 しかし、この分野の新規性から、明確な方法論ガイドラインが欠落している。 このことは、LLMの振る舞いの研究から得られた洞察の複製性と一般化可能性に関する懸念を提起する。 本研究は,LLMの推論能力に影響を及ぼす技術に焦点をあてた一連の複製実験により,複製危機の潜在的なリスクを論じ,我々の懸念を裏付けるものである。 GPT-3.5, GPT-4o, Gemini 1.5 Pro, Claude 3 Opus, Llama 3-8B, Llama 3-70B, on the chain-of-thinkt, EmotionPrompting, ExpertPrompting, Sandbagging, and a re-Reading prompt engineering technique, using manual-checked subsets of reasoning benchmarks including CommonsenseQA, CRT, NumGLUE, ScienceQA, StrategyQA。 以上の結果から, 従来の手法では, ほぼすべての手法で統計的に有意な差が認められなかったことが判明した。 本研究では,LCMの評価,音響ベンチマークの確立,モデル出力の正確かつ確実な評価を保証するための厳密な実験フレームワークの設計など,堅牢な手法の開発を含む,先進的なアプローチを提案する。

関連論文リスト

• MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
  MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。 開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。 この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-11-22T18:59:54Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• UBENCH: Benchmarking Uncertainty in Large Language Models with Multiple Choice Questions [10.28688988951815]
  UBENCHは、大きな言語モデルを評価するためのベンチマークである。 これには、知識、言語、理解、推論能力に関する3,978の質問が含まれている。 また,15個のLPMの信頼性を評価し,GLM4が最も優れていることを発見した。
  論文  参考訳（メタデータ） (2024-06-18T16:50:38Z)
• RUPBench: Benchmarking Reasoning Under Perturbations for Robustness Evaluation in Large Language Models [12.112914393948415]
  RUPBenchは,多種多様な推論タスクにわたる大規模言語モデル(LLM)を評価するために設計されたベンチマークである。 我々のベンチマークには15の推論データセットが組み込まれており、コモンセンス、算術、論理、知識集約推論に分類されている。 GPT-4o, Llama3, Phi-3, Gemmaといった最先端のLCMの原文および摂動データセットの性能を調べることにより, その堅牢性およびエラーパターンを詳細に解析する。
  論文  参考訳（メタデータ） (2024-06-16T17:26:44Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
  大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。 これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。 本稿では,この新技術について概観する。
  論文  参考訳（メタデータ） (2023-08-06T18:38:52Z)
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
  従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。 これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。 言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
  論文  参考訳（メタデータ） (2023-06-22T17:31:44Z)
• Evaluating Factual Consistency of Summaries with Large Language Models [24.416837319515896]
  大規模言語モデル(LLM)の直接的推進による要約の事実整合性の評価について検討する。 実験により, LLM のプロンプトは, 全ての設定において, 過去の最良事実性システムより優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T13:48:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。