論文の概要: Dating the Model: Hidden Dates in System Prompts Affect LLM Evaluation

• arxiv url: http://arxiv.org/abs/2609.36931v1
• Date: Tue, 29 Sep 2026 07:45:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.291279
• Title: Dating the Model: Hidden Dates in System Prompts Affect LLM Evaluation
• Title（参考訳）: モデルの日付付け:LLM評価に影響を及ぼすシステムプロンプトに隠れた日付
• Abstract要約: この効果は、バッチサイズや数値精度など、他の非決定性源を超えている。 チェーン・オブ・シークレットや数発のプロンプトといった標準的な技術は感度を低下させません。
• 参考スコア（独自算出の注目度）: 17.737676474960335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reproducibility is essential for scientific research, yet prior work shows that LLM outputs vary with hardware and batching. We identify an overlooked factor: the hidden injection of the current date into system prompts, which users cannot control and which changes every day. Across 9 recent LLMs and 6 datasets spanning multiple-choice QA (MCQA), math reasoning, code generation, and machine translation, performance varies solely with the current date, with deltas of up to 6% on MCQA, 14% on math reasoning, 7% on code generation, and 2.84 BLEU on machine translation. Model rankings also shift, affecting leaderboards. This date effect exceeds other sources of non-determinism, such as batch size and numerical precision. Standard prompting techniques -- chain-of-thought and few-shot prompting -- do not reduce the sensitivity; chain-of-thought even amplifies it. Our findings underscore the need for careful evaluation protocols to ensure reproducibility and fair comparisons in LLM research.
• Abstract（参考訳）: 再現性は科学研究に不可欠であるが、以前の研究から、LCMの出力はハードウェアやバッチ処理によって異なることが示されている。 我々は、現在の日付をシステムプロンプトに隠された注入によって、ユーザーが制御できず、どの変更を毎日行うかという、見落としている要因を特定した。 9つの最近のLCMと6つのデータセットがマルチチョイスQA(MCQA)、算術推論、コード生成、機械翻訳にまたがっており、その性能はMCQAで6%、算数推論で14%、コード生成で7%、機械翻訳で2.84BLEUとなっている。 モデルランキングもシフトし、リーダーボードに影響を及ぼす。 この日付効果は、バッチサイズや数値精度など、他の非決定性源を超えている。 チェーン・オブ・シークレットや少数ショット・シークレットといった標準的なプロンプト技術は、感度を低下させるものではない。 LLM研究における再現性と公正な比較を確保するため, 慎重な評価プロトコルの必要性が示唆された。

関連論文リスト

• Verifying Large Language Models' Reasoning Paths via Correlation Matrix Rank [71.09032766271493]
  大規模言語モデル (LLM) は誤りや幻覚を引き起こす傾向がある。 アウトプットを効果的かつ効率的にチェックする方法は、アプリケーションにとって重要な問題となっている。
  論文  参考訳（メタデータ） (2025-10-28T11:01:10Z)
• Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs [34.51801559719707]
  ハイプロンプト感度は、大規模言語モデルのコアリミットとして広く受け入れられている。 広く報告されているハイプロンプト感度は、本当にLLMの本質的な弱点なのか、それとも、主に評価プロセスの成果物なのか? 即発感度の多くは,ログライクなスコアリングや厳密な回答マッチングなど,評価手法に起因していることがわかった。
  論文  参考訳（メタデータ） (2025-09-01T21:38:28Z)
• Zero-Shot Detection of LLM-Generated Code via Approximated Task Conditioning [8.571111167616165]
  LLM(Large Language Model)が生成するコードは、セキュリティ、知的財産権、学術的完全性に影響を及ぼす。 ゼロショットLLM生成符号検出における条件付き確率分布の役割について検討する。 与えられたコードスニペットを生成するのに使用される元のタスクを近似する新しいゼロショット検出手法を提案する。
  論文  参考訳（メタデータ） (2025-06-06T13:23:37Z)
• Non-Determinism of "Deterministic" LLM Settings [7.008076013373744]
  本研究では,10ランにまたがる8つの共通タスクに適用した場合に決定論的に設定された5つのLSMにおける非決定性について検討する。 自然に発生する実行に最大15%の精度のばらつきがあり、最高のパフォーマンスと最悪のパフォーマンスのギャップがある。 本研究では, 決定論の定量化に重点を置いた指標, Nにおける合意率のトータルは生出力上でのTARr@N, 解析された回答の総合意率のTARa@Nを紹介する。
  論文  参考訳（メタデータ） (2024-08-06T16:43:35Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。