論文の概要: Mitigating LLM-based p-Hacking by Preregistering for the Next LLM

• arxiv url: http://arxiv.org/abs/2606.27687v1
• Date: Fri, 26 Jun 2026 03:31:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.361793
• Title: Mitigating LLM-based p-Hacking by Preregistering for the Next LLM
• Title（参考訳）: 次世代LLMの事前登録によるLPMによるp-Hackingの緩和
• Abstract要約: 大規模言語モデル (LLM) は、出力が仮説テストに影響を及ぼすデータの生成、分類、注釈付けにますます使われている。 LLMに基づく研究において, p-hacking を緩和するプロトコルを提案する。 真の価値が分かっている2つのタスクでプロトコルを評価する。
• 参考スコア（独自算出の注目度）: 11.975930465930832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used to generate, classify, and annotate data whose outputs feed downstream hypothesis tests. However, LLM-based research is easy to p-hack: a researcher can tune the prompts, decoding parameters, or output format until a desired result is reached. We propose a protocol to mitigate p-hacking in LLM-based research: preregistering the experiment and eligible models, and then running it on the first eligible LLM that is released after the preregistration. The researcher finalizes the procedure on current models, preregisters the analysis plan together with a set of eligible future models, and runs the confirmatory analysis on the first eligible model released afterward. Because this model does not exist at commitment time, it cannot be hacked against; furthermore, configurations that hack one model frequently do not transfer to the next. We evaluate the protocol on two tasks whose true values are known. Across 20 models from four providers and 11 LLM-analysis configurations, the protocol would have blocked successful transfer of the p-hack in 73.9% and 72.7% of cases in the two tasks. Additional analyses reveal that mitigation remains substantial under several stress tests. Finally, putting money where our mouth is, we followed our own protocol and preregistered our experiment. The preregistered experiment confirmed the protocol's effectiveness: out of the 7 configurations that hacked the prior model, the hacking failed to carry over in 6 configurations on the first eligible model released afterward.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、出力が下流の仮説テストに影響を及ぼすデータの生成、分類、注釈付けにますます使われている。 研究者は、所望の結果に到達するまでプロンプト、デコードパラメータ、出力フォーマットを調整できる。 LLM を用いた研究において p-hacking を緩和するプロトコルを提案する。実験と有効なモデルを事前登録し、事前登録後に解放された最初の LLM 上で実行する。 研究者は、現在のモデルに関する手順を確定し、分析計画と適用可能な将来のモデルのセットを事前登録し、その後にリリースされた最初の許容モデルに関する確認分析を実行する。 このモデルはコミット時に存在しないため、ハックはできない。さらに、1つのモデルに頻繁にハックする構成は次のモデルに転送されない。 真の価値が分かっている2つのタスクでプロトコルを評価する。 4つのプロバイダと11のLCM分析構成の20モデルで、このプロトコルは2つのタスクの73.9%と72.7%でp-ハックの転送をブロックした。 さらなる分析により、いくつかの応力試験では緩和が相当に残っていることが判明した。 そして最後に、私たちの口にお金を入れると、私たちは独自のプロトコルに従い、実験を事前登録しました。 事前登録された実験は、プロトコルの有効性を確認した: 以前のモデルにハックされた7つの構成のうち、ハッキングはその後リリースされた最初の許容モデルで6つの構成で実行できなかった。

関連論文リスト

• Can We Predict Before Executing Machine Learning Agents? [74.39460101251792]
  データ中心のソリューション優先のタスクを形式化し、18,438対比較の包括的コーパスを構築する。 検証データ解析レポートを作成した場合, LLM は重要な予測能力を示すことを示す。 このフレームワークをForEAGENT(Predict-then-Verifyループを利用するエージェント)でインスタンス化し、実行ベースラインを+6%超えながらコンバージェンスを6倍高速化する。
  論文  参考訳（メタデータ） (2026-01-09T16:44:17Z)
• Realizing LLMs' Causal Potential Requires Science-Grounded, Novel Benchmarks [20.409472830397455]
  因果発見に関するLLM(Large Language Models)による最近の強いパフォーマンスの主張は、重要な欠陥によって損なわれている。 LLMは因果構造を本当に理由付けていますか? LLMの因果解析の可能性を実現するには、(P.1)最近の科学的研究に基づく堅牢な評価プロトコルを開発し、(P.2)LLM由来の知識とデータ駆動統計を組み合わせたハイブリッドな手法を設計することが必要である。
  論文  参考訳（メタデータ） (2025-10-18T14:58:04Z)
• Fingerprinting LLMs via Prompt Injection [16.907123772391213]
  大規模言語モデル(LLM)は、後処理や量子化といった後処理によって、リリース後にしばしば修正される。 既存のプロファイランス検出手法には,(1)リリース前のベースモデルにシグナルを埋め込む,(2)手作りのプロンプトやランダムなプロンプトを用いたモデル間の出力を比較する,という2つの制限がある。 我々はLLMPrintを提案する。LLMPrintはLDM固有の脆弱性を利用して指紋を検知する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-09-29T19:54:36Z)
• Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
  大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。 このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。 意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
  論文  参考訳（メタデータ） (2025-09-10T17:58:53Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• ZKTorch: Compiling ML Inference to Zero-Knowledge Proofs via Parallel Proof Accumulation [3.7687375904925484]
  本稿では,MLモデルをベース暗号演算にコンパイルするエンドツーエンドの証明システムを提案する。 ZKTorch は Mira 累積法の新たな並列拡張の上に構築されており、最小の累積オーバーヘッドで簡潔な証明を可能にする。 これらのコントリビューションにより、ZKTorchは、特殊なプロトコルと比較して、少なくとも3倍の証明サイズ削減を実現し、汎用ZKMLフレームワーク上での証明時間の最大6倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-07-09T17:03:21Z)
• Cautious Next Token Prediction [62.74127603725369]
  我々は、CNTP(Cautious Next Token Prediction)と呼ばれる新しいトレーニングフリーデコード戦略を提案する。 復号過程において、モデルが特定のステップで比較的高い予測エントロピーを持つ場合、独立にステップから始まる複数の試行をサンプリングし、句読点に遭遇する際に停止する。 提案するCNTPアプローチは,既存の標準復号方式よりも明確なマージンで一貫した性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-07-03T05:49:18Z)
• Predicting Emergent Capabilities by Finetuning [98.9684114851891]
  微調整された言語モデルでは,出現頻度の低いモデルに展開するスケーリングのポイントをシフトできることがわかった。 提案手法は4つの標準NLPベンチマークを用いて検証する。 いくつかのケースでは、最大4倍の計算でトレーニングされたモデルが出現したかどうかを正確に予測できる。
  論文  参考訳（メタデータ） (2024-11-25T01:48:09Z)
• An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking [50.81324768683995]
  FIRSTは、学習からランクへの目的を統合し、最初の生成されたトークンのみのロジットを活用する新しいアプローチである。 我々は、FIRSTの評価をTRECディープラーニングデータセット(DL19-22)に拡張し、様々な領域でその堅牢性を検証する。 我々の実験は、単一トークンの高速リランクは、ドメイン外リランクの品質を損なうものではないことを確認した。
  論文  参考訳（メタデータ） (2024-11-08T12:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。