論文の概要: Selecting LLM-Generated Hypotheses Raises Truth Beyond What an LLM Panel Expects: A Pre-registered Study on NAS-Bench-201 and HPOBench

• arxiv url: http://arxiv.org/abs/2611.00643v1
• Date: Sat, 31 Oct 2026 05:16:06 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:29:47.099052
• Title: Selecting LLM-Generated Hypotheses Raises Truth Beyond What an LLM Panel Expects: A Pre-registered Study on NAS-Bench-201 and HPOBench
• Title（参考訳）: LLM生成仮説の選択:NAS-Bench-201とHPOBenchの事前登録研究
• Abstract要約: 発電機は NAS-Bench-201 と HPOBench の2つのベンチマークに関する条件付き相互作用のクレームを提案する。 すべてのクレームは、テーブルに対して正確に検証され、その非回避性は、前もって校正されたブラインドに対してスコアされる。 過剰な真実は、このパネルが期待するよりも、どれだけの頻度でランの主張が保持されるかを測定する。
• 参考スコア（独自算出の注目度）: 7.406718588794206
• License:
• Abstract: LLM research-ideation systems aim for hypotheses that are both true and non-obvious, yet neither property can normally be checked. We build a testbed in which both can. Generators propose conditional interaction claims about two fully tabulated benchmarks, NAS-Bench-201 and HPOBench; every claim is verified exactly against the tables, and its non-obviousness is scored against a calibrated blind prior elicited from other LLMs. Excess truth measures how much more often a run's claims hold than this panel expects. Across a series of pre-registered stages with Claude and GPT generators, our main positive result is a simple two-stage step found by a harness optimizer: draft a large pool of claims, then select a subset in a separate call. For Sonnet on NAS-Bench-201, this step raised excess truth in every pre-registered test, including against a same-pool ablation that keeps only likely-true claims, without lowering precision. The gain comes both from credit for true claims and from avoiding near-miss false ones. In post hoc checks it held under every calibration, panel and truth rule we tried, and it exceeded random and type-filter selection from the same pools. Because kept claims recur across runs, the evidence weakens when runs and claims are resampled jointly, and it is not significant against Sonnet's own prior. Two secondary findings are also pre-registered. GPT makes real use of the results of cheap probes, beating shuffled and withheld controls, though not more efficiently than asking for more claims. Optimizing the harness for an LLM judge raised judge scores while sharply cutting precision for every generator.
• Abstract（参考訳）: LLMリサーチイデオロギーシステムは、真と非不可避の両方の仮説を目標としているが、通常はどちらの特性もチェックできない。 どちらも可能なテストベッドを構築します。 ジェネレータは、NAS-Bench-201とHPOBenchの2つの完全に集計されたベンチマークに関する条件付き相互作用のクレームを提案し、全てのクレームはテーブルに対して正確に検証され、その非回避性は他のLCMから引き出された校正されたブラインドに対してスコアされる。 過剰な真実は、このパネルが期待するよりも、どれだけの頻度でランの主張が保持されるかを測定する。 Claude と GPT ジェネレータで事前登録された一連のステージの中で、我々の主な肯定的な結果は、ハーネスオプティマイザによって見いだされる単純な2段階のステップである: 大量のクレームをドラフトし、次に別の呼び出しでサブセットを選択する。 NAS-Bench-201のソネットにとって、このステップは登録済みの全ての試験において過剰な真実を提起する。 この利得は、真理の主張に対する信用と、ほぼ無意味な偽の主張を避けることの両方から生まれる。 ポストホックチェックでは、私たちが試したすべてのキャリブレーション、パネル、真実ルールの下で保持され、同じプールからランダムとタイプフィルタの選択を超えた。 主張が実行中に再帰されるため、証拠はランとクレームが一緒に再サンプリングされるときに弱まり、ソネット自身にとって重要なものではない。 2つの二次的な発見も事前登録されている。 GPTは、安価なプローブの結果を実際に利用し、シャッフルされたり、コントロールを保留しなかったりしているが、それ以上のクレームを求めるよりも効率的ではない。 LLM審査員のハーネスの最適化は、各ジェネレータの精度を鋭くカットしながら、審査員のスコアを上げました。

関連論文リスト

• Sample, Mix, or Verify? Allocating Test-Time Compute under Imperfect Verifiers [0.2065179573803396]
  SPLITは正しい回答を提出する確率の正確な公式である。 実験的なベイズの公式に適合し、目に見えないタスクの予算計画に使用する。 パイロットをはるかに超える予測器として、SPLITは検証者が成功すると、パワーローフィッティングを破る。
  論文  参考訳（メタデータ） (2026-10-16T10:28:07Z)
• Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
  マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。 標準的な最終精度評価は、これらの反対のメカニズムを詳述する。 複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
  論文  参考訳（メタデータ） (2026-09-28T14:31:19Z)
• EAVer: Long-Form Factuality Verification as an End-to-End Agentic Policy [50.665874114632]
  我々は、完全な応答レベルの検証ワークフローを統一ポリシーとして制御することを学ぶ、エンドツーエンドのエージェント検証であるEAVerを紹介する。 EAVerはセマンティック関連クレームをグループ化し、信頼に基づいた直接検証やターゲット検索にルートし、コンパクトなインコンテキストメモで検索によって返される証拠を保持する。
  論文  参考訳（メタデータ） (2026-09-02T21:00:35Z)
• NxN E-valuation: Hypothesis Certification via a Conformal CRT Null [7.215201796507224]
  提案するNxN E-valuationは,e-value-based hypothesis-certificationアルゴリズムである。 ケース固有の認証手順を構築することなく、仮説を検証できる。 NxNのE評価は特にLLMベースの探査システムに適している。
  論文  参考訳（メタデータ） (2026-08-06T22:14:53Z)
• When the Reward Suite Is Leaky: A Preregistered Causal Contrast of Natural Verifier False Positives in RLVR [0.0]
  コードに対するRLVR報酬として使用されるテストスイートには、自然な偽陽性がある。 デプロイされたスイート上で、事前登録された2本腕の因果コントラストを実行します。 報酬は単なるスイートアーティファクトではなく、実際のバグに対して支払われていることに気付きました。
  論文  参考訳（メタデータ） (2026-07-13T02:41:16Z)
• SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones? [51.154921661608675]
  我々は、ICLRの投稿から再構成された1,099の機械学習研究提案のキュレートされたベンチマークであるSoundnessBenchを紹介する。 SoundnessBenchは、完全なレビュー結果の正確な予測よりも、復元可能な提案段階の音質のベンチマークとして解釈されるべきである。
  論文  参考訳（メタデータ） (2026-05-28T17:57:37Z)
• A Fixed-Budget, Cluster-Aware Standard for LLM-as-a-Judge Evaluation: A Multi-Hop RAG Stress Test [0.0]
  RAGにおけるLCM-as-a-judge比較の最小基準を提案する。 標準ではトップ100候補プール、エビデンス予算、回答上限、ジェネレータ、プロンプトが修正されている。 また、事前登録された仮説、クラスタ認識推論、実行可能時の正確なクラスタサイン-フリップチェック、第2ジャッジレプリケーションも必要である。
  論文  参考訳（メタデータ） (2026-05-27T00:12:02Z)
• Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
  大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。 FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。 本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
  論文  参考訳（メタデータ） (2026-01-06T02:51:56Z)
• Aligning Large Language Models for Faithful Integrity Against Opposing Argument [71.33552795870544]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な機能を示している。 原文が正しい場合でも、会話中に不誠実な議論によって容易に誤解される。 本稿では,信頼度と信頼度を両立させる新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-02T16:38:21Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。