論文の概要: NxN E-valuation: Hypothesis Certification via a Conformal CRT Null

• arxiv url: http://arxiv.org/abs/2608.06621v1
• Date: Thu, 06 Aug 2026 22:14:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.299822
• Title: NxN E-valuation: Hypothesis Certification via a Conformal CRT Null
• Title（参考訳）: NxN E-valuation: Conformal CRT Nullによる仮説証明
• Abstract要約: 提案するNxN E-valuationは,e-value-based hypothesis-certificationアルゴリズムである。 ケース固有の認証手順を構築することなく、仮説を検証できる。 NxNのE評価は特にLLMベースの探査システムに適している。
• 参考スコア（独自算出の注目度）: 7.215201796507224
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose NxN E-valuation, a handy, e-value-based hypothesis-certification algorithm that lets a hypothesis be verified without building any case-specific certification procedure---such as constructing a dedicated null hypothesis---as long as a large enough dataset is available. The method is especially suited to LLM-based exploration systems, where LLMs are remarkably good at proposing hypotheses but suffer badly from hallucination; this hallucination prevents us from harvesting LLM outputs directly, and existing remedies each fall short. The most common solutions include letting the LLM verify or correct itself circular verification and held-out testing (where false hypotheses can still pass via spurious correlations), among other remedies detailed in the introduction. To resolve this, NxN E-valuation exploits the naturally existing large training set and lets different samples serve as null hypotheses for one another. This design directly realizes a conditional randomization test (CRT) that certifies each hypothesis. The approach can be a universally better replacement for at least LLM circular verification and held-out-data testing, provided the LLM's generations are hypotheses that apply to each individual sample.
• Abstract（参考訳）: 我々は、ケース固有の認証手順を構築することなく仮説を検証できる便利なe-value-based hypothesis-certificationアルゴリズムであるNxN E-valuationを提案する。 この方法はLLMに基づく探索システムに特に適しており、LSMは仮説の提案に非常に適しているが幻覚に苦しむ。 もっとも一般的な解決策は、LLMが円形の検証を検証または修正すること、そして(偽仮説がいまだに素早い相関によって通過できる)ホールドアウトテストなどである。 これを解決するため、NxN E-valuationは自然に存在する大きなトレーニングセットを利用し、異なるサンプルを互いにnull仮説として機能させる。 この設計は、各仮説を認証する条件付きランダム化テスト(CRT)を直接実現している。 このアプローチは、LLMの世代が個々のサンプルに適用される仮説であるならば、少なくともLLMの円形検証と保持データテストの置き換えとして、普遍的に優れている。

関連論文リスト

• Hypothesis generation and updating in large language models [0.0]
  大規模言語モデル(LLM)は、人々が問題を解決するのにますます役立っているが、どのように推論を行うかは、まだ不明である。 本稿では,数ゲームにおいて,学習者がいくつかの正の整数によって支持される仮説を推測する制御された設定について検討する。 3つの補足的プローブ(後部予測、仮説評価、仮説生成)を用いて後部仮説を測定する。
  論文  参考訳（メタデータ） (2026-05-07T08:24:54Z)
• HypoSpace: Evaluating LLM Creativity as Set-Valued Hypothesis Generators under Underdetermination [46.896452542901805]
  有限仮説集合のサンプルとして LLM を扱う診断スイートである hypoSpace を紹介する。 我々は、決定論的検証器と正確に列挙された仮説空間を持つ3つの構造化された領域において、HypoSpaceをインスタンス化する。 命令調整と推論に焦点を当てたモデル全体では、検証性はしばしば高く保たれ、ユニキネスとリカバリは許容空間が大きくなるにつれて劣化する。
  論文  参考訳（メタデータ） (2025-10-17T13:00:32Z)
• Flipping Against All Odds: Reducing LLM Coin Flip Bias via Verbalized Rejection Sampling [59.133428586090226]
  大規模言語モデル(LLM)は、しばしば自然言語を用いて確率分布を正確に記述することができる。 このミスマッチはモンテカルロ法、エージェントベースのシミュレーション、ランダム化された意思決定などの信頼性を必要とするタスクでの使用を制限する。 本稿では,古典的リジェクションサンプリングの自然言語適応であるVerbalized Rejection Smpling (VRS)を紹介する。
  論文  参考訳（メタデータ） (2025-06-11T17:59:58Z)
• MOOSE-Chem2: Exploring LLM Limits in Fine-Grained Scientific Hypothesis Discovery via Hierarchical Search [102.11776494401705]
  大規模言語モデル (LLM) は科学的仮説生成の自動化において有望であることを示している。 既存のアプローチは主に、批判的な方法論や実験的な詳細を欠いた粗粒の仮説を導出する。 我々は、科学的仮説発見の新しいタスクを導入し、正式に定義する。
  論文  参考訳（メタデータ） (2025-05-25T16:13:46Z)
• On Reference (In-)Determinacy in Natural Language Inference [62.904689974282334]
  我々は、自然言語推論(NLI)タスクにおける基準決定性(RD)仮定を再考する。 我々は、現在のNLIモデルは、入力前提と仮説が異なるコンテキストを参照できる事実検証のような下流アプリケーションでは失敗するのを観察する。 NLI例における参照曖昧性を特定するための診断ベンチマークであるRefNLIを紹介する。
  論文  参考訳（メタデータ） (2025-02-09T06:58:13Z)
• FactTest: Factuality Testing in Large Language Models with Finite-Sample and Distribution-Free Guarantees [41.78390564658645]
  幻覚や非現実的コンテンツを生成するための大規模言語モデル(LLM)は、高い領域での信頼性を損なう。 FactTest は LLM が与えられた質問に対する正しい回答を確実に提供できるかどうかを統計的に評価する新しいフレームワークである。 本研究では,FactTestが幻覚を効果的に検出し,未知の疑問に答えることを禁じるモデルの能力を向上させることにより,40%以上の精度向上を実現していることを示す。
  論文  参考訳（メタデータ） (2024-11-04T20:53:04Z)
• Hypothesis-only Biases in Large Language Model-Elicited Natural Language Inference [3.0804372027733202]
  我々は,GPT-4,Llama-2,Mistral 7bを用いて,スタンフォードNLIコーパスの一部を再現した。 我々は仮説のみの分類器を訓練し、LLMによる仮説がアノテーションのアーティファクトを含んでいるかどうかを判断する。 我々の分析は、NLIにおける十分に証明されたバイアスがLLM生成データに持続できるという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-10-11T17:09:22Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• Generating with Confidence: Uncertainty Quantification for Black-box Large Language Models [37.63939774027709]
  自然言語生成(NLG)に特化した大規模言語モデル(LLM)が,最近,有望な機能を示すようになった。 我々は、信頼できない結果が無視されるか、さらなる評価のために得られるような、選択的なNLG*に適用し、いくつかの信頼/不確実性対策を提案し、比較する。 その結果, セマンティックな分散の簡易な測定は, LLM応答の質の信頼性を予測できることがわかった。
  論文  参考訳（メタデータ） (2023-05-30T16:31:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。