Fugu-MT 論文翻訳(概要): What Proves You Wrong: Benchmarking Language Models on Falsifiable Research Ideation

論文の概要: What Proves You Wrong: Benchmarking Language Models on Falsifiable Research Ideation

arxiv url: http://arxiv.org/abs/2608.22948v1
Date: Mon, 24 Aug 2026 08:17:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-25 13:29:43.962785
Title: What Proves You Wrong: Benchmarking Language Models on Falsifiable Research Ideation
Title（参考訳）: 間違いを犯す: Falsibility Research Ideationで言語モデルをベンチマークする
Abstract要約: Lit2Testベンチマークは、falsifyingの結果を中心に構成された6フィールドの契約に基づいています。 Lit2Testは200のリアルペーパー地区から将来的に構築され、4つのフロンティアモデルから提案を抽出し、両者の提示順序で視覚障害者と判断された1200のペアワイド比較によって比較する。このプロトコルは、診断制御と人間キャリブレーションによって独自の信頼性を監査し、3つのアノテータが明示的に記述された信頼性境界内で結論を裏付ける。
参考スコア（独自算出の注目度）: 23.50765366373648
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models are increasingly used to propose research ideas, yet the prevailing ways of judging such ideas supply no shared decision rule: free-form judging sways with style and position, and scoring against a later paper rewards recovery of one realized trajectory. We introduce a benchmark that carries a proposal from Literature to Test: the Lit2Test benchmark centers on a six-field contract organized around a falsifying outcome, so that every proposal precommits the observation that would prove it wrong, making its quality decidable in the first place rather than merely arguable. Built prospectively from 200 real-paper neighborhoods, Lit2Test elicits proposals from four frontier models and compares them through 1,200 pairwise comparisons judged blind in both presentation orders. The protocol audits its own reliability through diagnostic controls and bounded human calibration, with three annotators corroborating the conclusions within explicitly stated reliability bounds. Lit2Test recovers a strict ranking of the four models in all 10,000 bootstrap replicates, and the separation comes from the quality of the proposed tests and metrics rather than from surface fluency. We release the benchmark, construction pipeline, and audit artifacts for public use.
Abstract（参考訳）: 大規模な言語モデルは研究のアイデアの提案にますます使われているが、そのような考えを判断する一般的な方法は共有された決定ルールを与えていない。 Lit2Testベンチマークは、falsification結果を中心に構成された6フィールドの契約に基づいており、すべての提案が間違った結果を示す観察を前提としており、その品質は単に議論の余地のあるものではなく、そもそも決定可能である。 Lit2Testは200のリアルペーパー地区から将来的に構築され、4つのフロンティアモデルから提案を抽出し、両者の提示順序で視覚障害者と判断された1200のペアワイド比較によって比較する。このプロトコルは、診断制御と人間キャリブレーションによって独自の信頼性を監査し、3つのアノテータが明示的に記述された信頼性境界内で結論を裏付ける。 Lit2Testは、10,000のブートストラップレプリカの4つのモデルの厳格なランキングを回復する。ベンチマーク、構築パイプライン、公開用の監査アーティファクトをリリースしています。

関連論文リスト

NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文参考訳（メタデータ） (2026-09-10T08:34:56Z)
Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文参考訳（メタデータ） (2026-09-07T10:22:22Z)
FormalTCS: Benchmarking End-to-End Frontier Formal Theoretical Computer Science Research of Large Language Models [53.68149869349268]
大規模言語モデル(LLM)は、自動理論計算機科学(TCS)研究の可能性を増大させている。我々は、最前線のエンドツーエンドのTCS研究でLSMを評価するための専門家検証ベンチマークである ourbenchmarkを紹介した。
論文参考訳（メタデータ） (2026-08-20T15:13:41Z)
When May a Model Replace the Experiment? Audits, Licenses, and the Price of Trust in Surrogate-Driven Design [8.037395295172088]
化学、材料科学、機械学習におけるデザインキャンペーンはボトルネックを共有している。これらの結果を予測する機械学習サロゲートは、候補を提案するだけでなく、それらを格付けし、測定したように自身の予測を検索に戻すためにも使われるようになっている。我々は、この慣行が安全で、どんな安全証明書もコストがかからず、代金が確実に支払うことを確約する。
論文参考訳（メタデータ） (2026-08-02T16:59:29Z)
ConfidenceBench: Evaluating Confidence Calibration in Large Language Models [14.831793255747181]
ConfidenceBenchは、大規模言語モデルのキャリブレーションベンチマークである。 15のフロンティア大言語モデルにおいて、言語化された信頼度の評価を行う。信頼性はプロンプトを通じて引き起こされ、モデルロジットへのアクセスは不要である。
論文参考訳（メタデータ） (2026-07-10T01:56:30Z)
PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
PerceptionRubricsはルーブリックベースの評価フレームワークである。飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。 1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
論文参考訳（メタデータ） (2026-06-26T17:59:15Z)
SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones? [51.154921661608675]
我々は、ICLRの投稿から再構成された1,099の機械学習研究提案のキュレートされたベンチマークであるSoundnessBenchを紹介する。 SoundnessBenchは、完全なレビュー結果の正確な予測よりも、復元可能な提案段階の音質のベンチマークとして解釈されるべきである。
論文参考訳（メタデータ） (2026-05-28T17:57:37Z)
HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
論文参考訳（メタデータ） (2026-02-15T02:50:15Z)
Benchmark^2: Systematic Evaluation of LLM Benchmarks [66.2731798872668]
3つの相補的なメトリクスからなる包括的なフレームワークであるBenchmark2を提案する。数学、推論、知識ドメインにまたがる15のベンチマークで実験を行います。本分析により,既存のベンチマーク間での有意な品質変化が明らかとなり,選択的なベンチマーク構築が同等な評価性能を達成できることが示されている。
論文参考訳（メタデータ） (2026-01-07T14:59:03Z)
The NazoNazo Benchmark: A Cost-Effective and Extensible Test of Insight-Based Reasoning in LLMs [3.9977256267361754]
そこで本研究では,日本人児童のライドルから構築した費用効果評価指標であるNazonazoについて紹介する。 GPT-5以外のモデルは人間の性能に匹敵せず、平均精度は52.9%である。
論文参考訳（メタデータ） (2025-09-18T07:50:04Z)
Credal Two-Sample Tests of Epistemic Uncertainty [34.42566984003255]
干潟集合を比較するための新しい仮説テストフレームワークである干潟2サンプル試験を導入する。干潟群を比較するための2サンプル試験を一般化することにより、同値性、包摂性、交叉性、および相互排他性の推論を可能にする。
論文参考訳（メタデータ） (2024-10-16T18:09:09Z)
Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias [33.99768156365231]
生成言語モデルにおけるバイアス測定のための因果的定式化を導入する。我々はOccuGenderというベンチマークを提案し、職業性バイアスを調査するためのバイアス測定手法を提案する。以上の結果から,これらのモデルでは職業性バイアスがかなり大きいことが示唆された。
論文参考訳（メタデータ） (2022-12-20T22:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。