論文の概要: Tampered ML: Evaluating LLM Judgment of Machine Learning Research

• arxiv url: http://arxiv.org/abs/2610.32114v1
• Date: Fri, 23 Oct 2026 03:32:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.335243
• Title: Tampered ML: Evaluating LLM Judgment of Machine Learning Research
• Title（参考訳）: Tampered ML: 機械学習研究におけるLLM判断の評価
• Abstract要約: 我々は1,858項目ペアのベンチマークであるTampered MLを紹介する。 モデルは、両方の提示順序において、より方法論的に健全な提案を特定する必要がある。 プレゼンテーションの順序に非常に敏感で、より具体的で透明で、あるいは従来的なように見える欠陥のあるデザインを好む。
• 参考スコア（独自算出の注目度）: 14.32112380132333
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One approach to accelerating progress on AI alignment is to automate parts of alignment research itself. Doing so requires systems that can perform reliably on hard-to-supervise research tasks, including identifying flaws in research proposals and evaluating whether a proposed experiment supports its intended claim. To evaluate this capability, we introduce Tampered ML, a benchmark of 1,858 item-pairs, each consisting of an experiment proposal reconstructed from a published machine learning paper and a minimally edited counterfactual that introduces a targeted methodological flaw. Models must identify the more methodologically sound proposal in both presentation orders. A human validation study on a stratified sample estimates that 86% of items are valid (95% CI: 81-91%). Frontier models perform above chance but remain far from reliable (with Opus 5 achieving 77.9% accuracy). They are highly sensitive to the order of presentation and favor flawed designs that appear more specific, transparent, or conventional.
• Abstract（参考訳）: AIアライメントの進歩を加速する1つのアプローチは、アライメント研究自体の自動化である。 そのためには、研究提案における欠陥の特定や、提案された実験が意図した主張を支持するかどうかを評価することを含む、困難かつ監督的な研究課題に確実に対応できるシステムが必要である。 この能力を評価するために,1,858項目ペアのベンチマークであるTampered MLを導入する。 モデルは、両方の提示順序において、より方法論的に健全な提案を特定する必要がある。 成層試料に関する人間による検証では、86%の項目が有効であると見積もられている(95% CI:81-91%)。 フロンティアのモデルの方が高い確率で性能を発揮できるが、信頼性は低い(オプス5の精度は77.9%)。 プレゼンテーションの順序に非常に敏感で、より具体的で透明で、あるいは従来的なように見える欠陥のあるデザインを好む。

関連論文リスト

• IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
  研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。 提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。 IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
  論文  参考訳（メタデータ） (2026-09-09T17:59:04Z)
• TRACES: A Benchmark for Epistemic Reliability in Scientific Reasoning by LLMs [0.0]
  下流検証が存在しない領域では、科学的なエージェントとして大きな言語モデルが提案されている。 筆者らは,42枚の抽出,不正,疑似科学的論文からなるプローブコーパスを,各論文のフレーミングと単発モデルエンゲージメントを抽出・評価する手法と組み合わせて導入した。 プローブは、5つのクレームタイプ、製造された観測、擬似物理機構、魔法の前提、合法化橋、貨物カルト実験である。
  論文  参考訳（メタデータ） (2026-08-11T20:30:32Z)
• SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones? [51.154921661608675]
  我々は、ICLRの投稿から再構成された1,099の機械学習研究提案のキュレートされたベンチマークであるSoundnessBenchを紹介する。 SoundnessBenchは、完全なレビュー結果の正確な予測よりも、復元可能な提案段階の音質のベンチマークとして解釈されるべきである。
  論文  参考訳（メタデータ） (2026-05-28T17:57:37Z)
• MLReplicate: Benchmarking Autonomous Research Systems for Machine Learning Reproducibility [2.2969445973129123]
  我々は機械学習の自律的な研究システムを評価するエンドツーエンドのベンチマークであるMLReplicateを紹介する。 このベンチマークは、ICML 2025論文から標準化された入力仕様に改定され、6つの最先端の研究システムで評価された。 自動レビューとは対照的に、人間レビュアーは、方法論上の欠陥、幻覚的な実験結果、全てのシステムにまたがる失敗を一貫して特定した。
  論文  参考訳（メタデータ） (2026-05-15T20:35:32Z)
• Are we still able to recognize pearls? Machine-driven peer review and the risk to creativity: An explainable RAG-XAI detection framework with markers extraction [7.723181091241251]
  本稿では、レビュー品質を評価し、自動パターンを検出するための説明可能なフレームワーク(RAG-XAI)を提案する。 XGBoost、Random Forest、LightGBMは99.61%、AUC-ROCは0.999以上、F1スコアは0.9925である。
  論文  参考訳（メタデータ） (2026-04-09T08:25:49Z)
• Teaching Language Models to Forecast Research Success Through Comparative Idea Evaluation [4.702729080310267]
  PapersWithCodeの客観的な結果に基づいて,11,488のアイデアペアのデータセットを構築した。 我々は、潜在的推論経路を発見するためにモデルを訓練し、解釈可能な正当化で71.35%を達成した。 この結果から,計算効率のよい小言語モデルが,有効で客観的な検証手段として有効であることが示唆された。
  論文  参考訳（メタデータ） (2026-04-06T19:03:11Z)
• Learning to Predict Future-Aligned Research Proposals with Language Models [59.79457676644722]
  我々は目標から得られた17,771の論文とそれらの事前カットオフ引用の時間一貫性のあるデータセットを構築した。 モデルをトレーニングするために、ターゲットとそれらのカットオフ前の引用から17,771枚のタイム一貫性のあるデータセットを構築します。 Llama-3.1 と Qwen2.5 のモデル全体で、将来のアライメントチューニングは、非アライメントベースラインに対する将来のアライメントを改善する。
  論文  参考訳（メタデータ） (2026-03-28T05:41:15Z)
• Meta-Fair: AI-Assisted Fairness Testing of Large Language Models [2.9632404823837777]
  公正さは人工知能(AI)システムの開発における中核的な原則である。 大規模言語モデル(LLM)におけるフェアネステストへの現在のアプローチは、手動評価、固定テンプレート、決定論、キュレートされたデータセットに依存していることが多い。 本研究は,LLMの公正性をテストするための,新しい自動化手法の基盤となることを目的としている。
  論文  参考訳（メタデータ） (2025-07-03T11:20:59Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)
• Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias [33.99768156365231]
  生成言語モデルにおけるバイアス測定のための因果的定式化を導入する。 我々はOccuGenderというベンチマークを提案し、職業性バイアスを調査するためのバイアス測定手法を提案する。 以上の結果から,これらのモデルでは職業性バイアスがかなり大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T22:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。