論文の概要: An Investigation of the NeurIPS and ICML 2025 Position Tracks
- arxiv url: http://arxiv.org/abs/2608.16894v1
- Date: Mon, 06 Jul 2026 23:49:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.24237
- Title: An Investigation of the NeurIPS and ICML 2025 Position Tracks
- Title（参考訳）: NeurIPSとICML 2025の位置トラックの検討
- Abstract要約: NeurIPS 2025とICML 2025の位置トラックはアジェンダ設定作業のために作られ、初期の構成は監査に値するものであった。
我々は,NeurIPS 2025 および ICML 2025 の位置トラックに対して,予め指定したルーリックの下で,アクセス可能な全ての入力を監査し,その結果のパターンをアジェンダシフトするML論文の参照クラスと比較する。
- 参考スコア（独自算出の注目度）: 10.943390023016574
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: ML venues shape what kinds of research claims become legible to reviewers and what forms of evidence count as rigorous. The NeurIPS and ICML Position Paper Tracks were created for agenda-setting work, making their early composition worth auditing. \textbf{This paper argues that the publicly accessible 2025 reviewed pool is dominated by reformist critique, and that the track should explicitly solicit direction-setting work alongside, not in place of, the reformist critiques it already hosts well.} We audit every accessible submission to the NeurIPS 2025 and ICML 2025 Position Tracks under a pre-specified rubric, and compare the resulting pattern with a reference class of widely recognized agenda-shifting ML papers. Three-quarters of audited submissions critique an existing benchmark, evaluation, or methodology; these papers score highly on our artifact-coupling rubric, but evidentiary depth does not predict reviewer rating. The reference class (AlexNet, the Transformer, Concrete Problems in AI Safety, and others) differs from the accessible reviewed pool in \emph{artifact kind}: agenda-shifting papers typically gave the field something new to build on, test against, or contest, such as a measurement protocol, benchmark proposal, toy implementation, dataset card, audit template, or falsifiable experimental program. We close with four CFP-level interventions aimed at broadening the submission mix without displacing the critiques the track already hosts well.
- Abstract（参考訳）: MLの会場は、レビュアーにとってどんな研究が妥当になるのか、どんな証拠が厳格だとみなすのかを形作っている。
NeurIPSとICMLの位置紙のトラックはアジェンダ設定作業のために作られ、初期の構成は監査に値するものになった。
この論文は、パブリックアクセス可能な2025年のレビュープールは、改革主義者の批評に支配されており、トラックは、既にうまくホストされている改革主義者の批判に代えて、明示的に方向設定作業を要求するべきであると主張している。
} 特定ルーリックの下でNeurIPS 2025およびICML 2025の位置追跡に利用可能な全ての入力を監査し、その結果パターンを広く認識されているアジェンダシフトML論文の参照クラスと比較する。
調査対象の4分の3は既存のベンチマーク、評価、方法論を批判しており、これらの論文はアーティファクト結合のルーリックを高く評価しているが、明らかな深さはレビュアーの評価を予測していない。
基準クラス (AlexNet, the Transformer, concrete Problems in AI Safety, その他) は \emph{artifact kind} のアクセス可能なレビュープールとは異なっている: アジェンダシフトの論文は一般的に、測定プロトコル、ベンチマーク提案、おもちゃの実装、データセットカード、監査テンプレート、または偽装可能な実験プログラムなど、新しいものを構築する、テストする、あるいは競合する分野を与えている。
4つのCFPレベルの介入は、既にホストされている批判を損なうことなく、提案の混合を拡大することを目的としています。
関連論文リスト
- When AI Reviews Train AI Reviewers: Scientific-Judgment Collapse and Mitigation [50.90087870200793]
大規模言語モデル(LLM)は、科学的な評価にますます参加している。
このフィードバックループの1ステップを制御された環境で研究する。
TrustReviewerは、AIと機械学習論文のピアレビューを生成するための、オープンソースのシステムである。
論文 参考訳（メタデータ） (2026-09-17T18:01:08Z) - PaperDoctor: Evidence-Grounded and Actionable Feedback for Scientific Papers in Progress [130.58520199343707]
PaperDoctorは,3つの重要なイノベーションを備えた,サブミッション前のフィードバックのためのエージェントフレームワークである。
まず、全体論的階層的なフレームワークは、書き込み、レイアウト、参照、コード、理論、先行作業、実験を評価します。
第二に、各発見には、観察、文、方程式、コードラインなどの特定の証拠へのポインタ、修正提案が含まれる。
第3に、PaperDoctorはクレームの重要性と計算予算に基づいて実験を選択的に再構築し、再実行する。
論文 参考訳（メタデータ） (2026-09-15T11:08:11Z) - Deep Academic Survey: Stateful Agentic Closed-Loop Paradigm for Academic Survey Automation [60.151050016855834]
DASは出版指向の学術調査を作成するためのステートフルなエージェント・フレームワークである。
その鍵となる考え方は、再利用可能な紙分析とトピック固有の原稿構築を分離することである。
DASは4つの次元で最高点に達し、総合スコアは4.34であり、最強の競争相手は4.03である。
論文 参考訳（メタデータ） (2026-08-18T17:29:00Z) - Benchmarking and Enhancing LLMs for Rule-Intensive Review of National Standard Documents [7.397429318828859]
大規模言語モデル(LLM)は、複雑なプロフェッショナルタスクをますますサポートしているが、ルール集約型文書レビューにおけるそれらの能力は、十分に評価されていない。
既存のベンチマークはドメイン知識と質問応答に重点を置いており、プロのドキュメントの品質レビューをほとんど見落としている。
GB/T-Benchは,全国標準文書の構造化レビューのための最初のベンチマークである。
論文 参考訳（メタデータ） (2026-08-06T17:27:23Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - BadScientist: Can a Research Agent Write Convincing but Unsound Papers that Fool LLM Reviewers? [21.78901120638025]
製造指向の紙生成エージェントがマルチモデルLCMレビューシステムを欺くことができるかどうかを考察する。
我々のジェネレータは、実際の実験を必要としないプレゼンテーション操作戦略を採用している。
健全な集約数学にもかかわらず、整合性検査は体系的に失敗する。
論文 参考訳（メタデータ） (2025-10-20T18:37:11Z) - When Your Reviewer is an LLM: Biases, Divergence, and Prompt Injection Risks in Peer Review [34.067892820832405]
本稿では,学術レビュアーとして大規模言語モデル(LLM)を体系的に評価する。
ICLR 2023とNeurIPS 2022の1,441論文のキュレートされたデータセットを用いて、評価、強度、弱点を越えて、GPT-5-miniをヒトレビュアーに対して評価した。
以上の結果から, LLMは, より弱い論文に対する評価を一貫して向上させつつ, より強いコントリビューションに対する人間の判断と密に一致させることが示唆された。
論文 参考訳（メタデータ） (2025-09-12T00:57:50Z) - Reproducibility and Artifact Consistency of the SIGIR 2022 Recommender Systems Papers Based on Message Passing [10.474191156751928]
我々は、SIGIR 2022と2023で発表されたグラフベースのRecommender Systemsの10の論文を分析した。
分析の結果,注意を要するいくつかの重要な点が明らかになった。
これらの問題により、調査・再生を試みた論文のほとんどに記載された主張を裏付けることができない。
論文 参考訳（メタデータ） (2025-03-10T20:09:04Z) - The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review [49.43514488610211]
著者が提供するランキングは、機械学習カンファレンスでのピアレビュープロセスを改善するために利用することができる。
著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
本稿では,アイソトニック機構の慎重かつリスクの低いいくつかの応用と著者が提案する格付けをピアレビューで提案する。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。
実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-24T02:33:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。