論文の概要: RINI: Seeing the Prior Is Not Enough
- arxiv url: http://arxiv.org/abs/2609.33284v1
- Date: Sun, 27 Sep 2026 06:42:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 01:31:53.861127
- Title: RINI: Seeing the Prior Is Not Enough
- Title(参考訳): RINI: 前者を見るだけでは十分ではない
- Abstract要約: 3つの実験では、コントリビューションを持つ事前と同一のトピック制御で生成された提案を比較した。
175件の解釈可能な公開提案の人間の分析では、137件が事前の関連性を認識しているが、61件は確立された貢献を正しく評価している。
本稿では,証拠に対する拠出請求を監査する研究思想ノベルティ検査(RINI)を紹介する。
- 参考スコア(独自算出の注目度): 29.227230384889065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A research proposal can describe an established mechanism correctly while claiming to introduce it. We study whether providing the earlier paper corrects such contribution claims. Three controlled experiments compare proposals generated with a contribution-bearing prior and a same-topic control. Providing the prior yields no clear aggregate reduction in unsupported novelty. Human analysis of 175 interpretable exposed proposals finds that 137 recognize the prior's relevance, but 61 correctly attribute the established contribution. Of 71 proposed remaining distinctions, 37 are covered by the same prior. We introduce Research Idea Novelty Inspection (RINI), which audits contribution claims against evidence, checks the remaining distinction, and applies local revisions. Five human annotators evaluate 1,080 original-revision pairs across three methods. On the same 240 originals judged to require correction, successful repair is 11.7% for Self-Revision, 39.1% for Retrieve-and-Revise, and 72.2% for RINI, with research tasks weighted equally. The improvement over same-evidence direct revision is 33.0 percentage points. The revised proposals retain their research questions and technical methods. These results motivate explicit contribution attribution when using literature to generate and revise research proposals.
- Abstract(参考訳): 研究提案は、その導入を主張しながら、確立されたメカニズムを正しく記述することができる。
先程の論文の提出が、そのような貢献の主張を正すかどうかを考察する。
3つの制御された実験は、コントリビューションを持つ事前と同一のトピック制御で生成された提案を比較する。
先行収量を与えることは、サポート対象の新規性において明確な総和を下げるものではない。
175件の解釈可能な公開提案の人間の分析では、137件が事前の関連性を認識しているが、61件は確立された貢献を正しく評価している。
提案されている71の区別のうち、37は以前のものと同じである。
我々は,証拠に対する貢献の主張を監査し,残りの区別を確認し,局所的な改訂を適用する研究思想ノベルティ検査(RINI)を紹介した。
5人のアノテータが3つの手法で1,080のオリジナルリビジョンペアを評価した。
修正が必要と判断された240のオリジナルでは、自己修正は11.7%、修正は39.1%、RINIは72.2%、研究作業は等しく重み付けされている。
同値の直接修正に対する改善は33.0ポイントである。
改定された提案は研究課題と技術的手法を維持している。
これらの結果は、文献を用いて研究提案を作成・改訂する際に、明確な貢献の帰属を動機付けている。
関連論文リスト
- IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。
提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。
IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
論文 参考訳(メタデータ) (2026-09-09T17:59:04Z) - More Criticism Does Not Make a Better Review: EquiReview-R [5.8331781561663645]
我々は、AI支援レビューを、構造化された関心事セットのエビデンスガイダンスによる洗練として再考した。
EquiReview-Rを導入し、局所的な証拠に対する既存の懸念を解決する。
未確認論文の凍結コホート上では、EquiReview-R は未定の非不等式基準を満たす。
論文 参考訳(メタデータ) (2026-09-03T14:49:24Z) - Annotated Surrogate Retrieval for Polish Statutory Law [0.0]
本稿では,文書代理法に基づくポーランド法典の検索方法のファミリについて述べる。
ASCRはサロゲートカスケードであり、ASCR-Hはそのカスケードに密度の高いリストを融合させ、DTFは言語モデルの両方のステージを3つの語彙と密度の高いレトリバーで置き換える。
2024年と2025年のポーランドの弁護士試験と法律顧問試験の300問に対して,これら3項目について,語彙,密集度,融解度,融解度と4つの基準値とを比較検討した。
論文 参考訳(メタデータ) (2026-08-31T15:05:00Z) - What Proves You Wrong: Benchmarking Language Models on Falsifiable Research Ideation [23.50765366373648]
Lit2Testベンチマークは、falsifyingの結果を中心に構成された6フィールドの契約に基づいています。
Lit2Testは200のリアルペーパー地区から将来的に構築され、4つのフロンティアモデルから提案を抽出し、両者の提示順序で視覚障害者と判断された1200のペアワイド比較によって比較する。
このプロトコルは、診断制御と人間キャリブレーションによって独自の信頼性を監査し、3つのアノテータが明示的に記述された信頼性境界内で結論を裏付ける。
論文 参考訳(メタデータ) (2026-08-24T08:17:01Z) - ResearchStudio-Idea: An Evidence-Grounded Research-Ideation Skill Suite from ML Conference Outcomes [34.230808196436676]
我々は、ResearchStudio-Ideaを、この最初の研究アイデアのための再利用可能なスキルスイートとして紹介する。
このスイートには、スタンドアロンのマルチソース文献検索スキルであるPaper-Searchと、新規性主張のためのスタンドアロンの先行技術衝突チェックツールであるScoop-Checkが含まれている。
IdeaSparkは、エビデンスグラウンディング、パターン誘導生成、衝突検索、監査、アイデアカードレンダリングを構成するエンドツーエンドのスキルである。
論文 参考訳(メタデータ) (2026-07-05T17:59:43Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳(メタデータ) (2026-05-17T07:08:14Z) - Usefulness of LLMs as an Author Checklist Assistant for Scientific Papers: NeurIPS'24 Experiment [59.09144776166979]
大規模言語モデル(LLM)は、科学的ピアレビューを支援する上で有望だが議論の余地のあるツールである。
本研究は,論文提出を提出基準に適合させるツールとして,会議環境におけるLCMの有用性を評価する。
論文 参考訳(メタデータ) (2024-11-05T18:58:00Z) - The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review [49.43514488610211]
著者が提供するランキングは、機械学習カンファレンスでのピアレビュープロセスを改善するために利用することができる。
著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
本稿では,アイソトニック機構の慎重かつリスクの低いいくつかの応用と著者が提案する格付けをピアレビューで提案する。
論文 参考訳(メタデータ) (2024-08-24T01:51:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。