論文の概要: Budgeted Subset Refinement for Execution-Aware LLM Research Ideation
- arxiv url: http://arxiv.org/abs/2607.14118v1
- Date: Sat, 09 May 2026 14:54:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.014066
- Title: Budgeted Subset Refinement for Execution-Aware LLM Research Ideation
- Title（参考訳）: 実行型LCM研究における予算サブセットの削減
- Abstract要約: 大規模言語モデル(LLM)は、専門家レビュアーにとって新しい研究アイデアを生み出すことができるが、最近の研究は、そのようなアイデアが多様性を欠いていることもしばしば示している。
本稿では,事前実行スキャフォールディング問題に対する制御されたプロキシベンチマークを評価する。
我々は,選択された候補のサブセットのみを洗練させる戦略のファミリーである予算サブセットリファインメントを導入する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) can generate research ideas that appear novel to expert reviewers, but recent work also shows that such ideas often lack diversity, are difficult for LLMs to evaluate reliably, and may fail to translate into strong executed projects. This paper evaluates a controlled proxy benchmark for a pre-execution scaffolding problem: given a noisy pool of LLM-generated research ideas, how should a system allocate limited refinement effort to construct a stronger, more diverse, more execution-aware portfolio for human researchers under a fixed rubric? We introduce Budgeted Subset Refinement, a family of strategies that refine only a selected subset of candidates rather than refining all candidates uniformly. In a unified shared-candidate-pool evaluation across 10 random seeds and 10 research-ideation environments, raw generation and reranking alone produce no research-strong nonduplicate ideas under the benchmark rubric, while refinement is necessary for strong proxy-rated portfolios. Uniform refinement produces strong individual ideas but is not the best portfolio-level allocation of compute. Random-k refinement is a strong low-cost baseline, while diversity-aware MMR-k refinement gives the best overall proxy tradeoff: the highest research-strong nonduplicate yield, the lowest duplicate rate among successful methods, and the best cost per research-strong nonduplicate idea. A blinded external-judge robustness check on a balanced 72-item sample supports the broad refinement effect across independent model families, while showing that per-item rankings among refined strategies vary by judge. These results suggest that LLM research ideation systems should be evaluated not only as idea generators, but as budgeted support-allocation systems. The claims are scoped to proxy-rated portfolio quality and do not substitute for expert review or execution-grounded validation.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、専門家のレビュアーにとって新しい研究アイデアを生み出すことができるが、最近の研究は、そのようなアイデアは多様性に欠けることが多く、LLMが確実に評価することが困難であり、強力な実行プロジェクトへの変換に失敗する可能性があることも示している。
本稿では, LLM 生成した研究アイデアのノイズプールを考慮し, より強く, より多様で, より多様で, 実行に適したポートフォリオを構築するために, システムに限定的な改良を割り当てるべきか?
我々は、全ての候補者を均一に精錬するのではなく、選ばれた候補者のサブセットだけを精錬する戦略のファミリーである予算サブセット精錬を導入する。
10個のランダムシードと10個のリサーチイデオロギー環境にまたがる統一された共有候補プール評価では、原生成と再ランクだけでベンチマークルーリック下での非重複なアイデアは生成せず、一方で強力なプロキシレーティングポートフォリオには改良が必要である。
一様改善は強い個別のアイデアを生み出すが、計算のポートフォリオレベルのアロケーションとしては最良のものではない。
ランダムkの改良は強力な低コストのベースラインであり、多様性を意識したMMR-kの改良は、最高の全体的なプロキシトレードオフを与える。
バランスのとれた72石のサンプルの盲目外ジャッジ堅牢性チェックは、独立したモデルファミリ間の広範な精細化効果をサポートし、また、精細化戦略の項目ごとの格付けが裁判官によって異なることを示す。
これらの結果から, LLM研究のアイデア体系は, アイデアジェネレータとしてだけでなく, 予算化されたサポートアロケーションシステムとして評価されるべきであることが示唆された。
クレームは、プロキシレーティングされたポートフォリオの品質の範囲であり、専門家のレビューや実行基盤のバリデーションに代わらない。
関連論文リスト
- UniRRM: Unified Reasoning Reward Models Across Languages and Evaluation Paradigms [61.47798381713363]
強化学習(Reinforcement Learning, RL)は、検証可能な報酬を伴うタスクを抜粋するが、オープンなタスクでは報酬モデルの信頼性が重要な課題である。
生成的報酬モデルに関する最近の研究は、有望な代替手段を提供するが、静的評価基準、断片化評価パラダイム、限定多言語サポートに制約されている。
我々は,複数の言語と評価パラダイムをサポートする統一推論報酬モデルである textbfUniRRM を提案する。
論文 参考訳（メタデータ） (2026-09-05T06:05:12Z) - LigBench: A Unified and Human-Aligned Benchmark for LLM-based Research Idea Generation [36.122822391024755]
LigBenchはAI研究のアイデアをきめ細やかで信頼性の高い評価を可能にする自動評価ベンチマークである。
PAIR-IQは、ペアワイズなアイデア判断モデルをトレーニングするためのデータセットである。
実験により、LigBenchは安定かつ解釈可能な評価を達成することが示された。
論文 参考訳（メタデータ） (2026-08-13T12:11:23Z) - Janus: An Algorithm-Evaluator Co-Evolution Framework for LLM-Driven Discovery under Expensive Evaluation Budgets [56.93233495754078]
我々は、LLMを使ってターゲットプログラムと実行可能なプロキシ評価器を共同開発するフレームワークであるJanusを紹介する。
ラベル不足に対処するため、JanusはLLMに符号化されたドメイン知識を活用してタスク固有の評価プログラムを生成する。
流通シフトを軽減するため、Janusはターゲットプログラムと並行して評価器を進化させ、プロモーション対応の目標を使ってそれらを選択し、地域条件のポートフォリオを維持する。
論文 参考訳（メタデータ） (2026-08-08T15:31:12Z) - ResearchStudio-Idea: An Evidence-Grounded Research-Ideation Skill Suite from ML Conference Outcomes [34.230808196436676]
我々は、ResearchStudio-Ideaを、この最初の研究アイデアのための再利用可能なスキルスイートとして紹介する。
このスイートには、スタンドアロンのマルチソース文献検索スキルであるPaper-Searchと、新規性主張のためのスタンドアロンの先行技術衝突チェックツールであるScoop-Checkが含まれている。
IdeaSparkは、エビデンスグラウンディング、パターン誘導生成、衝突検索、監査、アイデアカードレンダリングを構成するエンドツーエンドのスキルである。
論文 参考訳（メタデータ） (2026-07-05T17:59:43Z) - Designing Reward Signals for Portable Query Generation: A Case Study in Industrial Semantic Job Search [8.82040111147814]
本稿では,Emphportable Search クエリを生成するために,エンドツーエンドの RLAIF フレームワークを提案する。
このタスクは、ポリシー最適化がルーリックの欠陥を活用し、冗長なコピー動作をもたらす、非常に敵対的な報酬曲面を導入する。
提案手法では,提案手法の誤りを再現する報酬を補正するルールベースの報酬フロアを導入することで,家族間評価審査員に+0.147ドルの品質改善をもたらすことを示す。
論文 参考訳（メタデータ） (2026-06-25T17:09:12Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - Chain of Uncertain Rewards with Large Language Models for Reinforcement Learning [52.48243762705385]
Chain of Uncertain Rewards (CoUR)は、大きな言語モデル(LLM)を統合して報酬関数の設計と評価を効率化する新しいフレームワークである。
我々は、CoURがより良い性能を実現し、報酬評価のコストを大幅に削減できることを示します。
論文 参考訳（メタデータ） (2026-04-15T05:44:14Z) - Large language models for post-publication research evaluation: Evidence from expert recommendations and citation indicators [2.952559770088323]
大規模言語モデル(LLM)は、テキストコンテンツに基づいた自動研究評価のための新たな機会を提供する。
本研究では,LLMが専門家の判断や引用に基づく指標に対して出力をベンチマークすることで,ポストパブリケーションのピアレビュータスクをサポートできるかを検討する。
論文 参考訳（メタデータ） (2026-03-27T11:32:18Z) - Evaluating LLM-Based Grant Proposal Review via Structured Perturbations [18.689211845609623]
我々は、6つの品質軸にまたがるLLM感度を探索する摂動型フレームワークを開発した。
我々は, 単一パスレビュー, セクション・バイ・セクション分析, 専門家パネルをエミュレートした「ペルソナのカウンシル」という3つのレビューアーキテクチャを比較した。
論文 参考訳（メタデータ） (2026-03-09T11:53:50Z) - LLMs Can Assist with Proposal Selection at Large User Facilities [0.0]
大規模言語モデル (LLM) は、大規模なユーザ施設における提案選択プロセスを強化することができる。
LLMは、従来の人間レビューに代わるスケーラブルで一貫性があり、費用対効果がある。
論文 参考訳（メタデータ） (2025-12-11T18:23:56Z) - J1: Incentivizing Thinking in LLM-as-a-Judge via Reinforcement Learning [54.85131761693927]
意思決定前にLLM審査員に思考を教えるための強化学習フレームワークであるJ1を紹介する。
私たちのコアコントリビューションは、検証不可能で検証可能なプロンプトのすべての判断タスクを、検証可能な報酬を持った統一フォーマットに変換することです。
次に、RLを用いて8B、32B、70Bのスケールで思考判断を訓練し、彼らが最先端のパフォーマンスを得ることを示す。
論文 参考訳（メタデータ） (2025-05-15T14:05:15Z) - A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。
単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。
この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
論文 参考訳（メタデータ） (2025-04-15T16:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。