Fugu-MT 論文翻訳(概要): LigBench: A Unified and Human-Aligned Benchmark for LLM-based Research Idea Generation

論文の概要: LigBench: A Unified and Human-Aligned Benchmark for LLM-based Research Idea Generation

arxiv url: http://arxiv.org/abs/2608.13136v1
Date: Thu, 13 Aug 2026 12:11:23 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-14 18:29:38.511946
Title: LigBench: A Unified and Human-Aligned Benchmark for LLM-based Research Idea Generation
Title（参考訳）: LigBench: LLMベースのリサーチアイデア生成のための統一された人為的なベンチマーク
Abstract要約: LigBenchはAI研究のアイデアをきめ細やかで信頼性の高い評価を可能にする自動評価ベンチマークである。 PAIR-IQは、ペアワイズなアイデア判断モデルをトレーニングするためのデータセットである。実験により、LigBenchは安定かつ解釈可能な評価を達成することが示された。
参考スコア（独自算出の注目度）: 36.122822391024755
License: http://creativecommons.org/licenses/by/4.0/
Abstract: With the rapid advancement of large language models (LLMs), research idea generation has attracted increasing attention. Existing approaches enable LLMs to retrieve relevant literature and propose novel ideas for research areas. However, current evaluation practices for idea generation remain fragmented and lack objective standards, often relying on direct LLM scoring, which limits their ability to provide unified and reliable assessments across a coherent distribution of generated ideas. To address this challenge, we propose LigBench, an automated evaluation benchmark that enables fine-grained and reliable evaluation of AI research ideas, consistently applicable across different generation distributions. In addition, we introduce PAIR-IQ, a dataset tailored for training pairwise idea judgment models and serving as an auxiliary reference to support more objective comparative evaluation. Extensive experiments demonstrate that LigBench achieves stable and interpretable evaluations, significantly improving alignment with expert judgments. Furthermore, models trained on PAIR-IQ exhibit enhanced ranking accuracy and robustness, establishing a principled standard for scalable and objective research idea assessment.
Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩により,研究アイデアの生成が注目されている。既存のアプローチにより、LLMは関連する文献を検索し、研究分野の新しいアイデアを提案することができる。しかし、現在のアイデア生成の評価手法は断片化され、客観的な基準が欠如しており、しばしば直接のLCMスコアリングに依存している。この課題に対処するため、我々は、AI研究のアイデアを細粒度で信頼性の高い評価を可能にする自動評価ベンチマークであるLigBenchを提案する。さらに、ペアワイズな思考判断モデルを訓練するためのデータセットであるPAIR-IQを導入し、より客観的な比較評価を支援する補助的な参照として機能する。大規模な実験により、LigBenchは安定かつ解釈可能な評価を達成し、専門家の判断との整合性を大幅に改善した。さらに、PAIR-IQでトレーニングされたモデルでは、ランク精度と堅牢性が向上し、スケーラブルで客観的な研究アイデアアセスメントの原則が確立された。

関連論文リスト

SAVOIR: Learning Social Savoir-Faire via Shapley-based Reward Attribution [82.31558282651811]
複雑な対人相互作用をナビゲートするソーシャルインテリジェンスは、言語エージェントに根本的な課題を提示する。既存のアプローチでは、言語モデルを直接使用してエピソードレベルの報酬を分配する。協調ゲーム理論に基づく新しい原理的枠組みであるSAVOIRを提案する。
論文参考訳（メタデータ） (2026-04-21T02:08:25Z)
Learning to Predict Future-Aligned Research Proposals with Language Models [59.79457676644722]
我々は目標から得られた17,771の論文とそれらの事前カットオフ引用の時間一貫性のあるデータセットを構築した。モデルをトレーニングするために、ターゲットとそれらのカットオフ前の引用から17,771枚のタイム一貫性のあるデータセットを構築します。 Llama-3.1 と Qwen2.5 のモデル全体で、将来のアライメントチューニングは、非アライメントベースラインに対する将来のアライメントを改善する。
論文参考訳（メタデータ） (2026-03-28T05:41:15Z)
InnoEval: On Research Idea Evaluation as a Knowledge-Grounded, Multi-Perspective Reasoning Problem [87.30601926271864]
InnoEvalは、人間レベルのアイデアアセスメントをエミュレートするために設計された、深いイノベーション評価フレームワークである。我々は,多様なオンライン情報源から動的証拠を検索し,根拠とする異種深層知識検索エンジンを適用した。 InnoEvalをベンチマークするために、権威あるピアレビューされた提案から派生した包括的なデータセットを構築します。
論文参考訳（メタデータ） (2026-02-16T00:40:31Z)
RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文参考訳（メタデータ） (2025-05-28T14:55:33Z)
Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
論文参考訳（メタデータ） (2025-04-10T04:09:47Z)
BEATS: Bias Evaluation and Assessment Test Suite for Large Language Models [0.0]
我々は、大規模言語モデル(LLM)におけるバイアス、倫理、公平性、現実性を評価するための新しいフレームワークBEATSを紹介する。 LLMのバイアスベンチマークを行い、29の異なるメトリクスのパフォーマンスを計測する。これらの指標は、人口統計学、認知学、社会的偏見、倫理的推論、グループフェアネス、事実に関する誤情報リスクなど、幅広い特徴に及びます。
論文参考訳（メタデータ） (2025-03-31T16:56:52Z)
LiveIdeaBench: Evaluating LLMs' Divergent Thinking for Scientific Idea Generation with Minimal Context [13.967898012303325]
我々は,Large Language Modelsの科学的アイデア生成を評価するベンチマークであるLiveIdeaBenchを紹介する。我々のベンチマークでは、最先端のLCMのダイナミックパネルを用いて、創発性、実現性、流布性、柔軟性、明快さの5つの重要な側面で生成されたアイデアを評価する。我々の結果は、QwQ-32B-previewのようなモデルが、一般的な知能スコアに大きな差があるにもかかわらず、claude-3.7-sonnet:thinkingのような上位モデルのモデルに匹敵する創造的なパフォーマンスを達成することを示した。
論文参考訳（メタデータ） (2024-12-23T14:13:44Z)
IdeaBench: Benchmarking Large Language Models for Research Idea Generation [19.66218274796796]
大規模言語モデル(LLM)は、人々が人工知能(AI)システムと対話する方法を変革した。包括的データセットと評価フレームワークを含むベンチマークシステムであるIdeanBenchを提案する。私たちのデータセットは、さまざまな影響力のある論文のタイトルと要約と、参照された作品で構成されています。まず、GPT-4oを用いて、新規性や実現可能性などのユーザ固有の品質指標に基づいて、アイデアをランク付けし、スケーラブルなパーソナライズを可能にする。
論文参考訳（メタデータ） (2024-10-31T17:04:59Z)
A Novel Psychometrics-Based Approach to Developing Professional Competency Benchmark for Large Language Models [0.0]
本稿では,厳密な心理測定原理に基づくベンチマーク開発への包括的アプローチを提案する。我々は、教育と教育の分野で新しいベンチマークを作成することで、このアプローチを説明する最初の試みを行う。我々はブルームの分類学によってガイドされ、テスト開発で訓練された教育専門家のコンソーシアムによって厳格に設計された新しいベンチマークを構築した。
論文参考訳（メタデータ） (2024-10-29T19:32:43Z)
Inadequacies of Large Language Model Benchmarks in the Era of Generative Artificial Intelligence [5.147767778946168]
我々は、23の最先端のLarge Language Models (LLMs)ベンチマークを批判的に評価する。私たちの研究は、バイアス、真の推論、適応性、実装の不整合、エンジニアリングの複雑さ、多様性、文化的およびイデオロギー規範の見落としなど、重大な制限を明らかにしました。
論文参考訳（メタデータ） (2024-02-15T11:08:10Z)
Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
論文参考訳（メタデータ） (2023-11-03T14:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。