論文の概要: GraphEval: A Lightweight Graph-Based LLM Framework for Idea Evaluation
- arxiv url: http://arxiv.org/abs/2503.12600v1
- Date: Sun, 16 Mar 2025 18:24:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-18 15:59:27.922586
- Title: GraphEval: A Lightweight Graph-Based LLM Framework for Idea Evaluation
- Title（参考訳）: GraphEval: アイデア評価のための軽量グラフベースのLLMフレームワーク
- Authors: Tao Feng, Yihang Sun, Jiaxuan You,
- Abstract要約: アイデア評価のためのグラフベース大規模言語モデルフレームワークであるGraphEvalを提案する。
複雑なアイデアは、小さなLLMからのプロンプトを使用して、理解可能な視点ノードに分解することができる。
作成した視点グラフは、ビューノード間のスコアを便利に伝播させ、アイデア評価の堅牢性を改善するために使用することができる。
- 参考スコア（独自算出の注目度）: 12.878608250420832
- License:
- Abstract: The powerful capabilities of Large Language Models (LLMs) have led to their growing use in evaluating human-generated content, particularly in evaluating research ideas within academic settings. Existing solutions primarily rely on prompt-based LLM methods or fine-tuned lightweight language models for idea evaluation. However, these methods are often unstable and struggle to comprehend the complex semantic information embedded in the ideas, impeding their ability to perform high-quality evaluations. To address the above challenges, we propose GraphEval, a lightweight graph-based LLM framework for idea evaluation. Our insight is that a complex idea can be broken down into comprehensible viewpoint nodes using prompts from small LLMs. These viewpoint nodes can then be linked together through edges created from LLM-based relation extraction and/or BERT similarity scores. The created viewpoint-graph can be used to conveniently propagate scores across view-nodes to improve the robustness of the idea evaluations. In particular, we propose two lightweight graph-based methods for idea evaluation: (1) GraphEval-LP: a training-free label propagation algorithm that propagates evaluation scores from known view-nodes to unknown nodes; (2) GraphEval-GNN: a Graph Neural Networks (GNN) that is trained to predict the evaluation scores given the observed graph with minimal computation resources. Moreover, to overcome LLM's limitation in objectively assessing the novelty of ideas, we further propose a novelty detection model to GraphEval-GNN to enhance its capability in judging idea novelty. Experiments on two datasets show GraphEval improves F1 scores by at least 14% with low computation and API costs. Additionally, GraphEval can effectively detect plagiarized ideas.
- Abstract（参考訳）: LLM(Large Language Models)の強力な能力は、人為的コンテンツの評価、特に学術的環境における研究思想の評価において、その利用を増大させてきた。
既存のソリューションは主にアイデア評価のために、プロンプトベースのLLMメソッドや微調整された軽量言語モデルに依存している。
しかし、これらの手法はしばしば不安定であり、アイデアに埋め込まれた複雑な意味情報を理解するのに苦労し、高品質な評価を行う能力を妨げる。
上記の課題に対処するため,アイデア評価のためのグラフベースの軽量 LLM フレームワーク GraphEval を提案する。
我々の洞察では、複雑なアイデアは、小さなLLMからのプロンプトを使用して、理解可能な視点ノードに分解できる。
これらの視点ノードは、LLMベースの関係抽出および/またはBERT類似度スコアから生成されたエッジを介してリンクすることができる。
作成した視点グラフは、ビューノード間のスコアを便利に伝播させ、アイデア評価の堅牢性を改善するために使用することができる。
特に,1つのグラフに基づくアイデア評価手法を提案する。(1)GraphEval-LP:既知のビューノードから未知ノードへの評価スコアを伝播する学習自由ラベル伝搬アルゴリズム,(2)GraphEval-GNN:観測されたグラフから得られる評価スコアを最小の計算資源で予測するグラフニューラルネットワーク(GNN)。
さらに,概念の新規性を客観的に評価するLLMの限界を克服するために,概念の新規性を判断する能力を高めるために,GraphEval-GNNに新規性検出モデルを提案する。
2つのデータセットの実験では、GraphEvalがF1スコアを少なくとも14%改善し、計算コストとAPIコストが低くなった。
さらに、GraphEvalは、盗用されたアイデアを効果的に検出できる。
関連論文リスト
- Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。
GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
論文 参考訳（メタデータ） (2024-11-19T08:32:14Z) - A Unified Graph Selective Prompt Learning for Graph Neural Networks [20.595782116049428]
Graph Prompt Feature(GPF)は、Graph Neural Networks(GNN)のトレーニング済みモデルを適応することに成功した。
GNNファインチューニングのための新しいグラフ選択型プロンプト特徴学習(GSPF)を提案する。
論文 参考訳（メタデータ） (2024-06-15T04:36:40Z) - Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2024-04-28T18:36:59Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - An Empirical Study of Retrieval-enhanced Graph Neural Networks [48.99347386689936]
グラフニューラルネットワーク(GNN)は、グラフ表現学習に有効なツールである。
本稿では,グラフニューラルネットワークモデルの選択に非依存な GraphRETRIEVAL という検索強化方式を提案する。
我々は13のデータセットに対して包括的な実験を行い、GRAPHRETRIEVALが既存のGNNよりも大幅に改善されていることを観察した。
論文 参考訳（メタデータ） (2022-06-01T09:59:09Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳（メタデータ） (2022-05-06T03:37:00Z) - Noise-robust Graph Learning by Estimating and Leveraging Pairwise
Interactions [123.07967420310796]
本稿では,グラフ上のノイズノード分類のためのペアワイズフレームワークを提案することにより,そのギャップを埋める。
PI-GNNは、ノイズの多いノードクラスラベルからのポイントワイズ学習に加えて、PIを一次学習プロキシとして依存している。
提案するフレームワークPI-GNNは,(1)PIラベルを適応的に推定する信頼度を考慮したPI推定モデル,(2)PIラベルを推定する疎結合トレーニング手法の2つの新しい構成要素に寄与する。
論文 参考訳（メタデータ） (2021-06-14T14:23:08Z) - Node2Seq: Towards Trainable Convolutions in Graph Neural Networks [59.378148590027735]
今回提案するグラフネットワーク層であるNode2Seqは,隣接ノードの重みを明示的に調整可能なノード埋め込みを学習する。
対象ノードに対して,当手法は注意メカニズムを介して隣接ノードをソートし,さらに1D畳み込みニューラルネットワーク(CNN)を用いて情報集約のための明示的な重み付けを行う。
また, 特徴学習のための非局所的情報を, 注意スコアに基づいて適応的に組み込むことを提案する。
論文 参考訳（メタデータ） (2021-01-06T03:05:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。