論文の概要: LLM Agents at the Roundtable: A Multi-Perspective and Dialectical Reasoning Framework for Essay Scoring

• arxiv url: http://arxiv.org/abs/2509.14834v2
• Date: Fri, 19 Sep 2025 03:11:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 12:06:46.416787
• Title: LLM Agents at the Roundtable: A Multi-Perspective and Dialectical Reasoning Framework for Essay Scoring
• Title（参考訳）: ラウンドテーブルにおけるLLMエージェント:エッセイ・スコーリングのための多目的・対話型推論フレームワーク
• Authors: Jinhee Jang, Ayoung Moon, Minkyoung Jung, YoungBin Kim, Seung Jin Lee,
• Abstract要約: Roundtable Essay Scoring (RES) は、ゼロショット設定で正確でヒューマンアライメントのスコアリングを行うために設計されたマルチエージェント評価フレームワークである。 RESは弁証的推論プロセスを通じて個々の評価を集約し、最終的な総合的なスコアを生成する。 ChatGPTとClaudeを用いたASAPデータセットの実験では、RESは素早いプロンプトよりも平均QWKを34.86%改善した。
• 参考スコア（独自算出の注目度）: 16.19003387026304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of large language models (LLMs) has brought a new paradigm to automated essay scoring (AES), a long-standing and practical application of natural language processing in education. However, achieving human-level multi-perspective understanding and judgment remains a challenge. In this work, we propose Roundtable Essay Scoring (RES), a multi-agent evaluation framework designed to perform precise and human-aligned scoring under a zero-shot setting. RES constructs evaluator agents based on LLMs, each tailored to a specific prompt and topic context. Each agent independently generates a trait-based rubric and conducts a multi-perspective evaluation. Then, by simulating a roundtable-style discussion, RES consolidates individual evaluations through a dialectical reasoning process to produce a final holistic score that more closely aligns with human evaluation. By enabling collaboration and consensus among agents with diverse evaluation perspectives, RES outperforms prior zero-shot AES approaches. Experiments on the ASAP dataset using ChatGPT and Claude show that RES achieves up to a 34.86% improvement in average QWK over straightforward prompting (Vanilla) methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、教育における自然言語処理の長年の実践的応用である自動エッセイスコア(AES)に新しいパラダイムをもたらした。 しかし、人間レベルの多面的理解と判断を達成することは依然として課題である。 本研究では,ゼロショット設定下での精度と人力協調スコアリングを実現するためのマルチエージェント評価フレームワークであるRoundtable Essay Scoring (RES)を提案する。 RES は LLM に基づいた評価エージェントを構築し、それぞれが特定のプロンプトとトピックコンテキストに合わせて調整される。 各エージェントは独立して特性ベースルーブリックを生成し、マルチパースペクティブ評価を行う。 そして、ラウンドテーブル形式の議論をシミュレートすることで、RESは弁証的推論プロセスを通じて個々の評価を集約し、人間の評価とより密に一致した最終的な総合的なスコアを生成する。 多様な評価視点を持つエージェント間のコラボレーションとコンセンサスを可能にすることで、RESは以前のゼロショットAESアプローチより優れている。 ChatGPTとClaudeを用いたASAPデータセットの実験では、RESは素早いプロンプト(Vanilla)メソッドよりも平均QWKを34.86%改善した。

関連論文リスト

• CRACQ: A Multi-Dimensional Approach To Automated Document Assessment [0.0]
  CRACQは、コヒーレンス、リゴール、適切性、完全性、品質といった、f i v e特有の特性で文書を評価するのに適した多次元評価フレームワークである。 言語的、意味的、構造的なシグナルを累積評価に統合し、全体的および特性レベルの分析を可能にする。
  論文  参考訳（メタデータ） (2025-09-26T17:01:54Z)
• Eye of Judgement: Dissecting the Evaluation of Russian-speaking LLMs with POLLUX [1.3269144777389015]
  POLLUXは、ロシア語で大規模言語モデル(LLM)の生成能力を評価するために設計されたベンチマークである。 各タスクタイプについて、一連の詳細な基準を定義し、スコアリングプロトコルを開発する。 これにより、従来のリソース消費による人的比較を超えて、透過的で基準駆動的な評価が可能になる。
  論文  参考訳（メタデータ） (2025-05-30T14:08:17Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• SedarEval: Automated Evaluation using Self-Adaptive Rubrics [4.97150240417381]
  本稿では,自己適応型ルーブリックに基づく新しい評価パラダイムを提案する。 SedarEvalは、細心の注意を払って1,000の質問から成り、それぞれが独自の自己適応型ルーリックを持っている。 我々は、人間の学級に取って代わるために、特殊評価器言語モデル(評価器LM)を訓練する。
  論文  参考訳（メタデータ） (2025-01-26T16:45:09Z)
• HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
  我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。 HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。 本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
  論文  参考訳（メタデータ） (2024-12-20T03:26:47Z)
• CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
  textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-21T17:56:51Z)
• Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
  大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。 我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。 複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
  論文  参考訳（メタデータ） (2024-06-09T08:24:17Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。