論文の概要: LLMs as Meta-Reviewers' Assistants: A Case Study

• arxiv url: http://arxiv.org/abs/2402.15589v2
• Date: Sat, 08 Feb 2025 21:23:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:28:47.989031
• Title: LLMs as Meta-Reviewers' Assistants: A Case Study
• Title（参考訳）: メタリビューアのアシスタントとしてのLCM : 事例研究
• Authors: Eftekhar Hossain, Sanjeev Kumar Sinha, Naman Bansal, Alex Knipper, Souvika Sarkar, John Salvador, Yash Mahajan, Sri Guttikonda, Mousumi Akter, Md. Mahadi Hassan, Matthew Freestone, Matthew C. Williams Jr., Dongji Feng, Santu Karmaker,
• Abstract要約: 大言語モデル(LLM)は、専門家の意見の制御された多視点要約(MPS)を生成するために使用することができる。 本稿では,GPT-3.5,LLaMA2,PaLM2の3種類のLPMを用いて,メタリビューアによる専門家の理解を深めるためのケーススタディを行う。
• 参考スコア（独自算出の注目度）: 4.345138609587135
• License:
• Abstract: One of the most important yet onerous tasks in the academic peer-reviewing process is composing meta-reviews, which involves assimilating diverse opinions from multiple expert peers, formulating one's self-judgment as a senior expert, and then summarizing all these perspectives into a concise holistic overview to make an overall recommendation. This process is time-consuming and can be compromised by human factors like fatigue, inconsistency, missing tiny details, etc. Given the latest major developments in Large Language Models (LLMs), it is very compelling to rigorously study whether LLMs can help metareviewers perform this important task better. In this paper, we perform a case study with three popular LLMs, i.e., GPT-3.5, LLaMA2, and PaLM2, to assist meta-reviewers in better comprehending multiple experts perspectives by generating a controlled multi-perspective summary (MPS) of their opinions. To achieve this, we prompt three LLMs with different types/levels of prompts based on the recently proposed TELeR taxonomy. Finally, we perform a detailed qualitative study of the MPSs generated by the LLMs and report our findings.
• Abstract（参考訳）: 学術的ピアレビュープロセスにおいて最も重要で、厄介なタスクの1つは、メタレビューの作成である。これは、複数の専門家仲間からの多様な意見の同化、上級専門家としての自己判断の定式化、そしてこれらすべての視点を簡潔な全体的概要に要約して、全体的な推奨を行う。 このプロセスは時間がかかり、疲労や不整合、微妙な詳細の欠如など、人間の要因によって損なわれる可能性がある。 LLM(Large Language Models)の最近の大きな発展を考えると、LLMがこの重要なタスクをメタリビューアがよりうまく遂行できるかどうかを厳格に研究することは非常に魅力的です。 本稿では,GPT-3.5,LLaMA2,PaLM2の3つの人気のあるLCMを用いて,メタリビューアが複数の専門家の視点をよりよく理解できるように,制御された多視点要約(MPS)を作成したケーススタディを行う。 そこで我々は,最近提案されたTELeR分類に基づいて,異なる種類のプロンプトを持つ3つのLSMを誘導する。 最後に,LLMが生成するMPSの詳細な質的研究を行い,その結果を報告する。

関連論文リスト

• From Test-Taking to Test-Making: Examining LLM Authoring of Commonsense Assessment Items [0.18416014644193068]
  LLMをコモンセンス評価項目の著者とみなす。 我々はLLMに対して、コモンセンス推論のための顕著なベンチマークのスタイルでアイテムを生成するよう促す。 元のCOPAベンチマークの回答に成功するLCMも、自分自身の項目のオーサリングに成功していることがわかった。
  論文  参考訳（メタデータ） (2024-10-18T22:42:23Z)
• LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
  大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。 本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。 私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
  論文  参考訳（メタデータ） (2024-06-24T01:30:22Z)
• Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
  大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。 我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。 複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
  論文  参考訳（メタデータ） (2024-06-09T08:24:17Z)
• A Sentiment Consolidation Framework for Meta-Review Generation [40.879419691373826]
  我々は、科学的領域に対する感情要約の一形態であるメタレビュー生成に焦点を当てる。 本稿ではメタレビューを生成するために,大規模言語モデルのための新しいプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-02-28T02:40:09Z)
• Benchmarking LLMs on the Semantic Overlap Summarization Task [9.656095701778975]
  本稿では,セマンティック・オーバーラップ・サマリゼーション(SOS)タスクにおいて,Large Language Models (LLM) を包括的に評価する。 本稿では, ROUGE, BERTscore, SEM-F1$などの定評ある指標を, 2種類の代替物語のデータセット上で報告する。
  論文  参考訳（メタデータ） (2024-02-26T20:33:50Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• PRE: A Peer Review Based Large Language Model Evaluator [14.585292530642603]
  既存のパラダイムは、LLMの性能を評価するために、人間アノテーションまたはモデルベースの評価器のいずれかに依存している。 ピアレビュープロセスを通じてLLMを自動的に評価できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-28T12:33:14Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• A Comprehensive Overview of Large Language Models [68.22178313875618]
  大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。 本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
  論文  参考訳（メタデータ） (2023-07-12T20:01:52Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。