論文の概要: Decision-Making with Deliberation: Meta-reviewing as a Document-grounded Dialogue
- arxiv url: http://arxiv.org/abs/2508.05283v1
- Date: Thu, 07 Aug 2025 11:27:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-08 21:11:55.681308
- Title: Decision-Making with Deliberation: Meta-reviewing as a Document-grounded Dialogue
- Title（参考訳）: 熟考による意思決定-メタレビュー--文書座談会としてのメタレビュー
- Authors: Sukannya Purkayastha, Nils Dycke, Anne Lauscher, Iryna Gurevych,
- Abstract要約: メタリビューアを効果的に支援できるダイアログエージェントを実現する上での課題について検討する。
まず,対話エージェントの訓練におけるデータ不足の問題に対処する。
このデータを用いて、メタレビューに適した対話エージェントを訓練する。
- 参考スコア（独自算出の注目度）: 61.0689885044492
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Meta-reviewing is a pivotal stage in the peer-review process, serving as the final step in determining whether a paper is recommended for acceptance. Prior research on meta-reviewing has treated this as a summarization problem over review reports. However, complementary to this perspective, meta-reviewing is a decision-making process that requires weighing reviewer arguments and placing them within a broader context. Prior research has demonstrated that decision-makers can be effectively assisted in such scenarios via dialogue agents. In line with this framing, we explore the practical challenges for realizing dialog agents that can effectively assist meta-reviewers. Concretely, we first address the issue of data scarcity for training dialogue agents by generating synthetic data using Large Language Models (LLMs) based on a self-refinement strategy to improve the relevance of these dialogues to expert domains. Our experiments demonstrate that this method produces higher-quality synthetic data and can serve as a valuable resource towards training meta-reviewing assistants. Subsequently, we utilize this data to train dialogue agents tailored for meta-reviewing and find that these agents outperform \emph{off-the-shelf} LLM-based assistants for this task. Finally, we apply our agents in real-world meta-reviewing scenarios and confirm their effectiveness in enhancing the efficiency of meta-reviewing.\footnote{Code and Data: https://github.com/UKPLab/arxiv2025-meta-review-as-dialog
- Abstract（参考訳）: メタレビューは、査読プロセスにおいて重要な段階であり、論文が受理するために推奨されるかどうかを決定する最終段階として機能する。
従来のメタレビューでは、レビューレポートよりも要約問題として扱われていた。
しかし、この観点を補完すると、メタレビューは、レビュー担当者の議論を重み付けし、より広い文脈に配置する必要がある意思決定プロセスである。
これまでの研究では、意思決定者は対話エージェントを介して、このようなシナリオを効果的に支援できることが示されている。
この枠組みに従って,メタリビューアを効果的に支援するダイアログエージェントの実現に向けた実践的課題を考察する。
具体的には,まず,言語モデル(LLM)を用いた合成データを生成することで,対話エージェントの訓練におけるデータ不足の問題に対処する。
提案手法は, 高品質な合成データを生成し, メタレビュアアシスタントの育成に有用な情報源となることを実証した。
次に,このデータを用いて,メタレビューに適した対話エージェントを訓練し,これらのエージェントがLLMベースのアシスタントよりも優れていることを示す。
最後に,我々のエージェントを実世界のメタレビューシナリオに適用し,メタレビューの効率を高める上での有効性を確認した。
https://github.com/UKPLab/arxiv2025-meta-review-as-dialog
関連論文リスト
- Dynamic benchmarking framework for LLM-based conversational data capture [0.0]
本稿では,大規模言語モデル(LLM)を評価するためのベンチマークフレームワークを提案する。
生成エージェントシミュレーションを統合して、情報抽出、コンテキスト認識、適応エンゲージメントといった重要次元のパフォーマンスを評価する。
その結果,不明瞭な応答を扱う場合,適応戦略によりデータの抽出精度が向上することが示唆された。
論文 参考訳（メタデータ） (2025-02-04T15:47:47Z) - Dialogue is Better Than Monologue: Instructing Medical LLMs via Strategical Conversations [74.83732294523402]
実世界の診断シナリオをシミュレートし,USMLE標準に適合するノイズと難易度を統合する新しいベンチマークを導入する。
また、対話に基づく微調整についても検討し、静的データセットを会話形式に変換し、反復的推論プロセスをよりよく捉える。
実験の結果、対話調整されたモデルは従来の手法よりも優れており、マルチラウンド推論のシナリオでは9.64%、ノイズの多い環境では6.18%の精度で改善されている。
論文 参考訳（メタデータ） (2025-01-29T18:58:48Z) - Decomposed Opinion Summarization with Verified Aspect-Aware Modules [82.38097397662436]
レビューの観点から,ドメインに依存しないモジュラーアプローチを提案する。
科学研究、ビジネス、製品ドメインを表すデータセットをまたいだ実験を行います。
論文 参考訳（メタデータ） (2025-01-27T09:29:55Z) - Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。
我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。
複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
論文 参考訳（メタデータ） (2024-06-09T08:24:17Z) - A Sentiment Consolidation Framework for Meta-Review Generation [40.879419691373826]
我々は、科学的領域に対する感情要約の一形態であるメタレビュー生成に焦点を当てる。
本稿ではメタレビューを生成するために,大規模言語モデルのための新しいプロンプト手法を提案する。
論文 参考訳（メタデータ） (2024-02-28T02:40:09Z) - Effective and Efficient Conversation Retrieval for Dialogue State Tracking with Implicit Text Summaries [48.243879779374836]
LLM (Large Language Models) を用いたDST (Few-shot dialogue state tracking) では,会話検索を効果的かつ効率的に行うことで,学習の迅速化を図っている。
従来は検索キーやクエリとして生の対話コンテキストを使用していた。
会話のテキスト要約に基づいて会話検索を行う。
LLMに基づく会話要約器がクエリとキー生成に採用され、効果的な内部製品探索が可能となる。
論文 参考訳（メタデータ） (2024-02-20T14:31:17Z) - Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。
実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-24T02:33:35Z) - Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue
Questions with LLMs [59.74002011562726]
我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。
中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。
実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-05-19T16:27:43Z) - Summarizing Multiple Documents with Conversational Structure for
Meta-Review Generation [45.9443710073576]
学術論文のメタレビューを作成するための新しいデータセットであるPeerSumを提示する。
Rammerは、会話構造に基づくスパースアテンションと、メタデータ機能を予測するトレーニング目標を利用するモデルである。
論文 参考訳（メタデータ） (2023-05-02T15:18:18Z) - DIONYSUS: A Pre-trained Model for Low-Resource Dialogue Summarization [127.714919036388]
DIONYSUSは、任意の新しいドメインでの対話を要約するための訓練済みエンコーダデコーダモデルである。
実験の結果,DIONYSUSは6つのデータセット上で既存の手法よりも優れていた。
論文 参考訳（メタデータ） (2022-12-20T06:21:21Z) - Retrieval-Free Knowledge-Grounded Dialogue Response Generation with
Adapters [52.725200145600624]
軽量アダプタで事前学習した言語モデルに事前知識を注入し、検索プロセスをバイパスする KnowExpert を提案する。
実験結果から,KnowExpertは検索ベースラインと相容れない性能を示した。
論文 参考訳（メタデータ） (2021-05-13T12:33:23Z) - Causal-aware Safe Policy Improvement for Task-oriented dialogue [45.88777832381149]
我々はタスク指向対話政策学習のためのバッチrlフレームワークを提案する:causal safe policy improvement (caspi)
Multiwoz2.0データセットの対話対テキスト生成およびエンドツーエンド対話タスクにおけるこのフレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2021-03-10T22:34:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。