論文の概要: To Consolidate or not to Consolidate? Evaluating the Impact of Consolidation in Multi-Reference Training using Peer Reviews
- arxiv url: http://arxiv.org/abs/2609.22805v1
- Date: Sat, 19 Sep 2026 06:13:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.558996
- Title: To Consolidate or not to Consolidate? Evaluating the Impact of Consolidation in Multi-Reference Training using Peer Reviews
- Title(参考訳): 統合するか否か : ピアレビューを用いたマルチリファレンストレーニングにおける統合の影響評価
- Abstract要約: 従来のシングル参照およびマルチ参照トレーニングパラダイムが中間タスクに最適であることを示す。
本稿では,36,000以上の論文からなる大規模コーパスであるMERC-36Kについて紹介する。
統合参照でトレーニングされたモデルは、未統合参照でトレーニングされたモデルよりも大幅に優れていることを示す。
- 参考スコア(独自算出の注目度): 6.079600988956997
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural language generation (NLG) tasks span the spectrum of conditional entropy, ranging from highly constrained machine translation to open-ended dialogue generation. Structured tasks like automated peer-review generation occupy the intermediate region, where a single input admits multiple valid, overlapping outputs. In this work, we demonstrate that traditional single- and multi-reference training paradigms are suboptimal for these intermediary tasks. We provide empirical evidence that consolidating diverse references into a unified training signal is crucial for developing effective systems. To facilitate this, we introduce MERC-36K, a large-scale corpus of over 36,000 papers paired with original and consolidated peer reviews. Using this dataset, we train specific architectures to isolate the impact of different reference paradigms and benchmark against existing state-of-the-art systems. Through extensive automatic and human evaluation, we demonstrate that models trained on consolidated references significantly outperform those trained on unconsolidated references. Dataset and code will be released upon acceptance.
- Abstract(参考訳): 自然言語生成(NLG)タスクは、高度に制約された機械翻訳からオープンな対話生成まで、条件付きエントロピーのスペクトルにまたがる。
自動ピアレビュー生成のような構造化タスクは、単一の入力が複数の有効な重なり合う出力を許容する中間領域を占有する。
本研究では,従来の単一・マルチ参照学習パラダイムが,これらの中間課題に最適であることを示す。
多様な参照を統一的な訓練信号に統合することは、効果的なシステムを開発する上で重要であるという実証的な証拠を提供する。
そこで本研究では,36,000以上の論文からなる大規模コーパスであるMERC-36Kを,オリジナルと統合されたピアレビューと組み合わせて紹介する。
このデータセットを用いて、異なる参照パラダイムと既存の最先端システムに対するベンチマークの影響を分離するために、特定のアーキテクチャを訓練する。
大規模な自動的および人的評価を通じて、統合参照で訓練されたモデルが、未統合参照で訓練されたモデルよりも大幅に優れていることを示す。
データセットとコードは受け入れ次第リリースされる。
関連論文リスト
- Multimodal Data Curation Through Ranked Retrieval [0.011966041609090325]
トレーニングペアと埋め込みモデルの両方に作用することでアライメントを改善するフレームワークを提案する。
このアプローチは, 基礎埋め込みの専門家に対して, 平均90%以上のモダリティギャップを崩壊させることを実証する。
論文 参考訳(メタデータ) (2026-05-01T23:45:36Z) - Beyond Overlap Metrics: Rewarding Reasoning and Preferences for Faithful Multi-Role Dialogue Summarization [5.909152930998754]
マルチロール対話要約では、複数の話者間の複雑な相互作用をモデル化する必要がある。
既存のほとんどのメソッドはROUGEやBERTScoreのような自動メトリクスに最適化されている。
報酬に基づく最適化と明示的な認知的推論を結合する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2026-04-19T01:27:41Z) - Efficient Generalization via Multimodal Co-Training under Data Scarcity and Distribution Shift [0.6331016589903705]
マルチモーダルコトレーニングは、ラベル付きデータが制限された状況におけるモデル一般化を強化するように設計されている。
この枠組みの理論的基礎を考察し、ラベルなしデータの使用が一般化の著しい改善につながる条件を導出する。
我々は、初めてマルチモーダルなコトレーニングコンテキストにおいて、ラベルのないマルチモーダルデータを活用することで得られる利点を分解し、定量化する新しい一般化境界を確立する。
論文 参考訳(メタデータ) (2025-10-08T20:13:17Z) - CELA: Cost-Efficient Language Model Alignment for CTR Prediction [70.65910069412944]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。
最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。
CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文 参考訳(メタデータ) (2024-05-17T07:43:25Z) - Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。
ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
論文 参考訳(メタデータ) (2023-05-24T14:06:27Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - RADDLE: An Evaluation Benchmark and Analysis Platform for Robust
Task-oriented Dialog Systems [75.87418236410296]
我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。
RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。
先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-12-29T08:58:49Z) - Semantically Driven Sentence Fusion: Modeling and Evaluation [27.599227950466442]
文融合は関連文をコヒーレントテキストに結合する作業である。
このタスクの現在のトレーニングと評価スキームは、単一の参照基盤構造に基づいている。
このことは、入力文間の意味的関係を頑健に把握することを妨げる。
論文 参考訳(メタデータ) (2020-10-06T10:06:01Z) - A Hierarchical Network for Abstractive Meeting Summarization with
Cross-Domain Pretraining [52.11221075687124]
本稿では,会議シナリオに適応する抽象的要約ネットワークを提案する。
提案手法は,長時間の会議記録に対応する階層構造と,話者間の差異を表現する役割ベクトルを設計する。
我々のモデルは、自動測定と人的評価の両方において、過去のアプローチよりも優れています。
論文 参考訳(メタデータ) (2020-04-04T21:00:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。