論文の概要: Model-based Preference Optimization in Abstractive Summarization without Human Feedback

• arxiv url: http://arxiv.org/abs/2409.18618v1
• Date: Fri, 27 Sep 2024 10:35:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-01 21:55:30.120992
• Title: Model-based Preference Optimization in Abstractive Summarization without Human Feedback
• Title（参考訳）: 人間のフィードバックを伴わない抽象的要約におけるモデルに基づく選好最適化
• Authors: Jaepill Choi, Kyubyung Chae, Jiwoo Song, Yohan Jo, Taesup Kim,
• Abstract要約: 人間のフィードバックを伴わずに要約能力を向上させるために,モデルベース推論最適化(MPO)を導入している。 標準要約データセットと各種測定値を用いた実験により,提案したMPOは,人間のフィードバックに頼らずに生成した要約の質を著しく向上することが示された。
• 参考スコア（独自算出の注目度）: 5.438770095369458
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In abstractive summarization, the challenge of producing concise and accurate summaries arises from the vast amount of information contained in the source document. Consequently, although Large Language Models (LLMs) can generate fluent text, they often introduce inaccuracies by hallucinating content not found in the original source. While supervised fine-tuning methods that maximize likelihood contribute to this issue, they do not consistently enhance the faithfulness of the summaries. Preference-based optimization methods, such as Direct Preference Optimization (DPO), can further refine the model to align with human preferences. However, these methods still heavily depend on costly human feedback. In this work, we introduce a novel and straightforward approach called Model-based Preference Optimization (MPO) to fine-tune LLMs for improved summarization abilities without any human feedback. By leveraging the model's inherent summarization capabilities, we create a preference dataset that is fully generated by the model using different decoding strategies. Our experiments on standard summarization datasets and various metrics demonstrate that our proposed MPO significantly enhances the quality of generated summaries without relying on human feedback.
• Abstract（参考訳）: 抽象要約では、ソース文書に含まれる大量の情報から簡潔で正確な要約を作成するという課題が生じる。 したがって、Large Language Models (LLMs) は、流動的なテキストを生成することができるが、元のソースにないコンテンツを幻覚させることによって不正確を導入することが多い。 この問題を最大化するための教師付き微調整手法は、この問題に寄与するが、要約の忠実さを一貫して強化するわけではない。 直接選好最適化(DPO)のような嗜好に基づく最適化手法は、人間の選好に合わせたモデルをさらに洗練することができる。 しかし、これらの手法は依然として費用のかかる人間のフィードバックに大きく依存している。 本研究では,モデルベース推論最適化(MPO)と呼ばれる新しいアプローチを導入し,人間のフィードバックを伴わずに要約能力を向上させる。 モデル固有の要約機能を利用することで、異なる復号戦略を用いてモデルによって完全に生成される選好データセットを作成する。 標準要約データセットと各種測定値を用いた実験により,提案したMPOは,人間のフィードバックに頼らずに生成した要約の質を著しく向上することが示された。

関連論文リスト

• Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback [87.37721254914476]
  アノテーションの品質向上のために,人間とLMの入力を組み合わせたルーティングフレームワークを提案する。 我々は、人間とLMアノテーションの任意の組み合わせで報酬モデルの性能を予測するために、性能予測モデルを訓練する。 選択したハイブリッド混合物は,一方のみ使用した場合と比較して,報奨モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-24T20:04:15Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs [70.15262704746378]
  我々は,5つの公開データセットと自然言語ユーザフィードバックのためのコヒーレントな要約からなる,体系的に作成された人間アノテーションデータセットを提案する。 Falcon-40BとLlama-2-13Bによる予備的な実験では、コヒーレントなサマリーを生成するという点で大幅な性能向上(10%ルージュ-L)が見られた。
  論文  参考訳（メタデータ） (2024-07-05T20:25:04Z)
• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Information-Theoretic Distillation for Reference-less Summarization [67.51150817011617]
  本稿では,要約のための情報理論的目的に基づいて,強力な要約器を蒸留する新しい枠組みを提案する。 我々は,教師モデルとしてPythia-2.8Bから出発する。 我々は,ChatGPTと競合する5億8800万のパラメータしか持たないコンパクトだが強力な要約器に到達した。
  論文  参考訳（メタデータ） (2024-03-20T17:42:08Z)
• Optimizing Language Models for Human Preferences is a Causal Inference Problem [41.59906798328058]
  直接結果データセットからの人間の嗜好に対する言語モデル最適化について検討する。 まず,言語モデルの最適化を因果問題と見なして,モデルがテキストと結果の関係を正しく学習することを保証する。 我々はCPOを2倍の頑健なCPOで拡張し、従属目的の分散を低減し、バイアスに対する確実な強い保証を維持します。
  論文  参考訳（メタデータ） (2024-02-22T21:36:07Z)
• Can LMs Generalize to Future Data? An Empirical Analysis on Text Summarization [50.20034493626049]
  最近の学習済み言語モデル(PLM)は、既存の抽象的な要約データセットにおいて有望な結果をもたらす。 既存の要約ベンチマークは、標準の事前学習コーパスと微調整データセットと時間的に重複する。 要約モデルに格納されたパラメトリック知識は、将来のデータに対する生成した要約の忠実度に大きく影響することを示す。
  論文  参考訳（メタデータ） (2023-05-03T08:08:07Z)
• Learning to summarize from human feedback [18.964548137315333]
  人間の嗜好を最適化するモデルを訓練することで、要約品質を著しく改善できることを示す。 我々は、Reddit投稿のTL;DRデータセットのバージョンに適用し、我々のモデルは、人間の参照サマリーと、教師付き学習だけで微調整されたはるかに大きなモデルの両方を著しく上回っていることを発見した。 我々のモデルは、CNN/DMニュース記事にも移行し、ニュース特有の微調整なしに、人間の参照とほぼ同等の要約を生成する。
  論文  参考訳（メタデータ） (2020-09-02T19:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。