論文の概要: Exploring Iterative Controllable Summarization with Large Language Models

• arxiv url: http://arxiv.org/abs/2411.12460v2
• Date: Mon, 03 Mar 2025 10:35:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 16:12:22.840196
• Title: Exploring Iterative Controllable Summarization with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた反復制御可能な要約探索
• Authors: Sangwon Ryu, Heejin Do, Daehee Kim, Hwanjo Yu, Dongwoo Kim, Yunsu Kim, Gary Geunbae Lee, Jungseul Ok,
• Abstract要約: 大言語モデル(LLM)は抽象的な要約タスクにおいて顕著な性能を示した。 以上の結果から,LLMは言語属性よりも数値属性に苦しむことが明らかとなった。 制御可能な要約のためのガイド・ツー・説明フレームワーク(GTE)を提案する。
• 参考スコア（独自算出の注目度）: 22.80433394369022
• License:
• Abstract: Large language models (LLMs) have demonstrated remarkable performance in abstractive summarization tasks. However, their ability to precisely control summary attributes (e.g., length or topic) remains underexplored, limiting their adaptability to specific user preferences. In this paper, we systematically explore the controllability of LLMs. To this end, we revisit summary attribute measurements and introduce iterative evaluation metrics, failure rate and average iteration count to precisely evaluate controllability of LLMs, rather than merely assessing errors. Our findings show that LLMs struggle more with numerical attributes than with linguistic attributes. To address this challenge, we propose a guide-to-explain framework (GTE) for controllable summarization. Our GTE framework enables the model to identify misaligned attributes in the initial draft and guides it in self-explaining errors in the previous output. By allowing the model to reflect on its misalignment, GTE generates well-adjusted summaries that satisfy the desired attributes with robust effectiveness, requiring surprisingly fewer iterations than other iterative approaches.
• Abstract（参考訳）: 大言語モデル(LLM)は抽象的な要約タスクにおいて顕著な性能を示した。 しかし、サマリ属性(例、長さ、トピック)を正確に制御する能力は未熟であり、特定のユーザの好みに合わせて適応性を制限する。 本稿では,LLMの可制御性について系統的に検討する。 この目的のために,要約属性の測定を再検討し,単に誤りを評価するのではなく,LCMの可制御性を正確に評価するための反復評価指標,失敗率,平均反復数を導入する。 以上の結果から,LLMは言語属性よりも数値属性に苦しむことが明らかとなった。 この課題に対処するために、制御可能な要約のためのガイド・ツー・説明フレームワーク(GTE)を提案する。 我々のGTEフレームワークは、初期ドラフトで間違った属性を識別し、前回のアウトプットで自己説明エラーを導出できるようにします。 GTEはモデルが不整合を反映できるようにすることで、望ましい属性を堅牢な有効性で満たし、他の反復的アプローチよりも驚くほど少ないイテレーションを必要とするような、よく調整された要約を生成する。

関連論文リスト

• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Assessing LLMs for Zero-shot Abstractive Summarization Through the Lens of Relevance Paraphrasing [37.400757839157116]
  大言語モデル(LLM)は、与えられた記事に対する抽象的な要約のゼロショット生成において最先端のパフォーマンスを達成した。 本稿では,LLMのロバスト性を測定するためのシンプルな戦略であるrelevance paraphrasingを提案する。
  論文  参考訳（メタデータ） (2024-06-06T12:08:43Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy [48.29181662640212]
  事実的矛盾は、生成モデルによる忠実な要約にとって重要なハードルとなる。 我々は,要約中の不整合事実のキーエラータイプを集約し,ゼロショットと教師付きパラダイムの両方を容易にするためにそれらを組み込んだ。
  論文  参考訳（メタデータ） (2024-02-20T08:41:23Z)
• Can Large Language Model Summarizers Adapt to Diverse Scientific Communication Goals? [19.814974042343028]
  科学的な要約タスクにおける大規模言語モデル(LLM)の可制御性について検討する。 MuP レビュー生成タスクでは,非微調整 LLM が人間より優れていることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T23:00:54Z)
• Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
  リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。 近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。 本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-10-08T06:17:39Z)
• Summarization is (Almost) Dead [49.360752383801305]
  我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。 本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
  論文  参考訳（メタデータ） (2023-09-18T08:13:01Z)
• LLMs Understand Glass-Box Models, Discover Surprises, and Suggest Repairs [10.222281712562705]
  大規模言語モデル(LLM)は解釈可能なモデルを扱うのに非常に優れていることを示す。 推論に階層的なアプローチを採用することで、LLMは包括的なモデルレベルの要約を提供することができる。 パッケージ $textttTalkToEBM$ をオープンソース LLM-GAM インターフェースとして提示する。
  論文  参考訳（メタデータ） (2023-08-02T13:59:35Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)
• MACSum: Controllable Summarization with Mixed Attributes [56.685735509260276]
  MACSumは、混合属性を制御するための最初の人間アノテーションによる要約データセットである。 混合制御可能な要約の新しいタスクに対する2つの単純かつ効果的なパラメータ効率のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-09T17:17:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。