論文の概要: CARPAS: Towards Content-Aware Refinement of Provided Aspects for Summarization in Large Language Models
- arxiv url: http://arxiv.org/abs/2510.07177v1
- Date: Wed, 08 Oct 2025 16:16:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-09 16:41:20.616091
- Title: CARPAS: Towards Content-Aware Refinement of Provided Aspects for Summarization in Large Language Models
- Title(参考訳): CARPAS:大規模言語モデルにおける要約のための提供されたアスペクトのコンテンツ意識の再構築を目指して
- Authors: Yong-En Tian, Yu-Chien Tang, An-Zi Yen, Wen-Chih Peng,
- Abstract要約: 本稿では,CARPAS(Content-Aware Refinement of Productd aspects for Summarization)を紹介する。
本稿では,関連する側面の数を予測するための予備的なサブタスクを提案し,その予測数が効果的なガイダンスとして機能できることを実証する。
実験の結果,提案手法は全データセットのパフォーマンスを著しく向上させることがわかった。
- 参考スコア(独自算出の注目度): 16.41705871316774
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aspect-based summarization has attracted significant attention for its ability to generate more fine-grained and user-aligned summaries. While most existing approaches assume a set of predefined aspects as input, real-world scenarios often present challenges where these given aspects may be incomplete, irrelevant, or entirely missing from the document. Users frequently expect systems to adaptively refine or filter the provided aspects based on the actual content. In this paper, we initiate this novel task setting, termed Content-Aware Refinement of Provided Aspects for Summarization (CARPAS), with the aim of dynamically adjusting the provided aspects based on the document context before summarizing. We construct three new datasets to facilitate our pilot experiments, and by using LLMs with four representative prompting strategies in this task, we find that LLMs tend to predict an overly comprehensive set of aspects, which often results in excessively long and misaligned summaries. Building on this observation, we propose a preliminary subtask to predict the number of relevant aspects, and demonstrate that the predicted number can serve as effective guidance for the LLMs, reducing the inference difficulty, and enabling them to focus on the most pertinent aspects. Our extensive experiments show that the proposed approach significantly improves performance across all datasets. Moreover, our deeper analyses uncover LLMs' compliance when the requested number of aspects differs from their own estimations, establishing a crucial insight for the deployment of LLMs in similar real-world applications.
- Abstract(参考訳): アスペクトベースの要約は、よりきめ細かなユーザ対応の要約を生成する能力に対して、大きな注目を集めている。
既存のほとんどのアプローチは、事前に定義されたアスペクトを入力として仮定するが、現実のシナリオは、これらのアスペクトが不完全、無関係、あるいは文書から完全に欠落している可能性がある課題をしばしば提示する。
ユーザは、実際のコンテンツに基づいて、提供されたアスペクトを適応的に洗練またはフィルタリングすることをしばしば期待する。
本稿では、要約前の文書コンテキストに基づいて、提供されたアスペクトを動的に調整することを目的として、CARPAS(Content-Aware Refinement of Productd aspects for Summarization)と呼ばれる新しいタスク設定を開始する。
3つの新しいデータセットを構築し,この課題において4つの代表的戦略を持つLCMを用いて,LLMが過度に長く不整合な要約をもたらすような,過度に包括的な側面の予測を行う傾向があることを発見した。
本研究は, 関連面数を予測するための予備的なサブタスクを提案し, 予測数はLLMの効果的なガイダンスとして機能し, 推論の難易度を低減し, 関連する面に焦点を絞ることができることを示す。
大規模な実験により,提案手法は全データセットのパフォーマンスを著しく向上させることが示された。
さらに,所望のアスペクト数がそれぞれの推定値と異なる場合のLCMのコンプライアンスについてより深く分析した結果,LLMを現実世界のアプリケーションに展開する上で重要な知見が得られた。
関連論文リスト
- OpinioRAG: Towards Generating User-Centric Opinion Highlights from Large-scale Online Reviews [12.338320566839483]
本稿では,大量のユーザレビューから得られた意見ハイライトの問題点について考察する。
既存のメソッドはスケールアップに失敗するか、パーソナライズされたニーズを見落としている汎用的で一大の要約を生成するかのいずれかです。
本稿では,RAGに基づくエビデンス検索とLCMを組み合わせた拡張性のあるトレーニングフリーフレームワークであるOpinioRAGを紹介する。
論文 参考訳(メタデータ) (2025-08-30T00:00:34Z) - Summarize-Exemplify-Reflect: Data-driven Insight Distillation Empowers LLMs for Few-shot Tabular Classification [31.422359959517763]
InsightTabを紹介します。これは、分割・分散、簡単優先、反射学習の原則によって導かれる洞察蒸留フレームワークです。
提案手法は, LLMとデータモデリング技術との深い協調を通して, ルール要約, 戦略実証, インサイトリフレクションを統合する。
その結果,最先端手法よりも一貫した改善が得られた。
論文 参考訳(メタデータ) (2025-08-29T12:16:24Z) - Beyond Naïve Prompting: Strategies for Improved Zero-shot Context-aided Forecasting with LLMs [57.82819770709032]
大規模言語モデル (LLM) は、na "ive direct prompting" を通じて効果的な文脈支援予測を行うことができる。
ReDPは、明確な推論トレースを抽出することで、解釈可能性を改善し、コンテキスト上でモデルの推論を評価することができる。
CorDPはLLMを活用して、既存の予測をコンテキストで洗練し、現実の予測パイプラインにおける適用性を高める。
IC-DPは、文脈支援予測タスクの歴史的例を即時に組み込むことを提案し、大規模モデルにおいても精度を大幅に向上させる。
論文 参考訳(メタデータ) (2025-08-13T16:02:55Z) - IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。
エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。
最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
論文 参考訳(メタデータ) (2025-05-23T09:37:52Z) - Can LLMs Generate Tabular Summaries of Science Papers? Rethinking the Evaluation Protocol [83.90769864167301]
文献レビュー表は、科学論文の集合を要約し比較するために欠かせないものである。
学術論文の収集にあたり,ユーザの情報ニーズを最大限に満たす表を作成するタスクについて検討する。
我々の貢献は、現実世界で遭遇する3つの重要な課題に焦点を当てている: (i)ユーザープロンプトは、しばしば未特定である; (ii)検索された候補論文は、しばしば無関係な内容を含む; (iii)タスク評価は、浅いテキスト類似性技術を超えて進むべきである。
論文 参考訳(メタデータ) (2025-04-14T14:52:28Z) - Multi2: Multi-Agent Test-Time Scalable Framework for Multi-Document Processing [43.75154489681047]
MDS(Multi-Document Summarization)のためのテスト時間スケーリングを利用した新しいフレームワークを提案する。
提案手法では,様々なプロンプトを用いて複数の候補サマリーを生成し,アグリゲータと組み合わせて洗練されたサマリーを生成する。
また,本手法を効果的に評価するために,LCM-ACU(Consistency-Aware Preference)スコアとLLM-Content-Unit(LLM-ACU)スコアという2つの新しいLCMベースの指標を導入する。
論文 参考訳(メタデータ) (2025-02-27T23:34:47Z) - Leveraging the Power of LLMs: A Fine-Tuning Approach for High-Quality Aspect-Based Summarization [25.052557735932535]
大規模言語モデル(LLM)は、自然言語処理における多様なタスクに革命をもたらす可能性を実証している。
本稿ではアスペクトベース要約タスクにおける微調整LDMの可能性について検討する。
我々は,Llama2,Mistral,Gemma,Ayaなどオープンソースファウンデーションの微調整が,パブリックドメイン固有のアスペクトベース要約データセットに与える影響を評価する。
論文 参考訳(メタデータ) (2024-08-05T16:00:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。