Fugu-MT 論文翻訳(概要): Reexamining zero-shot summarization: Empirical investigation of trustworthiness of LLM-summarizers

論文の概要: Reexamining zero-shot summarization: Empirical investigation of trustworthiness of LLM-summarizers

arxiv url: http://arxiv.org/abs/2607.21010v1
Date: Thu, 23 Jul 2026 07:48:20 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-24 18:26:25.312825
Title: Reexamining zero-shot summarization: Empirical investigation of trustworthiness of LLM-summarizers
Title（参考訳）: ゼロショット要約の再検討 : LLM-サマライザの信頼性に関する実証的研究
Abstract要約: 大言語モデル(LLM)を用いたゼロショット要約は抽象的な要約タスクを大幅に進歩させた。大きな言語モデルの基盤性は、LLM生成サマリーの安定性と信頼性に関する懸念を引き起こす。本稿では, 生成した要約の安定性に基づいて, LLM-summarizers のベンチマークを行うための新しい2段階診断プロトコルを提案する。
参考スコア（独自算出の注目度）: 4.0360727591181
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Zero-shot summarization using Large Language Models (LLMs) has significantly advanced the abstractive summarization task by producing coherent and fluent summaries. However, underlying stochasticity of the large language models raises concerns about the stability and trustworthiness of the LLM-generated summaries. This issue has become increasingly important due to proliferation of LLM-generated summaries in educational settings, where students and researchers summarize complex academic materials in zero-shot manner. We propose a novel two-level diagnostic protocol for benchmarking LLM-summarizers based on the stability of the generated summaries. At the lower level, document-level stability analysis is performed over multiple LLM-summaries generated under controlled environment, and the stability coefficient is computed. Each generated summary is scored for semantic and factual alignment with the original document, enabling estimation of stability along more than one dimensions. At the next level, observations from a stratified sample of documents drawn from the corpus are consolidated to estimate the stability index of the LLM-summarizer, which is the proxy for its trustworthiness. Our empirical investigation of three LLM-summarizers across three genres of documents reveals statistically significant differences in the generation-level variability among LLMs across summary evaluation metrics. This study advances the LLM-summarization research by evidential recognition of the stability problem in LLM-summaries and motivates further research towards development of robust, reliable and trustworthy LLM-summarizers.
Abstract（参考訳）: 大言語モデル(LLMs)を用いたゼロショット要約は、一貫性と流動性のある要約を生成することで抽象的な要約タスクを大幅に前進させた。しかし、大きな言語モデルの基盤となる確率性は、LLM生成サマリーの安定性と信頼性に関する懸念を引き起こす。この問題は、学生や研究者が複雑な学術資料をゼロショットで要約する教育環境におけるLLM生成サマリーの増大により、ますます重要になっている。本稿では, 生成した要約の安定性に基づいて, LLM-summarizers のベンチマークを行うための新しい2段階診断プロトコルを提案する。低レベルでは、制御環境下で生成された複数のLCM-サマリー上で文書レベルの安定性解析を行い、安定性係数を算出する。生成された各要約は、元の文書に意味的および事実的整合性を持たせるためにスコアされ、複数の次元に沿って安定性を推定できる。次のレベルでは、コーパスから引き出された文書の成層化サンプルからの観測を集約し、その信頼性の指標であるLCM-サマリライザの安定性指標を推定する。文献の3つのジャンルにまたがる3つのLCM-サマリナイザに関する実証的研究により,LCM間の世代レベルの変動が,要約評価指標間で統計的に有意な差があることが判明した。本研究は, LLM-サマリーにおける安定性問題を明確に認識することで, LLM-サマリー化研究を進展させ, 信頼性, 信頼性の高いLCM-サマリー化装置の開発に向けたさらなる研究を動機づけるものである。

関連論文リスト

Bias in the Tails: How Name-conditioned Evaluative Framing in Resume Summaries Destabilizes LLM-based Hiring [7.943872490641589]
我々は,4つのモデルが生成する100万近い履歴サマリーを,系統的なレース・ジェンダー名の摂動の下で解析する。実際の内容はほとんど安定しているが、評価言語は分布の極端に集中した微妙な名前条件の変化を示す。
論文参考訳（メタデータ） (2026-04-21T20:47:21Z)
Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。 FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
論文参考訳（メタデータ） (2026-01-06T02:51:56Z)
LLM-REVal: Can We Trust LLM Reviewers Yet? [70.58742663985652]
大規模言語モデル(LLM)は研究者に、学術的なワークフローに広く組み込むよう刺激を与えている。本研究は、LLMのピアレビューと研究プロセスへの深い統合が学術的公正性にどのように影響するかに焦点を当てる。
論文参考訳（メタデータ） (2025-10-14T10:30:20Z)
IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
論文参考訳（メタデータ） (2025-05-23T09:37:52Z)
Firm or Fickle? Evaluating Large Language Models Consistency in Sequential Interactions [8.069858557211132]
大きな言語モデル(LLM)は、様々なタスクにまたがって顕著な機能を示している。ハイテイクなドメインへのデプロイメントには、複数ラウンドにわたるユーザインタラクションの一貫性と一貫性を備えた動作が必要です。本稿では,LLM応答整合性の評価と改善のための総合的なフレームワークを提案する。
論文参考訳（メタデータ） (2025-03-28T11:49:56Z)
Assessing LLMs for Zero-shot Abstractive Summarization Through the Lens of Relevance Paraphrasing [37.400757839157116]
大言語モデル(LLM)は、与えられた記事に対する抽象的な要約のゼロショット生成において最先端のパフォーマンスを達成した。本稿では,LLMのロバスト性を測定するためのシンプルな戦略であるrelevance paraphrasingを提案する。
論文参考訳（メタデータ） (2024-06-06T12:08:43Z)
DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
論文参考訳（メタデータ） (2024-05-24T08:12:30Z)
Summarization is (Almost) Dead [49.360752383801305]
我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
論文参考訳（メタデータ） (2023-09-18T08:13:01Z)
On Learning to Summarize with Large Language Models as References [101.79795027550959]
大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
論文参考訳（メタデータ） (2023-05-23T16:56:04Z)
Evaluating Factual Consistency of Summaries with Large Language Models [24.416837319515896]
大規模言語モデル(LLM)の直接的推進による要約の事実整合性の評価について検討する。実験により, LLM のプロンプトは, 全ての設定において, 過去の最良事実性システムより優れていることが示された。
論文参考訳（メタデータ） (2023-05-23T13:48:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。