論文の概要: Document Summarization with Conformal Importance Guarantees
- arxiv url: http://arxiv.org/abs/2509.20461v1
- Date: Wed, 24 Sep 2025 18:12:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-26 20:58:12.533854
- Title: Document Summarization with Conformal Importance Guarantees
- Title(参考訳): コンフォーマルな重要度保証による文書要約
- Authors: Bruce Kuwahara, Chen-Yuan Lin, Xiao Shi Huang, Kin Kwan Leung, Jullian Arta Yapeter, Ilya Stanevich, Felipe Perez, Jesse C. Cresswell,
- Abstract要約: 本稿では,重要な要約生成のための最初のフレームワークであるConformal Importance Summarizationを紹介する。
本手法は, モデルに依存しず, キャリブレーションセットが小さいだけで, 既存のブラックボックスLCMとシームレスに統合できる。
本研究は,コンフォーマル・パタンス・サマライゼーションを既存の手法と組み合わせて,信頼性の高い制御可能な自動サマライゼーションを実現することを示唆している。
- 参考スコア(独自算出の注目度): 7.772719158681749
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic summarization systems have advanced rapidly with large language models (LLMs), yet they still lack reliable guarantees on inclusion of critical content in high-stakes domains like healthcare, law, and finance. In this work, we introduce Conformal Importance Summarization, the first framework for importance-preserving summary generation which uses conformal prediction to provide rigorous, distribution-free coverage guarantees. By calibrating thresholds on sentence-level importance scores, we enable extractive document summarization with user-specified coverage and recall rates over critical content. Our method is model-agnostic, requires only a small calibration set, and seamlessly integrates with existing black-box LLMs. Experiments on established summarization benchmarks demonstrate that Conformal Importance Summarization achieves the theoretically assured information coverage rate. Our work suggests that Conformal Importance Summarization can be combined with existing techniques to achieve reliable, controllable automatic summarization, paving the way for safer deployment of AI summarization tools in critical applications. Code is available at https://github.com/layer6ai-labs/conformal-importance-summarization.
- Abstract(参考訳): 自動要約システムは、大規模言語モデル(LLM)によって急速に進歩しているが、医療、法律、財務といった高額な領域に重要なコンテンツを含めることに関する信頼性の保証は依然として欠如している。
本稿では,コンフォメーション・コンフォメーション・サマリゼーション(Conformal Importance Summarization)について紹介する。
文レベルの重要度スコアの閾値を調整することにより、ユーザ指定のカバレッジと重要なコンテンツに対するリコール率による抽出文書の要約を可能にする。
本手法は, モデルに依存しず, キャリブレーションセットが小さいだけで, 既存のブラックボックスLCMとシームレスに統合できる。
確立された要約ベンチマークの実験では、コンフォーマルな重要性の要約が理論的に保証された情報カバレッジ率を達成することが示されている。
我々の研究は、コンフォーマルな重要性の要約を既存の技術と組み合わせて、信頼性が高く制御可能な自動要約を実現し、重要なアプリケーションにAIの要約ツールを安全に配置する方法を提供することを示唆している。
コードはhttps://github.com/layer6ai-labs/conformal-importance-summarizationで入手できる。
関連論文リスト
- A Context-Aware Dual-Metric Framework for Confidence Estimation in Large Language Models [6.62851757612838]
大規模言語モデル(LLM)に対する現在の信頼度推定法は,応答と文脈情報の関連性を無視する。
本稿では,2つの新しい指標を用いた信頼度推定のためのコンテキスト忠実度と一貫性を統合したCRUXを提案する。
3つのベンチマークデータセットに対する実験は、CRUXの有効性を示し、既存のベースラインよりも高いAUROCを達成した。
論文 参考訳(メタデータ) (2025-08-01T12:58:34Z) - ZKPROV: A Zero-Knowledge Approach to Dataset Provenance for Large Language Models [46.71493672772134]
LLM証明のゼロ知識証明を可能にする新しい暗号フレームワークであるZKPROVを紹介する。
モデルが信頼できるデータセット上でトレーニングされていることを、モデルやパラメータに関する機密情報を公開せずに確認することができる。
本手法は,学習段階の証明を回避しつつ,ゼロ知識証明を通じてトレーニングデータセットにトレーニングモデルを暗号的にバインドする。
論文 参考訳(メタデータ) (2025-06-26T00:49:02Z) - Transparent NLP: Using RAG and LLM Alignment for Privacy Q&A [15.86510147965235]
一般データ保護規則では、正確な処理情報を明確でアクセスしやすいものにする必要がある。
本稿では,その義務を果たすためのアライメント技術によって強化された,最先端の検索生成システムについて検討する。
論文 参考訳(メタデータ) (2025-02-10T16:42:00Z) - Noise-Adaptive Conformal Classification with Marginal Coverage [53.74125453366155]
本稿では,ランダムラベルノイズによる交換性からの偏差を効率的に処理できる適応型共形推論手法を提案する。
本手法は,合成および実データに対して,その有効性を示す広範囲な数値実験により検証する。
論文 参考訳(メタデータ) (2025-01-29T23:55:23Z) - TrustRAG: Enhancing Robustness and Trustworthiness in Retrieval-Augmented Generation [31.231916859341865]
TrustRAGは、生成のために取得される前に、悪意のある、無関係なコンテンツを体系的にフィルタリングするフレームワークである。
TrustRAGは、検索精度、効率、攻撃抵抗を大幅に改善する。
論文 参考訳(メタデータ) (2025-01-01T15:57:34Z) - DLaVA: Document Language and Vision Assistant for Answer Localization with Enhanced Interpretability and Trustworthiness [34.170341753045776]
VQA (Document Visual Question Answering) は、テキストの検出、認識、空間的推論の堅牢な統合を要求する。
DLaVAは、マルチモーダル大言語モデル(MLLM)を利用して、ゼロショット応答のローカライゼーションを行う訓練不要パイプラインである。
論文 参考訳(メタデータ) (2024-11-29T06:17:11Z) - CELA: Cost-Efficient Language Model Alignment for CTR Prediction [70.65910069412944]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。
最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。
CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文 参考訳(メタデータ) (2024-05-17T07:43:25Z) - AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。
提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
論文 参考訳(メタデータ) (2023-11-16T02:56:29Z) - Evaluating and Improving Factuality in Multimodal Abstractive
Summarization [91.46015013816083]
そこで我々は,CLIPBERTScoreを提案する。
ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。
本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
論文 参考訳(メタデータ) (2022-11-04T16:50:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。