論文の概要: Document Summarization with Conformal Importance Guarantees
- arxiv url: http://arxiv.org/abs/2509.20461v1
- Date: Wed, 24 Sep 2025 18:12:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-26 20:58:12.533854
- Title: Document Summarization with Conformal Importance Guarantees
- Title(参考訳): コンフォーマルな重要度保証による文書要約
- Abstract要約: 本稿では,重要な要約生成のための最初のフレームワークであるConformal Importance Summarizationを紹介する。
本手法は, モデルに依存しず, キャリブレーションセットが小さいだけで, 既存のブラックボックスLCMとシームレスに統合できる。
本研究は,コンフォーマル・パタンス・サマライゼーションを既存の手法と組み合わせて,信頼性の高い制御可能な自動サマライゼーションを実現することを示唆している。
- 参考スコア(独自算出の注目度): 7.772719158681749
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic summarization systems have advanced rapidly with large language models (LLMs), yet they still lack reliable guarantees on inclusion of critical content in high-stakes domains like healthcare, law, and finance. In this work, we introduce Conformal Importance Summarization, the first framework for importance-preserving summary generation which uses conformal prediction to provide rigorous, distribution-free coverage guarantees. By calibrating thresholds on sentence-level importance scores, we enable extractive document summarization with user-specified coverage and recall rates over critical content. Our method is model-agnostic, requires only a small calibration set, and seamlessly integrates with existing black-box LLMs. Experiments on established summarization benchmarks demonstrate that Conformal Importance Summarization achieves the theoretically assured information coverage rate. Our work suggests that Conformal Importance Summarization can be combined with existing techniques to achieve reliable, controllable automatic summarization, paving the way for safer deployment of AI summarization tools in critical applications. Code is available at https://github.com/layer6ai-labs/conformal-importance-summarization.
- Abstract(参考訳): 自動要約システムは、大規模言語モデル(LLM)によって急速に進歩しているが、医療、法律、財務といった高額な領域に重要なコンテンツを含めることに関する信頼性の保証は依然として欠如している。
本稿では,コンフォメーション・コンフォメーション・サマリゼーション(Conformal Importance Summarization)について紹介する。
文レベルの重要度スコアの閾値を調整することにより、ユーザ指定のカバレッジと重要なコンテンツに対するリコール率による抽出文書の要約を可能にする。
本手法は, モデルに依存しず, キャリブレーションセットが小さいだけで, 既存のブラックボックスLCMとシームレスに統合できる。
確立された要約ベンチマークの実験では、コンフォーマルな重要性の要約が理論的に保証された情報カバレッジ率を達成することが示されている。
我々の研究は、コンフォーマルな重要性の要約を既存の技術と組み合わせて、信頼性が高く制御可能な自動要約を実現し、重要なアプリケーションにAIの要約ツールを安全に配置する方法を提供することを示唆している。
コードはhttps://github.com/layer6ai-labs/conformal-importance-summarizationで入手できる。
関連論文リスト
- Guaranteeing Faithful Evidence Extraction in Speculative Retrieval-Augmented Generation [1.002229589104305]
本稿では、投機的RAGのための新しい忠実度第一パラダイムである制約付きハイブリッドデコーディング(CHyD)を紹介する。
提案手法は,検索した文書中の連続スパンの生成を制限するハードデコード制約を強制する。
以上の結果から,既存のハイブリッド手法では抽出精度が技術領域で40%以下に低下する傾向がみられた。
論文 参考訳(メタデータ) (2026-09-09T11:21:07Z) - Unifying Conformal Language Tasks with In-Context Ensembles [9.021619744856501]
本稿では,テキスト内学習のサンプルキュレーションとアンサンブルを用いてスコア関数を生成するConformal Relevanceフレームワークを提案する。
このフレームワークの7つのNLPタスクへの適用を実証し、アンサンブルされたコンフォメーションスコアに対する多様性の影響を理論的に研究する。
論文 参考訳(メタデータ) (2026-09-02T18:00:01Z) - Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach [58.15427952222424]
汎用的なテキスト埋め込みはそのようなタスクに広くデプロイされているが、意味的類似性は意味的に似ているがタスク固有の例を示すことができる。
本稿では,凍結したテキスト埋め込み上に構築された幾何正規化モジュールであるPGCL(Prototype-Guided Contrastive Learning)を紹介する。
論文 参考訳(メタデータ) (2026-08-15T13:19:25Z) - Enhancing Factuality through Consensus and Consistency in Summarization Using Minimum Bayes Risk Decoding [64.98167175790817]
本稿では、ソース文書の一貫性と他の候補間のコンセンサスという2つの要因を考慮し、候補要約を再引用するConSUMを提案する。
我々のシステムは既存の手法と競合しており、人による評価により、生成した要約が他のシステムよりも好まれていることが確認されている。
論文 参考訳(メタデータ) (2026-05-28T04:14:43Z) - Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。
グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。
これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。
Byz-Clip21-SGD2Mを提案する。
論文 参考訳(メタデータ) (2026-03-24T17:39:09Z) - Is Conformal Factuality for RAG-based LLMs Robust? Novel Metrics and Systematic Insights [7.594584500009769]
大規模言語モデル(LLM)は、知識集約型アプリケーションにおける信頼性を制限し、しばしば幻覚を与える。
検索拡張世代(RAG)と共形事実性は、この制限に対処する潜在的方法として浮上している。
我々は,RAGをベースとしたLCMの信頼性と有用性,評価,校正,堅牢性,効率性を解析した。
論文 参考訳(メタデータ) (2026-03-17T17:20:08Z) - Beyond Raw Detection Scores: Markov-Informed Calibration for Boosting Machine-Generated Text Detection [105.14032334647932]
機械生成テキスト(MGT)は偽情報やフィッシングなどのリスクを生じさせ、信頼性の高い検出の必要性を強調している。
MGTの統計的に区別可能な特徴を抽出するメトリックベース法は、オーバーフィットしがちな複雑なモデルベース法よりも実用的であることが多い。
本稿では,2つのコンテキスト検出スコアの関係をモデル化したマルコフ情報を用いたスコアキャリブレーション手法を提案する。
論文 参考訳(メタデータ) (2026-02-08T16:06:12Z) - Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models [13.70855540464427]
我々は、厳密な非開示ポリシーの下で、異質な視覚的およびテキスト的要素の推論を必要とする実世界のレポートから構築された新しいベンチマークDoc-PPを紹介する。
モデルでは、複雑な合成によって答えが推測されなければならない場合や、モダリティにまたがって集約された場合、機密情報を頻繁にリークする。
政策検証から推論を分離する構造推論フレームワークであるDVAを提案する。
論文 参考訳(メタデータ) (2026-01-07T13:45:39Z) - Principled Context Engineering for RAG: Statistical Guarantees via Conformal Prediction [40.28465841863481]
Retrieval-Augmented Generation (RAG)は、大規模言語モデルにおける現実的な基盤を強化する。
既存の前世代のフィルターは信頼性のスコアに依存しており、保持された証拠に対する統計的制御を提供していない。
本研究では,コンフォメーション予測によるコンテキスト工学の実証を行う。
論文 参考訳(メタデータ) (2025-11-22T04:17:06Z) - ReliabilityRAG: Effective and Provably Robust Defense for RAG-based Web-Search [69.60882125603133]
本稿では,検索した文書の信頼性情報を明確に活用する,敵対的堅牢性のためのフレームワークであるReliabilityRAGを提案する。
我々の研究は、RAGの回収されたコーパスの腐敗に対するより効果的で確実に堅牢な防御に向けた重要な一歩である。
論文 参考訳(メタデータ) (2025-09-27T22:36:42Z) - A Context-Aware Dual-Metric Framework for Confidence Estimation in Large Language Models [6.62851757612838]
大規模言語モデル(LLM)に対する現在の信頼度推定法は,応答と文脈情報の関連性を無視する。
本稿では,2つの新しい指標を用いた信頼度推定のためのコンテキスト忠実度と一貫性を統合したCRUXを提案する。
3つのベンチマークデータセットに対する実験は、CRUXの有効性を示し、既存のベースラインよりも高いAUROCを達成した。
論文 参考訳(メタデータ) (2025-08-01T12:58:34Z) - ZKPROV: A Zero-Knowledge Approach to Dataset Provenance for Large Language Models [46.71493672772134]
LLM証明のゼロ知識証明を可能にする新しい暗号フレームワークであるZKPROVを紹介する。
モデルが信頼できるデータセット上でトレーニングされていることを、モデルやパラメータに関する機密情報を公開せずに確認することができる。
本手法は,学習段階の証明を回避しつつ,ゼロ知識証明を通じてトレーニングデータセットにトレーニングモデルを暗号的にバインドする。
論文 参考訳(メタデータ) (2025-06-26T00:49:02Z) - Transparent NLP: Using RAG and LLM Alignment for Privacy Q&A [15.86510147965235]
一般データ保護規則では、正確な処理情報を明確でアクセスしやすいものにする必要がある。
本稿では,その義務を果たすためのアライメント技術によって強化された,最先端の検索生成システムについて検討する。
論文 参考訳(メタデータ) (2025-02-10T16:42:00Z) - Noise-Adaptive Conformal Classification with Marginal Coverage [53.74125453366155]
本稿では,ランダムラベルノイズによる交換性からの偏差を効率的に処理できる適応型共形推論手法を提案する。
本手法は,合成および実データに対して,その有効性を示す広範囲な数値実験により検証する。
論文 参考訳(メタデータ) (2025-01-29T23:55:23Z) - TrustRAG: Enhancing Robustness and Trustworthiness in Retrieval-Augmented Generation [31.231916859341865]
TrustRAGは、生成のために取得される前に、悪意のある、無関係なコンテンツを体系的にフィルタリングするフレームワークである。
TrustRAGは、検索精度、効率、攻撃抵抗を大幅に改善する。
論文 参考訳(メタデータ) (2025-01-01T15:57:34Z) - DLaVA: Document Language and Vision Assistant for Answer Localization with Enhanced Interpretability and Trustworthiness [34.170341753045776]
VQA (Document Visual Question Answering) は、テキストの検出、認識、空間的推論の堅牢な統合を要求する。
DLaVAは、マルチモーダル大言語モデル(MLLM)を利用して、ゼロショット応答のローカライゼーションを行う訓練不要パイプラインである。
論文 参考訳(メタデータ) (2024-11-29T06:17:11Z) - CELA: Cost-Efficient Language Model Alignment for CTR Prediction [70.65910069412944]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。
最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。
CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文 参考訳(メタデータ) (2024-05-17T07:43:25Z) - AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。
提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
論文 参考訳(メタデータ) (2023-11-16T02:56:29Z) - Evaluating and Improving Factuality in Multimodal Abstractive
Summarization [91.46015013816083]
そこで我々は,CLIPBERTScoreを提案する。
ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。
本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
論文 参考訳(メタデータ) (2022-11-04T16:50:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。