論文の概要: TrueBrief: Faithful Summarization through Small Language Models
- arxiv url: http://arxiv.org/abs/2601.04212v1
- Date: Fri, 12 Dec 2025 11:47:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-11 18:48:17.61778
- Title: TrueBrief: Faithful Summarization through Small Language Models
- Title（参考訳）: TrueBrief: 小さな言語モデルによる忠実な要約
- Authors: Kumud Lakara, Ruibo Shi, Fran Silavong,
- Abstract要約: 大規模言語モデル(LLM)は、高品質なテキストを生成するのに顕著な能力を示した。
幻覚の再現性は、セキュリティクリティカルなドメインへの展開において重要な課題となっている。
本稿では,小型LLMの忠実度を高めるためのエンドツーエンドフレームワークであるTrueBriefを紹介する。
- 参考スコア（独自算出の注目度）: 0.764671395172401
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have exhibited remarkable proficiency in generating high-quality text; however, their propensity for producing hallucinations poses a significant challenge for their deployment in security-critical domains. In this work, we present TrueBrief, an end-to-end framework specifically designed to enhance the faithfulness of small LLMs (SLMs) primarily for the task of text summarization through a preference-optimization paradigm. Central to our framework is a data generation module that facilitates controlled hallucination injection to generate synthetic preference data. Our work provides insights into the impact of data quality and model size on preference-based optimization, highlighting the conditions under which these methods are most effective.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、高品質なテキストを生成するのに顕著な習熟度を示してきたが、幻覚を発生させる確率は、セキュリティクリティカルなドメインに展開する上で大きな課題となっている。
本稿では,SLM(Small LLMs)の忠実度を高めるために設計されたエンドツーエンドフレームワークであるTrueBriefについて述べる。
我々のフレームワークの中心は、制御された幻覚注入を容易にして合成嗜好データを生成するデータ生成モジュールである。
我々の研究は、データ品質とモデルサイズが嗜好に基づく最適化に与える影響についての洞察を提供し、これらの手法が最も効果的である条件を強調します。
関連論文リスト
- SMOTExT: SMOTE meets Large Language Models [19.394116388173885]
本稿では,SMOTE(Synthetic Minority Over-sampling)の概念をテキストデータに適用する新しい手法SMOTExTを提案する。
提案手法は,既存の2つの例のBERTベースの埋め込みを補間することにより,新しい合成例を生成する。
初期の実験では、生成されたデータのみを対象としたトレーニングモデルは、元のデータセットでトレーニングされたモデルと同等のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2025-05-19T17:57:36Z) - Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。
提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。
語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
論文 参考訳（メタデータ） (2024-11-04T06:07:53Z) - Fine-Grained Verifiers: Preference Modeling as Next-token Prediction in Vision-Language Alignment [57.0121616203175]
本研究では,視覚言語アライメントを改善するための細粒度検証器として,モデル自身のビジュアルエンコーダを利用する新たな自己アライメント手法であるFiSAOを提案する。
ビジョンエンコーダからのトークンレベルのフィードバックを活用することで、FiSAOは視覚言語アライメントを大幅に改善する。
論文 参考訳（メタデータ） (2024-10-18T03:34:32Z) - Enhancing Short-Text Topic Modeling with LLM-Driven Context Expansion and Prefix-Tuned VAEs [25.915607750636333]
本稿では,大規模言語モデル(LLM)を利用して,トピックモデリングを適用する前に,短いテキストをより詳細なシーケンスに拡張する手法を提案する。
提案手法は,データ空間が極端である実世界のデータセットに対する広範な実験により,短文のトピックモデリング性能を著しく向上させる。
論文 参考訳（メタデータ） (2024-10-04T01:28:56Z) - Model-based Preference Optimization in Abstractive Summarization without Human Feedback [5.438770095369458]
人間のフィードバックを伴わずに要約能力を向上させるために,モデルベース推論最適化(MPO)を導入している。
標準要約データセットと各種測定値を用いた実験により,提案したMPOは,人間のフィードバックに頼らずに生成した要約の質を著しく向上することが示された。
論文 参考訳（メタデータ） (2024-09-27T10:35:45Z) - Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。
私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。
本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
論文 参考訳（メタデータ） (2024-06-06T18:01:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。