論文の概要: Logit Reweighting for Topic-Focused Summarization

• arxiv url: http://arxiv.org/abs/2507.05235v1
• Date: Mon, 07 Jul 2025 17:44:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.547147
• Title: Logit Reweighting for Topic-Focused Summarization
• Title（参考訳）: 話題強調要約のためのロジトリヘアリング
• Authors: Joschka Braun, Bálint Mucsányi, Seyed Ali Bahrainian,
• Abstract要約: 生成中のトピック関連トークンのロジットを直接重み付けすることで、トピック関連性を高める軽量な手法を提案する。 我々は、ロジットに一定の値を加える定数シフト、係数を乗算するファクタスケーリング、確率閾値を超えるロジットを選択的に向上するThreshold Selectionの3つの手法を評価する。
• 参考スコア（独自算出の注目度）: 2.2940141855172036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating abstractive summaries that adhere to a specific topic remains a significant challenge for language models. While standard approaches, such as fine-tuning, are resource-intensive, simpler methods like prompt engineering often struggle to maintain topical focus, particularly with smaller models. To address this, we propose a lightweight method that enhances topical relevance by directly reweighting the logits of topic-relevant tokens during generation. We evaluate three such reweighting techniques: Constant Shift, which adds a constant value to logits; Factor Scaling, which multiplies them by a factor; and Threshold Selection, which selectively boosts logits that exceed a probability threshold. Experiments on the NEWTS topical summarization dataset, using both Gemma-2B and Llama-3-8B models, show that these techniques effectively increase the use of topic-relevant vocabulary. Notably, the Threshold Selection method successfully improves topical focus without compromising summary quality-a trade-off often seen in other approaches. Our findings demonstrate that directly reweighting logits is a practical and resource-efficient alternative to fine-tuning, offering a promising pathway for precisely controlling the thematic content of generated text.
• Abstract（参考訳）: 特定のトピックに従う抽象的な要約を生成することは、言語モデルにとって重要な課題である。 ファインチューニングのような標準的なアプローチはリソース集約的な手法であるが、プロンプトエンジニアリングのような単純な手法は、特により小さなモデルにおいてトピックの焦点を維持するのに苦労することが多い。 そこで本研究では,生成中のトピック関連トークンのロジットを直接重み付けすることで,トピック関連性を高める軽量な手法を提案する。 我々は、ロジットに一定の値を加える定数シフト、係数を乗算するファクタスケーリング、確率閾値を超えるロジットを選択的に向上するThreshold Selectionの3つの手法を評価する。 Gemma-2BモデルとLlama-3-8Bモデルの両方を用いたNEWTSトピック要約データセットの実験により,これらの手法が話題関連語彙の使用を効果的に増加させることが示された。 特に、Threshold Selection法は、他のアプローチでよく見られるトレードオフである要約品質を損なうことなく、トピックの焦点をうまく改善する。 その結果,ロジットを直接重み付けすることは微調整に代わる実用的で資源効率のよい代替手段であり,生成したテキストの主題的内容を正確に制御する上で有望な経路であることが示唆された。

関連論文リスト

• QA-prompting: Improving Summarization with Large Language Models using Question-Answering [0.0]
  言語モデル(LM)は自然言語処理に革命をもたらし、プロンプトやテキスト内学習を通じて高品質なテキスト生成を可能にした。 本稿では,質問応答を要約生成の中間段階として利用する要約の簡易なプロンプト手法であるQA-promptingを提案する。 提案手法はキー情報を抽出し,テキストのコンテキストを強化して位置バイアスを緩和し,タスク毎の単一LMコールにおける要約を改善する。
  論文  参考訳（メタデータ） (2025-05-20T13:29:36Z)
• Enhancing Short-Text Topic Modeling with LLM-Driven Context Expansion and Prefix-Tuned VAEs [25.915607750636333]
  本稿では,大規模言語モデル(LLM)を利用して,トピックモデリングを適用する前に,短いテキストをより詳細なシーケンスに拡張する手法を提案する。 提案手法は,データ空間が極端である実世界のデータセットに対する広範な実験により,短文のトピックモデリング性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-04T01:28:56Z)
• Detecting Statements in Text: A Domain-Agnostic Few-Shot Solution [1.3654846342364308]
  最先端のアプローチは通常、作成にコストがかかる大規模な注釈付きデータセット上の微調整モデルを含む。 本稿では,クレームに基づくテキスト分類タスクの共通パラダイムとして,定性的で多目的な少ショット学習手法の提案とリリースを行う。 本手法は,気候変動対策,トピック/スタンス分類,うつ病関連症状検出の3つの課題の文脈で説明する。
  論文  参考訳（メタデータ） (2024-05-09T12:03:38Z)
• A Large Language Model Guided Topic Refinement Mechanism for Short Text Modeling [10.589126787499973]
  既存のトピックモデルは、しばしば短いテキストの根底にあるセマンティックなパターンを正確に捉えるのに苦労する。 本稿では,トピックリファインメント(Topic Refinement)と呼ばれる新しいモデル非依存機構を提案する。 トピックリファインメントによりトピックの品質が向上し、トピック関連テキスト分類タスクのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-03-26T13:50:34Z)
• Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
  視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。 しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
  論文  参考訳（メタデータ） (2024-03-01T09:01:53Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Distant finetuning with discourse relations for stance classification [55.131676584455306]
  そこで本研究では,定位分類のモデルとして,原文から銀ラベルでデータを抽出し,微調整する手法を提案する。 また,様々な段階において微調整に用いるデータのノイズレベルが減少する3段階のトレーニングフレームワークを提案する。 NLPCC 2021共有タスクArgumentative Text Understanding for AI Debaterでは,26の競合チームの中で1位にランクインした。
  論文  参考訳（メタデータ） (2022-04-27T04:24:35Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。