論文の概要: BLooP: Zero-Shot Abstractive Summarization using Large Language Models with Bigram Lookahead Promotion

• arxiv url: http://arxiv.org/abs/2603.11415v1
• Date: Thu, 12 Mar 2026 01:14:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.801034
• Title: BLooP: Zero-Shot Abstractive Summarization using Large Language Models with Bigram Lookahead Promotion
• Title（参考訳）: BLooP:Bigram Lookaheadによる大規模言語モデルを用いたゼロショット抽象要約
• Authors: Varun Iyer, Cornelia Caragea,
• Abstract要約: BLooPは,大規模な言語モデルに対して,ソース文書からビッグラムを生成するための簡単なトレーニング不要なデコード介入である。 BLooPは、各デコードステップでハッシュテーブルのルックアップを通じて動作し、トレーニング、微調整、モデル修正を必要としない。 BLooPは可読性を低下させることなく信頼度を著しく向上させる。
• 参考スコア（独自算出の注目度）: 52.26069987232466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Abstractive summarization requires models to generate summaries that convey information in the source document. While large language models can generate summaries without fine-tuning, they often miss key details and include extraneous information. We propose BLooP (Bigram Lookahead Promotion), a simple training-free decoding intervention that encourages large language models (LLMs) to generate tokens that form bigrams from the source document. BLooP operates through a hash table lookup at each decoding step, requiring no training, fine-tuning, or model modification. We demonstrate improvements in ROUGE and BARTScore for Llama-3.1-8B-Instruct, Mistral-Nemo-Instruct-2407, and Gemma-2-9b-it on CNN/DM, CCSum, Multi-News, and SciTLDR. Human evaluation shows that BLooP significantly improves faithfulness without reducing readability. We make the code available at https://github.com/varuniyer/BLooP
• Abstract（参考訳）: 抽象的な要約は、ソース文書に情報を伝達する要約を生成するモデルを必要とする。 大きな言語モデルは微調整なしで要約を生成することができるが、重要な詳細を見逃し、余分な情報を含むことが多い。 BLooP (Bigram Lookahead promotion) は,大規模言語モデル (LLM) がソース文書からビッグラムを形成するトークンを生成することを奨励する,単純なトレーニング不要なデコード介入である。 BLooPは、各デコードステップでハッシュテーブルのルックアップを通じて動作し、トレーニング、微調整、モデル修正を必要としない。 Llama-3.1-8B-Instruct, Mistral-Nemo-Instruct-2407, Gemma-2-9b-it, CNN/DM, CCSum, Multi-News, SciTLDRにおけるROUGEとBARTScoreの改善を示す。 BLooPは可読性を低下させることなく信頼度を著しく向上させる。 コードはhttps://github.com/varuniyer/BLooPで公開しています。

関連論文リスト

• Using Multimodal and Language-Agnostic Sentence Embeddings for Abstractive Summarization [10.892363692521222]
  抽象的な要約は、新しい文を作成することによって簡潔な要約を生成することを目的としており、柔軟な言い換えが可能である。 このアプローチは不正確さ、特にモデルが存在しない情報を導入する幻覚に対して脆弱である可能性がある。 我々は、LaBSE、SONAR、BGE-M3といった事前訓練されたモデルから派生した多モーダルおよび多言語文の埋め込みを利用し、それらを修正されたBARTベースのフランス語モデルに供給する。 デコーダ入力にトークン化された名前付きエンティティを付加する名前付きエンティティ注入機構を導入し、生成された要約の実際の一貫性を改善する。
  論文  参考訳（メタデータ） (2026-03-09T11:55:32Z)
• TLDR: Token-Level Detective Reward Model for Large Vision Language Models [57.41524422460438]
  既存の報酬モデルは、任意のテキストに1つのバイナリフィードバックを割り当てることによって、人間のアノテーションを模倣するだけである。 我々は、各テキストトークンにきめ細かいアノテーションを提供するために、$textbfT$oken-$textbfL$evel $textbfD$etective $textbfR$eward Modelを提案する。
  論文  参考訳（メタデータ） (2024-10-07T04:00:22Z)
• GLIMMER: Incorporating Graph and Lexical Features in Unsupervised Multi-Document Summarization [13.61818620609812]
  我々はGLIMMERと呼ばれる軽量で効果的な非教師付きアプローチを提案し、グラフとLexIcalの特徴をベースとした教師なしマルチ文書要約手法を提案する。 まず、ソース文書から文グラフを構築し、それからテキストから低レベルの特徴をマイニングすることで意味クラスタを自動的に識別する。 また,Multi-News,Multi-XScience,DUC-2004で行った実験により,既存の教師なしアプローチよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-08-19T16:01:48Z)
• TransMI: A Framework to Create Strong Baselines from Multilingual Pretrained Language Models for Transliterated Data [50.40191599304911]
  本稿では,トランスリテライト・マージ文字化 (Transliterate-Merge-literation, TransMI) という,シンプルだが効果的な枠組みを提案する。 TransMIは、既存のmPLMとそのトークン化ツールをトレーニングなしで利用することにより、共通のスクリプトに書き起こされるデータの強力なベースラインを作成することができる。 実験の結果,TransMIはmPLMの非翻訳データ処理能力を保ちつつ,翻訳データを効果的に処理し,スクリプト間のクロスリンガル転送を容易にすることを実証した。
  論文  参考訳（メタデータ） (2024-05-16T09:08:09Z)
• Read between the lines -- Functionality Extraction From READMEs [7.302971710984904]
  Gitファイルから機能を抽出する,新鮮で有用なバージョンを紹介します。 このタスクの背後にあるモチベーションは、コード関連のタスクに大規模言語モデルを使用することに関する研究と開発活動が最近急増したことに起因している。 最高の微調整された70億コードラマモデルは、それぞれChatGPTとBardに対するF1スコアに対して70%と20%の利得を示している。
  論文  参考訳（メタデータ） (2024-03-15T11:11:57Z)
• Connecting the Dots: Collaborative Fine-tuning for Black-Box Vision-Language Models [121.0693322732454]
  本稿では,下流タスクに対するブラックボックス視覚言語モデルの微調整のための textbfCraFT' アプローチを提案する。 CraFTは、2つのモジュールと、テキストプロンプトを学習するプロンプト生成モジュールと、残差スタイルの出力予測を強化する予測改善モジュールとから構成される。 15以上のデータセットに対する数ショットの分類実験は、CraFTの優位性を示している。
  論文  参考訳（メタデータ） (2024-02-06T14:53:19Z)
• Enhancing Black-Box Few-Shot Text Classification with Prompt-Based Data Augmentation [42.05617728412819]
  大規模言語モデルの勾配にアクセスすることなく、少数ショットのテキスト分類を最適化する方法を示す。 我々のアプローチはBT-Classifierと呼ばれ、最先端のブラックボックス学習者よりもはるかに優れています。
  論文  参考訳（メタデータ） (2023-05-23T07:54:34Z)
• Meta Learning for Code Summarization [10.403206672504664]
  コード要約のための3つのSOTAモデルは、大きなコードベースのほぼ不整合部分集合でうまく機能することを示す。 与えられたコードセグメントに対して最適な候補サマリーを選択する3つのメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-01-20T17:23:34Z)
• Fact-level Extractive Summarization with Hierarchical Graph Mask on BERT [9.271716501646194]
  より優れた抽出要約のためのファクトレベルのセマンティックユニットを抽出することを提案する。 階層グラフマスクを用いてBERTにモデルを組み込む。 CNN/DaliyMailデータセットの実験は、我々のモデルが最先端の結果を得ることを示す。
  論文  参考訳（メタデータ） (2020-11-19T09:29:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。