論文の概要: Improving Cross-Domain Low-Resource Text Generation through LLM Post-Editing: A Programmer-Interpreter Approach

• arxiv url: http://arxiv.org/abs/2402.04609v1
• Date: Wed, 7 Feb 2024 06:13:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 16:42:18.821616
• Title: Improving Cross-Domain Low-Resource Text Generation through LLM Post-Editing: A Programmer-Interpreter Approach
• Title（参考訳）: LLMポスト編集によるクロスドメイン低リソーステキスト生成の改善:プログラマ・インタプリタアプローチ
• Authors: Zhuang Li, Levon Haroutunian, Raj Tumuluri, Philip Cohen, Gholamreza Haffari
• Abstract要約: 後編集は、大規模言語モデル(LLM)によって生成されたテキストの品質向上に有効であることが証明された。 本稿では,LLMの領域一般化能力を保持するニューラルプログラマ・解釈手法を提案する。 実験により,プログラマ・インタプリタは論理形式変換や低リソース機械翻訳において,GPT-3.5の性能を大幅に向上させることが示された。
• 参考スコア（独自算出の注目度）: 50.400999859808984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-editing has proven effective in improving the quality of text generated by large language models (LLMs) such as GPT-3.5 or GPT-4, particularly when direct updating of their parameters to enhance text quality is infeasible or expensive. However, relying solely on smaller language models for post-editing can limit the LLMs' ability to generalize across domains. Moreover, the editing strategies in these methods are not optimally designed for text-generation tasks. To address these limitations, we propose a neural programmer-interpreter approach that preserves the domain generalization ability of LLMs when editing their output. The editing actions in this framework are specifically devised for text generation. Extensive experiments demonstrate that the programmer-interpreter significantly enhances GPT-3.5's performance in logical form-to-text conversion and low-resource machine translation, surpassing other state-of-the-art (SOTA) LLM post-editing methods in cross-domain settings.
• Abstract（参考訳）: ポスト編集は GPT-3.5 や GPT-4 のような大規模言語モデル(LLM)によって生成されるテキストの品質向上に有効であることが証明されている。 しかし、後編集のための小さな言語モデルのみに依存すると、LLMがドメインをまたいで一般化する能力を制限することができる。 さらに,これらの手法の編集戦略はテキスト生成作業に最適ではない。 これらの制約に対処するため,LLMの領域一般化能力を保持するニューラルプログラマ・解釈手法を提案する。 このフレームワークの編集アクションは、特にテキスト生成のために設計されている。 拡張実験により、プログラマ・インタプリタは論理形式変換や低リソース機械翻訳においてGPT-3.5の性能を著しく向上させ、ドメイン間設定における他のSOTA (State-of-the-art) LLMポスト編集手法よりも優れていることが示された。

関連論文リスト

• UltraGen: Extremely Fine-grained Controllable Generation via Attribute Reconstruction and Global Preference Optimization [33.747872934103334]
  既存のメソッドは主に3から5のような小さな属性セットにフォーカスする。 極微細制御可能ジェネレーション(EFCG)のための新しいゼロショット手法を提案する。 本研究では,制約満足度(CSR)とEFCGのテキスト品質を,バイアスを緩和し,注意の希釈を緩和することで著しく改善する。
  論文  参考訳（メタデータ） (2025-02-17T23:28:58Z)
• LLM Program Optimization via Retrieval Augmented Search [71.40092732256252]
  提案手法は,提案手法によって最適化されたビーム探索を行う検索アルゴリズムであるRetrieval Augmented Search (RAS) である。 我々は、RASが従来の最先端のブラックボックス適応戦略よりも1.8$times$パフォーマンスが高いことを示す。 また、トレーニング例を「アトミックな編集」に分解することで、解釈可能性を向上させるAEGISと呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2025-01-31T06:34:47Z)
• Assessing Human Editing Effort on LLM-Generated Texts via Compression-Based Edit Distance [2.1792283995628465]
  Levenshtein、BLEU、ROUGE、TERといった既存の編集距離のメトリクスは、後編集に必要な労力を正確に測定できないことが多い。 本稿では,Lempel-Ziv-77アルゴリズムに基づく新しい圧縮ベース編集距離測定手法を提案する。
  論文  参考訳（メタデータ） (2024-12-23T06:29:25Z)
• Effective Text Adaptation for LLM-based ASR through Soft Prompt Fine-Tuning [12.676026149146772]
  大言語モデル(LLM)は自動音声認識(ASR)を改良した このようなASRをペアのプロンプトなしでテキストのみのデータに微調整することで、ドメイン固有の知識の有効性を低下させる可能性がある。 ドメイン固有のテキスト適応を強化する2段階のソフトプロンプト微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-12-09T20:22:06Z)
• Unveiling Large Language Models Generated Texts: A Multi-Level Fine-Grained Detection Framework [9.976099891796784]
  大型言語モデル (LLM) は文法の修正、内容の拡張、文体の改良によって人間の書き方を変えてきた。 既存の検出方法は、主に単一機能分析とバイナリ分類に依存しているが、学術的文脈においてLLM生成テキストを効果的に識別することができないことが多い。 低レベル構造, 高レベル意味, 深層言語的特徴を統合することで, LLM生成テキストを検出する多レベルきめ細粒度検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-18T07:25:00Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• LLM can Achieve Self-Regulation via Hyperparameter Aware Generation [88.69052513433603]
  大規模言語モデル (LLM) は、生成されたテキストを制御するために様々な復号法を用いる。 LLMはこれらのデコード戦略の存在を意識し、自己統制できるのか? ハイパーパラメータ・アウェア・ジェネレーション(HAG)と呼ばれる新しいテキスト生成パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T11:18:22Z)
• Contextual Refinement of Translations: Large Language Models for Sentence and Document-Level Post-Editing [12.843274390224853]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクでかなりの成功を収めている。 ニューラルネットワーク翻訳における最先端性能は,まだ達成できていない。 直接翻訳者ではなく,自動編集者 (APE) としてLLMを適用することを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:22:15Z)
• Reducing Sequence Length by Predicting Edit Operations with Large Language Models [50.66922361766939]
  本稿では,ローカルなシーケンス変換タスクに対して,ソーステキストの編集スパンを予測することを提案する。 編集スパンの監督データに大規模言語モデルに対する命令チューニングを適用する。 実験の結果,提案手法は4つのタスクにおいて,ベースラインに匹敵する性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-05-19T17:51:05Z)
• Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
  GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。 このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。 本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。