Fugu-MT 論文翻訳(概要): SAG: Style-Aligned Article Generation via Model Collaboration

論文の概要: SAG: Style-Aligned Article Generation via Model Collaboration

arxiv url: http://arxiv.org/abs/2410.03137v1
Date: Fri, 4 Oct 2024 04:24:42 GMT
ステータス: 処理完了
システム内更新日: 2024-11-03 03:36:45.937429
Title: SAG: Style-Aligned Article Generation via Model Collaboration
Title（参考訳）: SAG: モデルコラボレーションによるスタイル対応記事生成
Authors: Chenning Xu, Fangxun Shu, Dian Jin, Jinghao Wei, Hao Jiang,
Abstract要約: 大規模言語モデル(LLM)は、パーソナライズされたスタイリッシュなコンテンツ生成に対する需要を増大させている。本稿では, LLM と SLM の長所を利用した新しい協調学習フレームワークを提案する。 GPT-4と比較すると,ROUGE-Lでは0.78,BLEU-4では0.55の改善が得られた。
参考スコア（独自算出の注目度）: 6.5673543772901475
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) have increased the demand for personalized and stylish content generation. However, closed-source models like GPT-4 present limitations in optimization opportunities, while the substantial training costs and inflexibility of open-source alternatives, such as Qwen-72B, pose considerable challenges. Conversely, small language models (SLMs) struggle with understanding complex instructions and transferring learned capabilities to new contexts, often exhibiting more pronounced limitations. In this paper, we present a novel collaborative training framework that leverages the strengths of both LLMs and SLMs for style article generation, surpassing the performance of either model alone. We freeze the LLMs to harness their robust instruction-following capabilities and subsequently apply supervised fine-tuning on the SLM using style-specific data. Additionally, we introduce a self-improvement method to enhance style consistency. Our new benchmark, NoteBench, thoroughly evaluates style-aligned generation. Extensive experiments show that our approach achieves state-of-the-art performance, with improvements of 0.78 in ROUGE-L and 0.55 in BLEU-4 scores compared to GPT-4, while maintaining a low hallucination rate regarding factual and faithfulness.
Abstract（参考訳）: 大規模言語モデル(LLM)は、パーソナライズされたスタイリッシュなコンテンツ生成に対する需要を増大させている。しかし、GPT-4のようなクローズドソースモデルは最適化の機会に制限を与える一方で、Qwen-72Bのようなオープンソースの代替品の相当なトレーニングコストと柔軟性は、かなりの課題を生んでいる。逆に、SLM(Small Language Model)は複雑な命令を理解し、学習した能力を新しい文脈に移すのに苦労し、しばしばより顕著な制限を示す。本稿では, LLM と SLM の長所を利用した協調学習フレームワークを提案する。我々はLLMを凍結して、その堅牢な命令追従能力を利用し、その後、スタイル固有のデータを用いてSLMに教師付き微調整を適用する。さらに,スタイルの整合性を高める自己改善手法を提案する。新しいベンチマークであるNoteBenchは、スタイル整合生成を徹底的に評価しています。 GPT-4と比較して, ROUGE-L0.78, BLEU-40.55の改善が得られた。

関連論文リスト

ReadCtrl: Personalizing text generation with readability-controlled instruction learning [12.493713890977943]
Readability-Controlled Instruction Learning (ReadCtrl) は,大規模言語モデル (LLM) を指導し,ユーザの可読性レベルを調整することを目的としている。その結果,ReadCtrl-Mistral-7BモデルはGPT-4やClaude-3といった強力なベースラインモデルよりも優れていた。これらの結果は、高品質で文脈的に適切な出力を生成する上でのRead-Ctrlの有効性と忍耐性を裏付けるものである。
論文参考訳（メタデータ） (2024-06-13T15:03:46Z)
Enhancing Reinforcement Learning with Label-Sensitive Reward for Natural Language Understanding [11.470005425117371]
ラベルセンシティブ・リワード(RLLR)で強化された新しい強化学習フレームワークを提案する。提案手法は,RL中におけるニュアンス付きラベルセンシティブな意味的特徴を適切に捉え,自然言語の理解を向上させることを目的としている。 8つのタスクにまたがる5つの多様な基礎モデルの実験は、有望な結果を示している。
論文参考訳（メタデータ） (2024-05-30T07:19:31Z)
InternLM2 Technical Report [159.70692271378581]
本稿では,オープンソースのLarge Language Models (LLM) であるInternLM2を紹介する。 InternLM2の事前トレーニングプロセスは細部まで詳細に書かれており、多様なデータ型の準備が強調されている。 InternLM2は、4kトークンでトレーニングされた長期的依存関係を効率的にキャプチャし、事前トレーニングおよび微調整の段階で32kトークンに進む。
論文参考訳（メタデータ） (2024-03-26T00:53:24Z)
Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
論文参考訳（メタデータ） (2024-03-18T08:00:23Z)
LAB: Large-Scale Alignment for ChatBots [13.885153809482006]
LAB (Large-scale Alignment for chatBots) は,大規模言語モデル(LLM)訓練における命令調整フェーズにおけるスケーラビリティの課題を克服するために設計された,新しい方法論である。従来の人間アノテーションやGPT-4生成合成データを用いて学習したモデルと比較して,LAB学習モデルが複数のベンチマークで競合性能を達成できることを実証した。
論文参考訳（メタデータ） (2024-03-02T03:48:37Z)
Continual Learning for Large Language Models: A Survey [95.79977915131145]
大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。本稿では,LLMの連続学習に関する最近の研究について述べる。
論文参考訳（メタデータ） (2024-02-02T12:34:09Z)
HiCAST: Highly Customized Arbitrary Style Transfer with Adapter Enhanced Diffusion Models [84.12784265734238]
Arbitrary Style Transfer (AST)の目標は、あるスタイル参照の芸術的特徴を所定の画像/ビデオに注入することである。各種のセマンティックな手がかりに基づいてスタイリング結果を明示的にカスタマイズできるHiCASTを提案する。新たな学習目標をビデオ拡散モデルトレーニングに活用し,フレーム間の時間的一貫性を大幅に向上させる。
論文参考訳（メタデータ） (2024-01-11T12:26:23Z)
Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文参考訳（メタデータ） (2023-12-26T07:24:46Z)
CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文参考訳（メタデータ） (2023-10-24T08:56:49Z)
Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
論文参考訳（メタデータ） (2023-07-31T13:26:03Z)
Empower Your Model with Longer and Better Context Comprehension [15.377707808279908]
大規模言語モデル(LLM)における情報伝達の性質について検討する。本研究では,より長いコンテキスト理解を実現するために,意識遷移と呼ばれる新しい手法を提案する。 LLaMa-7bモデルを用いて,800年から1900年までのコンテクストトークン長を持つXSumデータセットについて実験を行った。
論文参考訳（メタデータ） (2023-07-25T09:34:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。