論文の概要: RewriteLM: An Instruction-Tuned Large Language Model for Text Rewriting

• arxiv url: http://arxiv.org/abs/2305.15685v2
• Date: Tue, 19 Dec 2023 23:57:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 19:10:50.032185
• Title: RewriteLM: An Instruction-Tuned Large Language Model for Text Rewriting
• Title（参考訳）: RewriteLM: テキスト書き換えのための命令付き大規模言語モデル
• Authors: Lei Shu, Liangchen Luo, Jayakumar Hoskere, Yun Zhu, Yinxiao Liu, Simon Tong, Jindong Chen, Lei Meng
• Abstract要約: 大規模言語モデル(LLM)は、ストーリーテリングや電子メール生成といった創造的なタスクにおいて、印象的な機能を示している。 我々は,命令チューニングと強化学習のための新しい戦略を開発し,文間書き直し作業のためのLLMの整合性を向上する。 OpenRewriteEvalは、自然言語命令で表現される多種多様な書き換えタイプをカバーする新しいベンチマークである。
• 参考スコア（独自算出の注目度）: 11.306772273707253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive capabilities in creative tasks such as storytelling and E-mail generation. However, as LLMs are primarily trained on final text results rather than intermediate revisions, it might be challenging for them to perform text rewriting tasks. Most studies in the rewriting tasks focus on a particular transformation type within the boundaries of single sentences. In this work, we develop new strategies for instruction tuning and reinforcement learning to better align LLMs for cross-sentence rewriting tasks using diverse wording and structures expressed through natural languages including 1) generating rewriting instruction data from Wiki edits and public corpus through instruction generation and chain-of-thought prompting; 2) collecting comparison data for reward model training through a new ranking function. To facilitate this research, we introduce OpenRewriteEval, a novel benchmark covers a wide variety of rewriting types expressed through natural language instructions. Our results show significant improvements over a variety of baselines. The public repository is available on GitHub under Google Research (https://github.com/google-research/google-research/tree/master/rewritelm).
• Abstract（参考訳）: 大規模な言語モデル(llm)は、ストーリーテリングや電子メール生成といった創造的なタスクで印象的な能力を発揮しています。 しかし、LSMは主に中間修正ではなく最終テキスト結果に基づいて訓練されているため、テキスト書き換えタスクを実行することは困難である。 書き換えタスクのほとんどの研究は、単一文の境界内の特定の変換型に焦点を当てている。 本研究では,多種多様な単語と自然言語を含む構造を用いた多文間書き直し作業におけるLLMの整合性向上のための指導指導と強化学習のための新しい手法を開発する。 1) ウィキ編集及び公開コーパスから命令生成及びチェーン・オブ・シークレットによる書き直しデータの生成 2)新たなランキング機能による報酬モデル学習のための比較データ収集。 そこで本研究では,自然言語命令によって表現される多種多様な書き起こしタイプをカバーする新しいベンチマークOpenRewriteEvalを紹介する。 以上の結果から, 各種のベースラインに対して有意な改善が得られた。 パブリックリポジトリはGitHubでGoogle Research(https://github.com/google-research/google-research/tree/master/rewritelm)で公開されている。

関連論文リスト

• MaFeRw: Query Rewriting with Multi-Aspect Feedbacks for Retrieval-Augmented Large Language Models [34.39053202801489]
  現実世界のRAGシステムでは、現在のクエリは会話コンテキストからの音声楕円とあいまいな参照を含むことが多い。 本稿では,検索プロセスと生成結果の両方からマルチアスペクトフィードバックを統合することにより,RAG性能を向上させる新しいクエリ書き換え手法MaFeRwを提案する。 2つの対話型RAGデータセットの実験結果から、MaFeRwはベースラインよりも優れた生成指標と安定したトレーニングを達成できることが示された。
  論文  参考訳（メタデータ） (2024-08-30T07:57:30Z)
• RaFe: Ranking Feedback Improves Query Rewriting for RAG [83.24385658573198]
  アノテーションを使わずにクエリ書き換えモデルをトレーニングするためのフレームワークを提案する。 公開されているリランカを活用することで、フィードバックはリライトの目的とよく一致します。
  論文  参考訳（メタデータ） (2024-05-23T11:00:19Z)
• Tuna: Instruction Tuning using Feedback from Large Language Models [74.04950416204551]
  本稿では,新しいテキスト確率的ランキングとテキストコンテクスチュアルランキングを用いた命令調整型大規模言語モデルの微調整を提案する。 確率的ランク付けにより、教師のLCMから高品質で低品質なレスポンスの相対的なランク付けを継承することができる。 一方、文脈的ランキングを学習することで、より強いLLMの文脈的理解能力を用いて、モデルが独自の応答分布を洗練できる。
  論文  参考訳（メタデータ） (2023-10-20T09:55:06Z)
• Enhancing Conversational Search: Large Language Model-Aided Informative Query Rewriting [42.35788605017555]
  本稿では,大規模言語モデル(LLM)をクエリリフレクタとして利用することを提案する。 精巧な書き直しのための4つの重要な特性を定義し、それら全てをインストラクションに組み込む。 初期クエリの書き直しが可能な場合, LLM の書き直しエディタの役割を導入し, "書き直し-テーマ-編集" プロセスを作成する。
  論文  参考訳（メタデータ） (2023-10-15T03:04:17Z)
• Learning to Rewrite Prompts for Personalized Text Generation [27.50476377270294]
  パーソナライズされたテキスト生成のためのプロンプトを自動的に修正する新しい手法を提案する。 提案手法は、パーソナライズされた生成のための最先端のマルチステージフレームワークによって生成された初期プロンプトを取り込み、いくつかの重要なコンポーネントを書き換える。 書き直しプロンプトの詳細な分析は、人間の読みやすいだけでなく、手作業による手作業による書き直しも可能であることを示している。
  論文  参考訳（メタデータ） (2023-09-29T21:15:49Z)
• XATU: A Fine-grained Instruction-based Benchmark for Explainable Text Updates [7.660511135287692]
  本稿では,微粒な命令ベースの説明可能なテキスト編集用に設計された最初のベンチマークであるXATUを紹介する。 XATUは、語彙、構文、意味論、知識集約的な編集といった難易度の細かいテキスト編集タスクについて検討している。 各種編集タスクにおける命令チューニングの有効性と基礎となるアーキテクチャの影響を実証する。
  論文  参考訳（メタデータ） (2023-09-20T04:58:59Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)
• Learning to Transfer Prompts for Text Generation [97.64625999380425]
  転送可能なテキスト生成のための新しいプロンプトベース手法(PTG)を提案する。 まず、PTGは、様々なソース生成タスクの一連のソースプロンプトを学習し、ターゲット生成タスクを実行するためのターゲットプロンプトとしてこれらのプロンプトを転送する。 広範な実験では、PTGは微調整法よりも競争力または優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-05-03T14:53:48Z)
• Abstractive Summarization of Spoken and Written Instructions with BERT [66.14755043607776]
  本稿では,BERTSumモデルの最初の対話型言語への応用について述べる。 我々は多種多様な話題にまたがるナレーションビデオの抽象要約を生成する。 我々は、これをインテリジェントな仮想アシスタントの機能として統合し、要求に応じて文字と音声の両方の指導内容の要約を可能にすることを想定する。
  論文  参考訳（メタデータ） (2020-08-21T20:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。