論文の概要: Off-Policy Self-Critical Training for Transformer in Visual Paragraph Generation

• arxiv url: http://arxiv.org/abs/2006.11714v1
• Date: Sun, 21 Jun 2020 05:10:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 11:47:33.498687
• Title: Off-Policy Self-Critical Training for Transformer in Visual Paragraph Generation
• Title（参考訳）: 視覚段落生成における変圧器のオフポリシー自己批判訓練
• Authors: Shiyang Yan, Yang Hua, Neil M. Robertson
• Abstract要約: Transformerは現在、言語生成における最先端のSeq-to-seqモデルである。 本稿では,GRUに代表される行動ポリシーがサンプリングを行う,非政治的RL学習アルゴリズムを提案する。 提案アルゴリズムは,視覚的段落生成における最先端性能を実現し,画像キャプションの結果を改善した。
• 参考スコア（独自算出の注目度）: 20.755764654229047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, several approaches have been proposed to solve language generation problems. Transformer is currently state-of-the-art seq-to-seq model in language generation. Reinforcement Learning (RL) is useful in solving exposure bias and the optimisation on non-differentiable metrics in seq-to-seq language learning. However, Transformer is hard to combine with RL as the costly computing resource is required for sampling. We tackle this problem by proposing an off-policy RL learning algorithm where a behaviour policy represented by GRUs performs the sampling. We reduce the high variance of importance sampling (IS) by applying the truncated relative importance sampling (TRIS) technique and Kullback-Leibler (KL)-control concept. TRIS is a simple yet effective technique, and there is a theoretical proof that KL-control helps to reduce the variance of IS. We formulate this off-policy RL based on self-critical sequence training. Specifically, we use a Transformer-based captioning model as the target policy and use an image-guided language auto-encoder as the behaviour policy to explore the environment. The proposed algorithm achieves state-of-the-art performance on the visual paragraph generation and improved results on image captioning.
• Abstract（参考訳）: 近年,言語生成問題に対するいくつかのアプローチが提案されている。 Transformerは現在、言語生成における最先端のSeq-to-seqモデルである。 強化学習(rl)は、seq-to-seq言語学習において、露出バイアスと非微分可能メトリクスの最適化を解決するのに有用である。 しかし、サンプリングに高価な計算リソースを必要とするため、トランスフォーマーとrlを組み合わせるのは困難である。 grusに代表される行動ポリシーがサンプリングを行うオフポリシーrl学習アルゴリズムを提案することで,この問題に取り組む。 本研究では,Truncated relative importance sample (TRIS) 技術とKullback-Leibler (KL) 制御の概念を適用し,重要度サンプリング(IS)の高分散化を図る。 TRISは単純だが効果的な手法であり、KL制御がISの分散を減らすのに役立つという理論的証明がある。 自己臨界シーケンストレーニングに基づいて、このオフポリティクスRLを定式化する。 具体的には,トランスフォーマーをベースとしたキャプションモデルを用いて,画像誘導言語自動エンコーダを行動ポリシーとして利用して環境を探索する。 提案アルゴリズムは,視覚的段落生成における最先端性能を実現し,画像キャプションの結果を改善した。

関連論文リスト

• Q-SFT: Q-Learning for Language Models via Supervised Fine-Tuning [62.984693936073974]
  価値に基づく強化学習は、幅広いマルチターン問題に対する効果的なポリシーを学ぶことができる。 現在の値ベースのRL法は、特に大規模な言語モデルの設定にスケールすることが困難であることが証明されている。 本稿では,これらの欠点に対処する新しいオフラインRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-07T21:36:52Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Prompt Optimization via Adversarial In-Context Learning [51.18075178593142]
  adv-ICLは、ジェネレータとディスクリミネータの間の2プレイヤーゲームとして実装される。 ジェネレータは、判別器を騙すのに十分な出力を生成する。 本稿では,Adv-ICLが最先端のプロンプト最適化技術を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:44:45Z)
• Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
  本稿では,意思決定問題における変換器の文脈内学習能力について検討する。 本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。 事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
  論文  参考訳（メタデータ） (2023-06-26T17:58:50Z)
• Is Reinforcement Learning (Not) for Natural Language Processing?: Benchmarks, Baselines, and Building Blocks for Natural Language Policy Optimization [73.74371798168642]
  我々は、強化学習による言語生成を最適化するためのオープンソースのモジュールライブラリRL4LMを紹介する。 次に、ターゲット文字列ではなく、報酬関数によって教師される6つの言語生成タスクのセットであるGRUEベンチマークを示す。 最後に,言語生成における動作空間を効果的に削減するNLPOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-03T21:38:29Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。