論文の概要: Q-learning with Language Model for Edit-based Unsupervised Summarization

• arxiv url: http://arxiv.org/abs/2010.04379v1
• Date: Fri, 9 Oct 2020 05:47:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 05:23:51.806421
• Title: Q-learning with Language Model for Edit-based Unsupervised Summarization
• Title（参考訳）: 編集に基づく教師なし要約のための言語モデルを用いたQ学習
• Authors: Ryosuke Kohita, Akifumi Wachi, Yang Zhao, Ryuki Tachibana
• Abstract要約: 編集に基づく要約を用いたQ-ラーニングに基づく新しい手法を提案する。 このメソッドは2つのキーモジュールを組み合わせてエディターエージェントと言語モデルコンバータを形成する。 Q-learningは、適切な編集アクションを生成するためにエージェントを訓練するために利用される。
• 参考スコア（独自算出の注目度）: 19.332743860240264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised methods are promising for abstractive text summarization in that the parallel corpora is not required. However, their performance is still far from being satisfied, therefore research on promising solutions is on-going. In this paper, we propose a new approach based on Q-learning with an edit-based summarization. The method combines two key modules to form an Editorial Agent and Language Model converter (EALM). The agent predicts edit actions (e.t., delete, keep, and replace), and then the LM converter deterministically generates a summary on the basis of the action signals. Q-learning is leveraged to train the agent to produce proper edit actions. Experimental results show that EALM delivered competitive performance compared with the previous encoder-decoder-based methods, even with truly zero paired data (i.e., no validation set). Defining the task as Q-learning enables us not only to develop a competitive method but also to make the latest techniques in reinforcement learning available for unsupervised summarization. We also conduct qualitative analysis, providing insights into future study on unsupervised summarizers.
• Abstract（参考訳）: 非教師なしの手法は、並列コーパスが不要な抽象的なテキスト要約を約束する。 しかし、その性能はまだ満足には程遠いため、有望なソリューションに関する研究が進行中である。 本稿では,編集ベースの要約を用いたq-learningに基づく新しいアプローチを提案する。 この方法は2つのキーモジュールを組み合わせてエディターエージェントと言語モデル変換器(EALM)を形成する。 エージェントは編集アクション(例えば、削除、保持、置換)を予測し、次にLMコンバータはアクション信号に基づいて決定的に要約を生成する。 Q-learningはエージェントを訓練して適切な編集アクションを生成する。 実験の結果、ealmは従来のエンコーダ-デコーダベースの手法と比較して、真にゼロのペアデータ(検証セットなし)でも競合性能を発揮できた。 課題をQ-ラーニングとして定義することで,競争的手法の開発だけでなく,教師なし要約のための強化学習の最新の技術も開発できる。 また,質的分析を行い,教師なし要約に関する今後の研究への洞察を提供する。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Recursive Introspection: Teaching Language Model Agents How to Self-Improve [30.086494067593268]
  RISE: Recursive IntroSpEctionは,大規模言語モデルを微調整する手法である。 実験の結果,RISEはLlama2,Llama3,Mistralの各モデルに対して,数学推論タスクのターン数を増やすことで自己改善を可能にすることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T17:35:59Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Learning How to Infer Partial MDPs for In-Context Adaptation and Exploration [17.27164535440641]
  後方サンプリングは有望なアプローチであるが、ベイズ推論と動的プログラミングが必要である。 部分モデルが環境から関連する情報を除外したとしても、良い政策につながることは明らかである。
  論文  参考訳（メタデータ） (2023-02-08T18:35:24Z)
• Retrieval as Attention: End-to-end Learning of Retrieval and Reading within a Single Transformer [80.50327229467993]
  学習した1つのモデルが競合検索とQA性能の両方を達成可能であることを示す。 エンドツーエンド適応は、教師なし設定と教師なし設定の両方において、ドメイン外のデータセットのパフォーマンスを大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2022-12-05T04:51:21Z)
• Learning Non-Autoregressive Models from Search for Unsupervised Sentence Summarization [20.87460375478907]
  テキスト要約は、入力テキストの短い要約を生成することを目的としている。 本研究では,非自己回帰的教師なし要約手法を提案する。 実験により、NAUSは教師なし要約の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2022-05-28T21:09:23Z)
• An Imitation Learning Curriculum for Text Editing with Non-Autoregressive Models [22.996178360362734]
  機械翻訳のための模倣学習アルゴリズムは、訓練と推論のミスマッチを導入し、編集シナリオの過小評価や一般化に繋がることを示した。 制御可能なテキストの単純化と抽象的な要約という2つの難解な英語編集作業に対して,これらの戦略の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-17T17:36:23Z)
• elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
  本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-17T16:23:45Z)
• Towards Model-informed Precision Dosing with Expert-in-the-loop Machine Learning [0.0]
  モデル学習ループに人的専門家を取り入れることで、モデル学習を加速し、解釈可能性を向上させるMLフレームワークを検討する。 本稿では,データアノテーションのコストが高い学習問題に対処することを目的とした,新たなヒューマン・イン・ザ・ループMLフレームワークを提案する。 精度測定への応用により,本手法はデータから解釈可能なルールを学習し,専門家の作業負荷を低減できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-28T03:45:09Z)
• Few-Shot Learning for Opinion Summarization [117.70510762845338]
  オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。 本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。 提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
  論文  参考訳（メタデータ） (2020-04-30T15:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。