Fugu-MT 論文翻訳(概要): Weak Reward Model Transforms Generative Models into Robust Causal Event Extraction Systems

論文の概要: Weak Reward Model Transforms Generative Models into Robust Causal Event Extraction Systems

arxiv url: http://arxiv.org/abs/2406.18245v2
Date: Thu, 27 Jun 2024 10:19:55 GMT
ステータス: 処理完了
システム内更新日: 2024-06-28 12:59:10.943219
Title: Weak Reward Model Transforms Generative Models into Robust Causal Event Extraction Systems
Title（参考訳）: 弱リワードモデルによる生成モデルからロバスト因果イベント抽出システムへの変換
Authors: Italo Luis da Silva, Hanqi Yan, Lin Gui, Yulan He,
Abstract要約: 我々は人的評価を近似するために評価モデルを訓練し、高い合意を得る。そこで本研究では,アノテートデータの一部を用いて評価モデルを訓練する弱強監督手法を提案する。
参考スコア（独自算出の注目度）: 17.10762463903638
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: The inherent ambiguity of cause and effect boundaries poses a challenge in evaluating causal event extraction tasks. Traditional metrics like Exact Match and BertScore poorly reflect model performance, so we trained evaluation models to approximate human evaluation, achieving high agreement. We used them to perform Reinforcement Learning with extraction models to align them with human preference, prioritising semantic understanding. We successfully explored our approach through multiple datasets, including transferring an evaluator trained on one dataset to another as a way to decrease the reliance on human-annotated data. In that vein, we also propose a weak-to-strong supervision method that uses a fraction of the annotated data to train an evaluation model while still achieving high performance in training an RL model. Our code is available at https://github.com/oyarsa/event_extraction/tree/causal-event-extraction.
Abstract（参考訳）: 原因と効果の境界の本来の曖昧さは、因果イベント抽出タスクを評価する上での課題となる。 Exact MatchやBertScoreといった従来のメトリクスはモデルのパフォーマンスをあまり反映していません。我々は、強化学習を抽出モデルを用いて実行し、人間の嗜好と整合させ、意味的理解を優先した。我々は、人間の注釈付きデータへの依存を減らす方法として、あるデータセットでトレーニングされた評価器を別のデータセットに転送することを含む、複数のデータセットを通して、我々のアプローチをうまく探索した。そこで本研究では,RLモデルのトレーニングにおいて高い性能を保ちながら,アノテートされたデータの一部を用いて評価モデルを訓練する弱強監督手法を提案する。私たちのコードはhttps://github.com/oyarsa/event_extraction/tree/causal-event-extractionで公開しています。

関連論文リスト

Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
論文参考訳（メタデータ） (2024-04-22T09:16:14Z)
An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
論文参考訳（メタデータ） (2024-02-02T13:33:30Z)
Iterative Data Smoothing: Mitigating Reward Overfitting and Overoptimization in RLHF [79.98542868281471]
強化学習(Reinforcement Learning from Human Feedback, RLHF)は、言語モデルを人間中心の値と密接に整合させる手法である。学習した報奨モデルに対して過度に最適化すると、最終的には真の目的が損なわれることが観察された。本稿では、これらの問題を考察し、「Iterative Data Smoothing」(IDS)と呼ばれる改良された報酬学習アルゴリズムの設計に理論的知見を活用する。
論文参考訳（メタデータ） (2024-01-29T17:43:42Z)
Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。実験結果から,本手法は既存手法よりも一貫した改善が得られた。我々の手法はデータ効率が良く、競争のベースラインより優れています。
論文参考訳（メタデータ） (2023-11-27T06:19:50Z)
Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文参考訳（メタデータ） (2023-10-26T17:59:46Z)
WSLRec: Weakly Supervised Learning for Neural Sequential Recommendation Models [24.455665093145818]
我々は、WSLRecと呼ばれる新しいモデルに依存しないトレーニング手法を提案し、3段階のフレームワーク(事前学習、トップ$k$マイニング、本質的、微調整)を採用する。 WSLRec は、BR や ItemCF のようなモデルフリーメソッドから、余分な弱い監督のモデルを事前訓練することで、不完全性の問題を解決すると同時に、最上位の$k のマイニングを活用して、微調整のための弱い監督の信頼性の高いユーザ・イテム関連を検査することで、不正確な問題を解消する。
論文参考訳（メタデータ） (2022-02-28T08:55:12Z)
Exposing Shallow Heuristics of Relation Extraction Models with Challenge Data [49.378860065474875]
我々は、TACREDで訓練されたSOTA関係抽出(RE)モデルの故障モードを同定する。トレーニングの例として、いくつかの課題データを追加することで、モデルのパフォーマンスが向上する。
論文参考訳（メタデータ） (2020-10-07T21:17:25Z)
Learning to summarize from human feedback [18.964548137315333]
人間の嗜好を最適化するモデルを訓練することで、要約品質を著しく改善できることを示す。我々は、Reddit投稿のTL;DRデータセットのバージョンに適用し、我々のモデルは、人間の参照サマリーと、教師付き学習だけで微調整されたはるかに大きなモデルの両方を著しく上回っていることを発見した。我々のモデルは、CNN/DMニュース記事にも移行し、ニュース特有の微調整なしに、人間の参照とほぼ同等の要約を生成する。
論文参考訳（メタデータ） (2020-09-02T19:54:41Z)
S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization [104.87483578308526]
本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。 6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
論文参考訳（メタデータ） (2020-08-18T11:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。