論文の概要: PARENTing via Model-Agnostic Reinforcement Learning to Correct
Pathological Behaviors in Data-to-Text Generation
- arxiv url: http://arxiv.org/abs/2010.10866v2
- Date: Thu, 22 Oct 2020 13:00:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 23:50:53.951437
- Title: PARENTing via Model-Agnostic Reinforcement Learning to Correct
Pathological Behaviors in Data-to-Text Generation
- Title(参考訳): データ・テキスト・ジェネレーションにおけるモデル非依存的強化学習による病的行動の補正
- Authors: Cl\'ement Rebuffel, Laure Soulier, Geoffrey Scoutheeten, Patrick
Gallinari
- Abstract要約: 本稿では,最近導入されたPARENTメトリックに依存するモデル非依存のフレームワークが,幻覚と排便の両面の低減に有効であることを示す。
広く使われているWikiBIOとWebNLGベンチマークの評価は、最先端のモデルと比較して、このフレームワークの有効性を示している。
- 参考スコア(独自算出の注目度): 11.687228500584082
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In language generation models conditioned by structured data, the classical
training via maximum likelihood almost always leads models to pick up on
dataset divergence (i.e., hallucinations or omissions), and to incorporate them
erroneously in their own generations at inference. In this work, we build ontop
of previous Reinforcement Learning based approaches and show that a
model-agnostic framework relying on the recently introduced PARENT metric is
efficient at reducing both hallucinations and omissions. Evaluations on the
widely used WikiBIO and WebNLG benchmarks demonstrate the effectiveness of this
framework compared to state-of-the-art models.
- Abstract(参考訳): 構造化データによって条件づけられた言語生成モデルでは、古典的トレーニングは、ほとんど常にモデルがデータセットの発散(幻覚や欠落)を拾い上げ、推論において自分自身の世代に誤って組み込むように導く。
本研究では,従来の強化学習に基づくアプローチの上に構築し,最近導入された親メトリックに依存したモデル非依存フレームワークが幻覚と欠落の両方を減らすのに有効であることを示す。
広く使われているWikiBIOとWebNLGベンチマークの評価は、最先端のモデルと比較して、このフレームワークの有効性を示している。
関連論文リスト
- Collaborative decoding of critical tokens for boosting factuality of
large language models [57.504894664689]
微調整および整列モデルでは、命令追従と安全な生成の能力が改善されている。
世代ごとのサンプリングの一般的な実践は、幻覚の確率を増大させる。
我々は、クリティカルトークンの概念を通じて、事前訓練されたモデル内の高い事実性を活用するための協調的復号化フレームワークを導入する。
論文 参考訳(メタデータ) (2024-02-28T01:53:37Z) - Has Your Pretrained Model Improved? A Multi-head Posterior Based
Approach [25.927323251675386]
我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。
本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。
提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
論文 参考訳(メタデータ) (2024-01-02T17:08:26Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Improving Zero-Shot Detection of Low Prevalence Chest Pathologies using
Domain Pre-trained Language Models [0.9049664874474734]
低頻度病理診断のためのドメイン固有事前訓練によるゼロショット分類モデルの性能評価を行った。
従来のCLIP-BERTの重みは、一般的に見られる病態のモデル性能を低下させるが、事前学習したテキストタワーは、低頻度の疾患に対して非常に優れた性能を示す。
論文 参考訳(メタデータ) (2023-06-13T06:26:54Z) - Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。
注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。
検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-06-12T15:52:02Z) - On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。
我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
論文 参考訳(メタデータ) (2022-11-15T19:56:37Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-06-09T17:12:32Z) - A Joint Learning Approach for Semi-supervised Neural Topic Modeling [25.104653662416023]
本稿では,最初の効果的な上流半教師付きニューラルトピックモデルであるラベル付きニューラルトピックモデル(LI-NTM)を紹介する。
LI-NTMは文書再構成ベンチマークにおいて既存のニューラルトピックモデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-04-07T04:42:17Z) - Unsupervised Pre-training with Structured Knowledge for Improving
Natural Language Inference [22.648536283569747]
本研究では,事前学習モデルの異なるコンポーネントにおける構造化知識を活用するモデルを提案する。
以上の結果から,提案モデルは従来のBERTモデルよりも優れた性能を示した。
論文 参考訳(メタデータ) (2021-09-08T21:28:12Z) - Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。
正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
論文 参考訳(メタデータ) (2021-04-07T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。