論文の概要: PARENTing via Model-Agnostic Reinforcement Learning to Correct Pathological Behaviors in Data-to-Text Generation

• arxiv url: http://arxiv.org/abs/2010.10866v2
• Date: Thu, 22 Oct 2020 13:00:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 23:50:53.951437
• Title: PARENTing via Model-Agnostic Reinforcement Learning to Correct Pathological Behaviors in Data-to-Text Generation
• Title（参考訳）: データ・テキスト・ジェネレーションにおけるモデル非依存的強化学習による病的行動の補正
• Authors: Cl\'ement Rebuffel, Laure Soulier, Geoffrey Scoutheeten, Patrick Gallinari
• Abstract要約: 本稿では,最近導入されたPARENTメトリックに依存するモデル非依存のフレームワークが,幻覚と排便の両面の低減に有効であることを示す。 広く使われているWikiBIOとWebNLGベンチマークの評価は、最先端のモデルと比較して、このフレームワークの有効性を示している。
• 参考スコア（独自算出の注目度）: 11.687228500584082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In language generation models conditioned by structured data, the classical training via maximum likelihood almost always leads models to pick up on dataset divergence (i.e., hallucinations or omissions), and to incorporate them erroneously in their own generations at inference. In this work, we build ontop of previous Reinforcement Learning based approaches and show that a model-agnostic framework relying on the recently introduced PARENT metric is efficient at reducing both hallucinations and omissions. Evaluations on the widely used WikiBIO and WebNLG benchmarks demonstrate the effectiveness of this framework compared to state-of-the-art models.
• Abstract（参考訳）: 構造化データによって条件づけられた言語生成モデルでは、古典的トレーニングは、ほとんど常にモデルがデータセットの発散(幻覚や欠落)を拾い上げ、推論において自分自身の世代に誤って組み込むように導く。 本研究では,従来の強化学習に基づくアプローチの上に構築し,最近導入された親メトリックに依存したモデル非依存フレームワークが幻覚と欠落の両方を減らすのに有効であることを示す。 広く使われているWikiBIOとWebNLGベンチマークの評価は、最先端のモデルと比較して、このフレームワークの有効性を示している。

関連論文リスト

• Benchmarking Transcriptomics Foundation Models for Perturbation Analysis : one PCA still rules them all [1.507700065820919]
  転写学的シークエンシングの最近の進歩は、価値ある洞察を明らかにする新しい機会を提供する。 摂動解析におけるこれらの上昇モデルの有効性をしっかり評価するためのベンチマークは行われていない。 本稿では,生物学的に動機づけた新しい評価フレームワークと摂動解析タスクの階層について述べる。
  論文  参考訳（メタデータ） (2024-10-17T18:27:51Z)
• PerturBench: Benchmarking Machine Learning Models for Cellular Perturbation Analysis [14.526536510805755]
  本稿では,この急速に発展する分野におけるベンチマークの標準化を目的として,単一細胞における摂動の影響を予測するための包括的なフレームワークを提案する。 当社のフレームワークであるPerturBenchには、ユーザフレンドリなプラットフォーム、多様なデータセット、フェアモデル比較のためのメトリクス、詳細なパフォーマンス分析が含まれています。
  論文  参考訳（メタデータ） (2024-08-20T07:40:20Z)
• Beyond Under-Alignment: Atomic Preference Enhanced Factuality Tuning for Large Language Models [19.015202590038996]
  様々な選好学習アルゴリズムによって調整された異なるモデルの事実性を評価する。 textbfAtomic textbfPreference textbfEnhanced textbfFactuality textbfTuning を提案する。
  論文  参考訳（メタデータ） (2024-06-18T09:07:30Z)
• Collaborative decoding of critical tokens for boosting factuality of large language models [57.504894664689]
  微調整および整列モデルでは、命令追従と安全な生成の能力が改善されている。 世代ごとのサンプリングの一般的な実践は、幻覚の確率を増大させる。 我々は、クリティカルトークンの概念を通じて、事前訓練されたモデル内の高い事実性を活用するための協調的復号化フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-02-28T01:53:37Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
  In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。 我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
  論文  参考訳（メタデータ） (2022-11-15T19:56:37Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• A Joint Learning Approach for Semi-supervised Neural Topic Modeling [25.104653662416023]
  本稿では,最初の効果的な上流半教師付きニューラルトピックモデルであるラベル付きニューラルトピックモデル(LI-NTM)を紹介する。 LI-NTMは文書再構成ベンチマークにおいて既存のニューラルトピックモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-04-07T04:42:17Z)
• Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
  本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。 正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
  論文  参考訳（メタデータ） (2021-04-07T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。