論文の概要: MGR: Multi-generator Based Rationalization

• arxiv url: http://arxiv.org/abs/2305.04492v7
• Date: Wed, 12 Jul 2023 01:04:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 16:47:13.318018
• Title: MGR: Multi-generator Based Rationalization
• Title（参考訳）: MGR:マルチジェネレータに基づく合理化
• Authors: Wei Liu, Haozhao Wang, Jun Wang, Ruixuan Li, Xinyang Li, Yuankai Zhang, Yang Qiu
• Abstract要約: 合理化は、ジェネレータと予測器を使用して、自己説明型NLPモデルを構築することである。 本稿では,この2つの問題を同時に解くために,MGRというシンプルで効果的な手法を提案する。 MGRは最先端手法と比較してF1スコアを最大20.9%改善することを示した。
• 参考スコア（独自算出の注目度）: 14.745836934156427
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Rationalization is to employ a generator and a predictor to construct a self-explaining NLP model in which the generator selects a subset of human-intelligible pieces of the input text to the following predictor. However, rationalization suffers from two key challenges, i.e., spurious correlation and degeneration, where the predictor overfits the spurious or meaningless pieces solely selected by the not-yet well-trained generator and in turn deteriorates the generator. Although many studies have been proposed to address the two challenges, they are usually designed separately and do not take both of them into account. In this paper, we propose a simple yet effective method named MGR to simultaneously solve the two problems. The key idea of MGR is to employ multiple generators such that the occurrence stability of real pieces is improved and more meaningful pieces are delivered to the predictor. Empirically, we show that MGR improves the F1 score by up to 20.9% as compared to state-of-the-art methods. Codes are available at https://github.com/jugechengzi/Rationalization-MGR .
• Abstract（参考訳）: 合理化は、ジェネレータと予測器を用いて、ジェネレータが入力テキストの人間の知性の部分集合を次の予測器に選択する自己説明型NLPモデルを構築することである。 しかし、合理化には2つの重要な課題、すなわち、スプリアス相関とデジェネレーションがあり、予測器は、未熟な訓練済みジェネレータによって選択されたスプリアスまたは無意味なピースを過剰に適合させ、ジェネレータを劣化させる。 2つの課題に対処するために多くの研究が提案されているが、通常は個別に設計されており、どちらも考慮していない。 本稿では,この2つの問題を同時に解くために,MGRというシンプルな手法を提案する。 MGRの鍵となる考え方は、実際の部品の発生安定性を改善し、より有意義な部品を予測者に届けるように複数の発電機を採用することである。 実験により,MGRは最先端手法と比較してF1スコアを最大20.9%改善することがわかった。 コードはhttps://github.com/jugechengzi/Rationalization-MGRで公開されている。

関連論文リスト

• Prompt Optimization via Adversarial In-Context Learning [51.18075178593142]
  adv-ICLは、ジェネレータとディスクリミネータの間の2プレイヤーゲームとして実装される。 ジェネレータは、判別器を騙すのに十分な出力を生成する。 本稿では,Adv-ICLが最先端のプロンプト最適化技術を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:44:45Z)
• Exploring Equation as a Better Intermediate Meaning Representation for Numerical Reasoning [53.2491163874712]
  我々は数値推論の問題を解くために方程式をIMRとして利用する。 本稿では、方程式(ブリッジ)の生成を分解したブースティング数値推論法を提案する。 本手法では,GSM8K,SVAMP,Algebraデータセットの2.2%,0.9%,1.7%の性能向上を実現している。
  論文  参考訳（メタデータ） (2023-08-21T09:35:33Z)
• Decoupled Rationalization with Asymmetric Learning Rates: A Flexible Lipschitz Restraint [16.54547887989801]
  自己説明的合理化モデルは、一般的に、生成者が入力テキストから最も人間的な知性のある断片を論理として選択する協調ゲームによって構成され、次に選択された合理性に基づいて予測を行う予測器が続く。 そのような協調ゲームは、予測者がまだ十分に訓練されていないジェネレータによって生成される非形式的ピースに過度に適合する退化問題を生じさせ、それからジェネレータを無意味なピースを選択する傾向にある準最適モデルに収束させる。 我々は、自然かつ柔軟にリプシッツ定数を抑制できるDRという、単純で効果的な手法を実証的に提案する。
  論文  参考訳（メタデータ） (2023-05-23T02:01:13Z)
• Gaussian-Bernoulli RBMs Without Tears [113.62579223055958]
  本稿では,Gibbs-Langevinサンプリングアルゴリズムを提案する。 雑音から始まるGRBMで画像を生成できるように改良されたコントラッシブ・ディペンジェンス(CD)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-19T06:22:55Z)
• FR: Folded Rationalization with a Unified Encoder [14.899075910719189]
  文意味抽出の観点から有理モデルの2つのフェーズを1つに折り畳むFolded Rationalization (FR)を提案する。 FRは最先端手法と比較してF1スコアを最大10.3%改善することを示した。
  論文  参考訳（メタデータ） (2022-09-17T08:49:45Z)
• Joint Generator-Ranker Learning for Natural Language Generation [99.16268050116717]
  JGRは、ジェネレータとローダを単一のフレームワークに統合する、新しいジョイントトレーニングアルゴリズムである。 ジェネレータとランク装置を反復的に更新することにより、JGRは学習を効果的に調和させ、共同で品質を高めることができる。
  論文  参考訳（メタデータ） (2022-06-28T12:58:30Z)
• KGR^4: Retrieval, Retrospect, Refine and Rethink for Commonsense Generation [36.78998964614422]
  我々は、KGR4と呼ばれる知識強化コモンセンス生成フレームワークを提案し、その4つの段階:検索、振り返り、再定義、再考を行う。 KGR4は公式のリーダーボードで33.56のSPICEポイントを獲得し、2.49のSPICEポイントを達成している。
  論文  参考訳（メタデータ） (2021-12-15T17:00:11Z)
• Understanding Interlocking Dynamics of Cooperative Rationalization [90.6863969334526]
  選択的合理化(Selective rationalization)は、ニューラルネットワークの出力を予測するのに十分な入力の小さなサブセットを見つけることによって、複雑なニューラルネットワークの予測を説明する。 このような合理化パラダイムでは,モデルインターロックという大きな問題が浮かび上がっている。 A2Rと呼ばれる新しい合理化フレームワークを提案し、アーキテクチャに第3のコンポーネントを導入し、選択とは対照的にソフトアテンションによって駆動される予測器を提案する。
  論文  参考訳（メタデータ） (2021-10-26T17:39:18Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。