論文の概要: FR: Folded Rationalization with a Unified Encoder

• arxiv url: http://arxiv.org/abs/2209.08285v2
• Date: Tue, 20 Sep 2022 11:08:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 14:39:26.420203
• Title: FR: Folded Rationalization with a Unified Encoder
• Title（参考訳）: fr:統一エンコーダによる折り畳み合理化
• Authors: Wei Liu, Haozhao Wang, Jun Wang, Ruixuan Li, Chao Yue, Yuankai Zhang
• Abstract要約: 文意味抽出の観点から有理モデルの2つのフェーズを1つに折り畳むFolded Rationalization (FR)を提案する。 FRは最先端手法と比較してF1スコアを最大10.3%改善することを示した。
• 参考スコア（独自算出の注目度）: 14.899075910719189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional works generally employ a two-phase model in which a generator selects the most important pieces, followed by a predictor that makes predictions based on the selected pieces. However, such a two-phase model may incur the degeneration problem where the predictor overfits to the noise generated by a not yet well-trained generator and in turn, leads the generator to converge to a sub-optimal model that tends to select senseless pieces. To tackle this challenge, we propose Folded Rationalization (FR) that folds the two phases of the rationale model into one from the perspective of text semantic extraction. The key idea of FR is to employ a unified encoder between the generator and predictor, based on which FR can facilitate a better predictor by access to valuable information blocked by the generator in the traditional two-phase model and thus bring a better generator. Empirically, we show that FR improves the F1 score by up to 10.3% as compared to state-of-the-art methods.
• Abstract（参考訳）: 従来の作業では、ジェネレータが最も重要な部品を選択し、次に選択した部品に基づいて予測を行う予測器という2相モデルが一般的である。 しかし、そのような二相モデルでは、予測器が未訓練の発電機によって発生するノイズに過度に適合する退化問題を生じさせ、その結果、発電機は無意味な部品を選択する傾向にある準最適モデルに収束する。 そこで本研究では,論理モデルの2つの位相をテキスト意味抽出の観点から1つに折り畳む折り畳み合理化(fr)を提案する。 FRの鍵となる考え方は、ジェネレータと予測器の間に統一エンコーダを使用することであり、FRはジェネレータが従来の2相モデルでブロックした貴重な情報にアクセスし、より良いジェネレータを提供する。 実験的に、FRは最先端の手法と比較してF1スコアを最大10.3%改善することを示した。

関連論文リスト

• Dual Student Networks for Data-Free Model Stealing [79.67498803845059]
  主な課題は、パラメータにアクセスせずにターゲットモデルの勾配を推定し、多様なトレーニングサンプルを生成することである。 そこで本研究では,2人の学生が左右対称に学習し,学生が反対するサンプルを生成するための基準を提案する。 我々の新しい最適化フレームワークは、目標モデルのより正確な勾配推定と、ベンチマーク分類データセットの精度向上を提供する。
  論文  参考訳（メタデータ） (2023-09-18T18:11:31Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Unifying GANs and Score-Based Diffusion as Generative Particle Models [18.00326775812974]
  本稿では,粒子生成モデルと逆生成モデルを統合する新しいフレームワークを提案する。 これは、ジェネレータが任意の生成モデルに追加されることを示唆している。 フレームワークの潜在的な応用の概念の証明として、これらのオリジナルのモデルの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-05-25T15:20:10Z)
• Decoupled Rationalization with Asymmetric Learning Rates: A Flexible Lipschitz Restraint [16.54547887989801]
  自己説明的合理化モデルは、一般的に、生成者が入力テキストから最も人間的な知性のある断片を論理として選択する協調ゲームによって構成され、次に選択された合理性に基づいて予測を行う予測器が続く。 そのような協調ゲームは、予測者がまだ十分に訓練されていないジェネレータによって生成される非形式的ピースに過度に適合する退化問題を生じさせ、それからジェネレータを無意味なピースを選択する傾向にある準最適モデルに収束させる。 我々は、自然かつ柔軟にリプシッツ定数を抑制できるDRという、単純で効果的な手法を実証的に提案する。
  論文  参考訳（メタデータ） (2023-05-23T02:01:13Z)
• MGR: Multi-generator Based Rationalization [14.745836934156427]
  合理化は、ジェネレータと予測器を使用して、自己説明型NLPモデルを構築することである。 本稿では,この2つの問題を同時に解くために,MGRというシンプルで効果的な手法を提案する。 MGRは最先端手法と比較してF1スコアを最大20.9%改善することを示した。
  論文  参考訳（メタデータ） (2023-05-08T06:36:46Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Learning Probabilistic Models from Generator Latent Spaces with Hat EBM [81.35199221254763]
  本研究では、エネルギーベースモデル(EBM)の基礎として、任意のジェネレータネットワークを使用する方法を提案する。 128x128解像度の非条件画像ネット合成,(2)既存の生成装置の出力の精細化,(3)非確率的生成装置を組み込んだ学習用EMMにおいて,提案手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-10-29T03:55:34Z)
• An Energy-Based Prior for Generative Saliency [62.79775297611203]
  本稿では,情報的エネルギーベースモデルを事前分布として採用する,新たな生成正当性予測フレームワークを提案する。 生成サリエンシモデルを用いて,画像から画素単位の不確実性マップを得ることができ,サリエンシ予測におけるモデル信頼度を示す。 実験結果から, エネルギーベース先行モデルを用いた生成塩分率モデルでは, 精度の高い塩分率予測だけでなく, 人間の知覚と整合した信頼性の高い不確実性マップを実現できることが示された。
  論文  参考訳（メタデータ） (2022-04-19T10:51:00Z)
• Understanding Interlocking Dynamics of Cooperative Rationalization [90.6863969334526]
  選択的合理化(Selective rationalization)は、ニューラルネットワークの出力を予測するのに十分な入力の小さなサブセットを見つけることによって、複雑なニューラルネットワークの予測を説明する。 このような合理化パラダイムでは,モデルインターロックという大きな問題が浮かび上がっている。 A2Rと呼ばれる新しい合理化フレームワークを提案し、アーキテクチャに第3のコンポーネントを導入し、選択とは対照的にソフトアテンションによって駆動される予測器を提案する。
  論文  参考訳（メタデータ） (2021-10-26T17:39:18Z)
• MG-GAN: A Multi-Generator Model Preventing Out-of-Distribution Samples in Pedestrian Trajectory Prediction [0.6445605125467573]
  歩行者軌道予測のためのマルチジェネレータモデルを提案する。 各ジェネレータは、シーン内の主要なモードの1つにルーティングする軌跡上の分布を学習する。 第2のネットワークは、これらのジェネレータ上のカテゴリ分布を動的およびシーン入力に基づいて学習する。 このアーキテクチャにより、特殊なジェネレータから効果的にサンプルを採取し、単一ジェネレータ法と比較して配布外サンプルを著しく削減できる。
  論文  参考訳（メタデータ） (2021-08-20T17:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。