Fugu-MT 論文翻訳(概要): GAPX: Generalized Autoregressive Paraphrase-Identification X

論文の概要: GAPX: Generalized Autoregressive Paraphrase-Identification X

arxiv url: http://arxiv.org/abs/2210.01979v1
Date: Wed, 5 Oct 2022 01:23:52 GMT
ステータス: 処理完了
システム内更新日: 2022-10-06 12:50:32.586828
Title: GAPX: Generalized Autoregressive Paraphrase-Identification X
Title（参考訳）: GAPX: 一般化された自己回帰型パラフレーズ認識X
Authors: Yifei Zhou, Renyu Li, Hayden Housen, Ser-Nam Lim
Abstract要約: このパフォーマンス低下の主な原因は、ネガティブな例によって導入されたバイアスである。我々は、推論中にどれだけの重量を与えるべきかを効果的に、かつ自動的に決定できるパープレキシティーに基づくアウト・オブ・ディストリビューション・メトリックを導入する。
参考スコア（独自算出の注目度）: 24.331570697458954
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Paraphrase Identification is a fundamental task in Natural Language Processing. While much progress has been made in the field, the performance of many state-of-the-art models often suffer from distribution shift during inference time. We verify that a major source of this performance drop comes from biases introduced by negative examples. To overcome these biases, we propose in this paper to train two separate models, one that only utilizes the positive pairs and the other the negative pairs. This enables us the option of deciding how much to utilize the negative model, for which we introduce a perplexity based out-of-distribution metric that we show can effectively and automatically determine how much weight it should be given during inference. We support our findings with strong empirical results.
Abstract（参考訳）: パラフレーズ識別は自然言語処理の基本的なタスクである。この分野では多くの進歩が見られたが、多くの最先端モデルの性能はしばしば推論時間中に分布シフトに苦しむ。この性能低下の主な原因は、ネガティブな例によって導入されたバイアスにあることを検証します。これらのバイアスを克服するために,本論文では,正のペアのみを利用するモデルと負のペアを訓練するモデルを提案する。これにより、負のモデルをどの程度活用するかを選択でき、そこでは、推論中にどれだけの重量を与えるべきかを効果的に自動で決定できるパープレキシティに基づく分布外計量を導入する。私たちは強い経験的結果でこの結果を支持します。

関連論文リスト

Forcing Diffuse Distributions out of Language Models [70.28345569190388]
ユーザ命令に従うように特別に訓練されているにもかかわらず、今日の命令付き言語モデルは、ランダムな出力を生成するように指示された場合、性能が良くない。本稿では,言語モデルに有効な結果に対して拡散した分布を出力することを奨励する微調整手法を提案する。
論文参考訳（メタデータ） (2024-04-16T19:17:23Z)
Reducing the Vision and Language Bias for Temporal Sentence Grounding [22.571577672704716]
本稿では,視覚と言語の両方において負のバイアスをフィルタし,除去するためのD-TSGモデルを提案する。 3つのベンチマークデータセット上で最先端の性能を達成することで、その効果を実証する。
論文参考訳（メタデータ） (2022-07-27T11:18:45Z)
A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文参考訳（メタデータ） (2022-04-11T18:31:53Z)
On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文参考訳（メタデータ） (2022-02-25T13:47:09Z)
Right for the Right Latent Factors: Debiasing Generative Models via Disentanglement [20.41752850243945]
統計機械学習手法の主要な前提は、テスト時に遭遇したデータの分布から独立したサンプルにアクセスすることである。特に、機械学習モデルは、Clever-Hansのような振る舞いを示すことが示されている。本稿では,人的フィードバックによって達成される内部表現を解消し,生成モデルをデバイアス化する手法を提案する。
論文参考訳（メタデータ） (2022-02-01T13:16:18Z)
Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文参考訳（メタデータ） (2021-10-20T12:25:22Z)
Mitigating Catastrophic Forgetting in Scheduled Sampling with Elastic Weight Consolidation in Neural Machine Translation [15.581515781839656]
最大推定値で訓練された自己回帰モデルは、露出バイアスに悩まされる。露光バイアスの軽減と出力品質の維持のトレードオフとして, 弾性重み強化(Elastic Weight Consolidation)を提案する。 2つのIWSLT'14翻訳タスクの実験は、我々のアプローチが破滅的な忘れを軽減し、BLEUを大幅に改善することを示した。
論文参考訳（メタデータ） (2021-09-13T20:37:58Z)
A Generative Approach for Mitigating Structural Biases in Natural Language Inference [24.44419010439227]
本研究では、NLIタスクを生成タスクとして再構成し、モデルが入力とラベルのバイアス付きサブセットに条件付けされるようにする。このアプローチは大量のバイアスに対して非常に堅牢であることを示す。生成モデルは訓練が困難であり、識別ベースラインよりも一般的にはパフォーマンスが悪くなっている。
論文参考訳（メタデータ） (2021-08-31T17:59:45Z)
Understanding Hard Negatives in Noise Contrastive Estimation [21.602701327267905]
ハードマイナスの役割を理解するための分析ツールを開発した。テキスト検索に用いられる様々なアーキテクチャを統一するスコア関数の一般的な形式を導出する。
論文参考訳（メタデータ） (2021-04-13T14:42:41Z)
When Hearst Is not Enough: Improving Hypernymy Detection from Corpus with Distributional Models [59.46552488974247]
本稿では,大きなテキストコーパスの助けを借りて,単語 (x, y) 間のis-a関係が存在するかどうかを論じる。近年の研究では、大規模なハーストペアを抽出して給餌し、目に見えない(x, y)ペアの親和性が緩和された場合、パターンベースのペアの方が優れていることが示唆されている。本稿では,これらの特定の事例の非無視的存在を初めて定量化し,その場合の分布法がパターンベースの事例を補うのに最適であることを示す。
論文参考訳（メタデータ） (2020-10-10T08:34:19Z)
Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。