論文の概要: Rethinking Self-Supervision Objectives for Generalizable Coherence Modeling

• arxiv url: http://arxiv.org/abs/2110.07198v1
• Date: Thu, 14 Oct 2021 07:44:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 13:59:49.005009
• Title: Rethinking Self-Supervision Objectives for Generalizable Coherence Modeling
• Title（参考訳）: 一般化コヒーレンスモデリングのための自己スーパービジョン目標の再検討
• Authors: Prathyusha Jwalapuram, Shafiq Joty and Xiang Lin
• Abstract要約: 機械生成テキストのコヒーレンス評価は、検討すべきコヒーレンスモデルの主要な応用の1つである。 タスク全体にわたってうまく一般化するモデルをもたらす訓練データと自己超越目標について検討する。 本研究では, 負サンプルの密度の増加が基本モデルを改善することを実証的に示し, 大域的負のキューを用いることで, 強負のサンプルを訓練しながらモデルをさらに改善・安定化する。
• 参考スコア（独自算出の注目度）: 8.329870357145927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although large-scale pre-trained neural models have shown impressive performances in a variety of tasks, their ability to generate coherent text that appropriately models discourse phenomena is harder to evaluate and less understood. Given the claims of improved text generation quality across various systems, we consider the coherence evaluation of machine generated text to be one of the principal applications of coherence models that needs to be investigated. We explore training data and self-supervision objectives that result in a model that generalizes well across tasks and can be used off-the-shelf to perform such evaluations. Prior work in neural coherence modeling has primarily focused on devising new architectures, and trained the model to distinguish coherent and incoherent text through pairwise self-supervision on the permuted documents task. We instead use a basic model architecture and show significant improvements over state of the art within the same training regime. We then design a harder self-supervision objective by increasing the ratio of negative samples within a contrastive learning setup, and enhance the model further through automatic hard negative mining coupled with a large global negative queue encoded by a momentum encoder. We show empirically that increasing the density of negative samples improves the basic model, and using a global negative queue further improves and stabilizes the model while training with hard negative samples. We evaluate the coherence model on task-independent test sets that resemble real-world use cases and show significant improvements in coherence evaluations of downstream applications.
• Abstract（参考訳）: 大規模事前学習型ニューラルモデルは様々なタスクにおいて顕著なパフォーマンスを示しているが、談話現象を適切にモデル化するコヒーレントテキストを生成する能力は評価しにくく、理解しにくい。 様々なシステムにおけるテキスト生成品質の向上が主張されていることから,機械生成テキストのコヒーレンス評価は,検討すべきコヒーレンスモデルの主要な応用の一つであると考えられる。 このような評価を行うために,タスク全体にわたってよく一般化され,棚外で使用できるモデルを実現するための,トレーニングデータと自己超越目標について検討する。 ニューラル・コヒーレンス・モデリング(neural coherence modeling)の先行研究は、主に新しいアーキテクチャの考案に焦点をあて、置換された文書タスクのペアワイズ自己スーパービジョンを通じてコヒーレントで一貫性のないテキストを区別するようにモデルを訓練した。 代わりに、基本モデルアーキテクチャを使用し、同じトレーニング体制内での最先端技術よりも大幅に改善されていることを示す。 次に,対照学習環境における負のサンプルの割合を増加させ,運動量エンコーダで符号化された大きな大域的負のキューと組み合わされた自動ハード・負のマイニングにより,さらにモデルを強化することで,より強固な自己スーパービジョン目標を設計する。 本研究では, 負サンプルの密度の増加が基本モデルを改善することを実証的に示し, 大域的負のキューを用いることで, 強負のサンプルを訓練しながらモデルをさらに改善・安定化する。 実世界のユースケースに類似したタスク非依存テストセットにおけるコヒーレンスモデルを評価し,下流アプリケーションにおけるコヒーレンス評価の大幅な改善を示す。

関連論文リスト

• Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
  一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。 以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
  論文  参考訳（メタデータ） (2024-04-02T22:27:24Z)
• Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
  CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。 これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。 CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-03-15T17:33:49Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Benchmarking the Robustness of Instance Segmentation Models [3.1287804585804073]
  本稿では,実世界の画像の破損や領域外画像の収集に関して,インスタンス分割モデルの包括的評価を行う。 領域外画像評価は、実世界のアプリケーションにおいて重要な側面であるモデルの一般化能力を示している。 具体的には、最先端のネットワークアーキテクチャ、ネットワークバックボーン、正規化レイヤ、スクラッチからトレーニングされたモデル、ImageNet事前訓練ネットワークが含まれる。
  論文  参考訳（メタデータ） (2021-09-02T17:50:07Z)
• Mean Embeddings with Test-Time Data Augmentation for Ensembling of Representations [8.336315962271396]
  表現のアンサンブルを考察し、MeTTA(Test-time augmentation)を用いた平均埋め込みを提案する。 MeTTAは、教師付きモデルと自己教師付きモデルの両方において、ImageNetの線形評価の質を大幅に向上させる。 我々は、より高品質な表現を推論するためにアンサンブルの成功を広めることが、多くの新しいアンサンブルアプリケーションを開く重要なステップであると信じている。
  論文  参考訳（メタデータ） (2021-06-15T10:49:46Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• On the model-based stochastic value gradient for continuous reinforcement learning [50.085645237597056]
  モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。 以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
  論文  参考訳（メタデータ） (2020-08-28T17:58:29Z)
• Rethinking Coherence Modeling: Synthetic vs. Downstream Tasks [15.044192886215887]
  コヒーレンスモデルは一般的に、下流のアプリケーションでの性能を表すものではない合成タスクでのみ評価される。 我々は、合成文順序付けタスクにおいて、よく知られた従来型およびニューラルコヒーレンスモデルのベンチマーク実験を行う。 本結果は,合成作業におけるモデル性能と下流アプリケーションとの相関関係が弱いことを示す。
  論文  参考訳（メタデータ） (2020-04-30T08:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。