論文の概要: WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation

• arxiv url: http://arxiv.org/abs/2211.06862v1
• Date: Sun, 13 Nov 2022 09:56:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 16:03:05.510718
• Title: WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation
• Title（参考訳）: WR-ONE2SET:よく校正されたキーワード生成を目指して
• Authors: Binbin Xie, Xiangpeng Wei, Baosong Yang, Huan Lin, Jun Xie, Xiaoli Wang, Min Zhang and Jinsong Su
• Abstract要約: キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。 最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。 本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
• 参考スコア（独自算出の注目度）: 57.11538133231843
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Keyphrase generation aims to automatically generate short phrases summarizing an input document. The recently emerged ONE2SET paradigm (Ye et al., 2021) generates keyphrases as a set and has achieved competitive performance. Nevertheless, we observe serious calibration errors outputted by ONE2SET, especially in the over-estimation of $\varnothing$ token (means "no corresponding keyphrase"). In this paper, we deeply analyze this limitation and identify two main reasons behind: 1) the parallel generation has to introduce excessive $\varnothing$ as padding tokens into training instances; and 2) the training mechanism assigning target to each slot is unstable and further aggravates the $\varnothing$ token over-estimation. To make the model well-calibrated, we propose WR-ONE2SET which extends ONE2SET with an adaptive instance-level cost Weighting strategy and a target Re-assignment mechanism. The former dynamically penalizes the over-estimated slots for different instances thus smoothing the uneven training distribution. The latter refines the original inappropriate assignment and reduces the supervisory signals of over-estimated slots. Experimental results on commonly-used datasets demonstrate the effectiveness and generality of our proposed paradigm.
• Abstract（参考訳）: keyphrase生成は、入力ドキュメントを要約した短いフレーズを自動的に生成することを目的としている。 最近登場したONE2SETパラダイム(Ye et al., 2021)は、キーフレーズをセットとして生成し、競争性能を達成した。 しかしながら、ONE2SETが出力する深刻な校正誤差は、特に$\varnothing$ token(対応するキーフレーズがない)の過大評価において観察される。 本稿では、この制限を深く分析し、主な理由を2つ挙げる。 1) 並列生成は、トレーニングインスタンスにパディングトークンとして過剰な$\varnothing$を導入しなければなりません。 2) 各スロットにターゲットを割り当てるトレーニングメカニズムは不安定であり、さらに$\varnothing$トークン過大評価を増大させる。 そこで本研究では,適応型インスタンスレベルのコスト重み付け戦略と目標の再割り当て機構を用いてone2セットを拡張するwr-one2setを提案する。 前者は、異なるインスタンスに対して過大評価されたスロットを動的に罰し、不均一なトレーニング分布を円滑にする。 後者は、元の不適切な割り当てを洗練し、過見積スロットの監視信号を削減する。 一般的なデータセットを用いた実験結果から,提案手法の有効性と汎用性を示した。

関連論文リスト

• One-bit Supervision for Image Classification: Problem, Solution, and Beyond [114.95815360508395]
  本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。 多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。 複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-26T07:39:00Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Revisiting Discriminative vs. Generative Classifiers: Theory and Implications [37.98169487351508]
  本論文はベイズの統計的効率に着想を得たものである。 マルチクラス$mathcalH$-consistency bound frameworkと明示的なロジスティック損失境界を示す。 様々な事前訓練されたディープビジョンモデルの実験は、データの数が増加するにつれて、ナイーブベイズは常に速く収束することを示している。
  論文  参考訳（メタデータ） (2023-02-05T08:30:42Z)
• Characterizing Datapoints via Second-Split Forgetting [93.99363547536392]
  我々は、オリジナルのトレーニング例が忘れられた後(もしあれば)のエポックを追跡する補足的メトリックである$$-second-$split$$forgetting$$$time$ (SSFT)を提案する。 例えば$mislabeled$の例はすぐに忘れられ、$rare$の例は比較的ゆっくりと忘れられています。 SSFTは、(i)間違ったラベル付きサンプルを識別し、その除去により一般化が向上し、(ii)障害モードに関する洞察を提供する。
  論文  参考訳（メタデータ） (2022-10-26T21:03:46Z)
• Adaptive Sparse ViT: Towards Learnable Adaptive Token Pruning by Fully Exploiting Self-Attention [36.90363317158731]
  最小限のコストで適応的なスパーストークンプルーニングフレームワークを提案する。 提案手法では,DeiT-Sのスループットを50%向上し,トップ1の精度は0.2%低下した。
  論文  参考訳（メタデータ） (2022-09-28T03:07:32Z)
• Detection and Mitigation of Byzantine Attacks in Distributed Training [24.951227624475443]
  ワーカノードの異常なビザンチン挙動は、トレーニングを脱線させ、推論の品質を損なう可能性がある。 最近の研究は、幅広い攻撃モデルを検討し、歪んだ勾配を補正するために頑健な集約と/または計算冗長性を探究している。 本研究では、強力な攻撃モデルについて検討する:$q$ omniscient adversaries with full knowledge of the defense protocol that can change from iteration to iteration to weak one: $q$ randomly selected adversaries with limited collusion abilities。
  論文  参考訳（メタデータ） (2022-08-17T05:49:52Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• On the robustness of randomized classifiers to adversarial examples [11.359085303200981]
  確率指標を用いて局所リプシッツ性を強制するランダム化分類器の堅牢性の新しい概念を紹介する。 本研究の結果は,温和な仮説下での幅広い機械学習モデルに適用可能であることを示す。 トレーニングしたすべての堅牢なモデルは、最新の精度を同時に達成できます。
  論文  参考訳（メタデータ） (2021-02-22T10:16:58Z)
• Almost Tight L0-norm Certified Robustness of Top-k Predictions against Adversarial Perturbations [78.23408201652984]
  トップk予測は、マシンラーニング・アズ・ア・サービス、レコメンダ・システム、Web検索など、多くの現実世界のアプリケーションで使用されている。 我々の研究はランダム化平滑化に基づいており、入力をランダム化することで、証明可能なロバストな分類器を構築する。 例えば、攻撃者がテスト画像の5ピクセルを任意に摂動できる場合に、ImageNet上で69.2%の認定トップ3精度を達成する分類器を構築することができる。
  論文  参考訳（メタデータ） (2020-11-15T21:34:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。