論文の概要: Does the Objective Matter? Comparing Training Objectives for Pronoun Resolution

• arxiv url: http://arxiv.org/abs/2010.02570v1
• Date: Tue, 6 Oct 2020 09:29:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-10-10 06:47:05.557667
• Title: Does the Objective Matter? Comparing Training Objectives for Pronoun Resolution
• Title（参考訳）: 目的は重要か? 代名詞解決のための訓練目的の比較
• Authors: Yordan Yordanov, Oana-Maria Camburu, Vid Kocijan, Thomas Lukasiewicz
• Abstract要約: 目的の4つのカテゴリを表す4つのモデルのパフォーマンスとシードの安定性を比較した。 提案実験により, 順序付けの目的がドメイン内最良であるのに対して, 候補と代名詞間の意味的類似性はドメイン内最良であることがわかった。
• 参考スコア（独自算出の注目度）: 52.94024891473669
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hard cases of pronoun resolution have been used as a long-standing benchmark for commonsense reasoning. In the recent literature, pre-trained language models have been used to obtain state-of-the-art results on pronoun resolution. Overall, four categories of training and evaluation objectives have been introduced. The variety of training datasets and pre-trained language models used in these works makes it unclear whether the choice of training objective is critical. In this work, we make a fair comparison of the performance and seed-wise stability of four models that represent the four categories of objectives. Our experiments show that the objective of sequence ranking performs the best in-domain, while the objective of semantic similarity between candidates and pronoun performs the best out-of-domain. We also observe a seed-wise instability of the model using sequence ranking, which is not the case when the other objectives are used.
• Abstract（参考訳）: 代名詞分解の難しいケースは、長年にわたって常識推論のベンチマークとして用いられてきた。 近年の文献では、事前学習された言語モデルを用いて代名詞分解に関する最先端の結果が得られた。 総合的に、トレーニングと評価の4つのカテゴリが導入された。 これらの研究で使用されるトレーニングデータセットの多様性と事前訓練された言語モデルにより、トレーニング対象の選択が重要かどうかが明確になる。 本研究では,目的の4つのカテゴリを表わす4つのモデルの性能と種別安定性を公平に比較した。 提案実験により, 順序付けの目的がドメイン内最良であるのに対して, 候補と代名詞間の意味的類似性が最良であることを示す。 また,他の目的を用いた場合ではそうではないシーケンスランキングを用いて,モデルのシード方向の不安定性を観察する。

関連論文リスト

• Optimizing Language Models for Inference Time Objectives using Reinforcement Learning [46.460339824738206]
  推定時間性能の最適化がモデル全体の有効性をいかに改善するかを示す。 一般的な推論時間の目的を$k$サンプルで検討し、pass@$k$と多数決を2つの主要なアプリケーションとして検討する。
  論文  参考訳（メタデータ） (2025-03-25T12:21:26Z)
• Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model [57.78191634042409]
  擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。 4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:55:21Z)
• Forging Multiple Training Objectives for Pre-trained Language Models via Meta-Learning [97.28779163988833]
  複数の事前学習目標が単一目的言語モデリングの理解能力の欠如を埋める。 メタラーニングに基づく新しい適応型サンプリングシステムであるtextitMOMETAS を提案し,任意の事前学習対象に対して潜時サンプリングパターンを学習する。
  論文  参考訳（メタデータ） (2022-10-19T04:38:26Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• A General Language Assistant as a Laboratory for Alignment [3.3598752405752106]
  簡単なベースライン手法と,プロンプトなどの評価について検討する。 モデルサイズにより, 緩やかな介入による利点が増大し, 様々なアライメント評価に一般化され, 大規模モデルの性能を損なわないことがわかった。 本研究では,人間の嗜好を微調整する際のサンプル効率の向上を目標として,事前学習段階の選好モデルについて検討した。
  論文  参考訳（メタデータ） (2021-12-01T22:24:34Z)
• A Brief Study on the Effects of Training Generative Dialogue Models with a Semantic loss [37.8626106992769]
  本研究は,モデルが相互に反応し,セマンティックな類似度にスコア付けするための学習目標を最小化する効果について考察する。 目標指向対話における次の発話生成タスクにおける2つの異なるデータセットについて、このアイデアを探求する。
  論文  参考訳（メタデータ） (2021-06-20T04:39:29Z)
• Discrete representations in neural models of spoken language [56.29049879393466]
  音声言語の弱教師付きモデルの文脈における4つの一般的なメトリクスの利点を比較した。 異なる評価指標が矛盾する結果をもたらすことが分かりました。
  論文  参考訳（メタデータ） (2021-05-12T11:02:02Z)
• Evaluating Text Coherence at Sentence and Paragraph Levels [17.99797111176988]
  本稿では,既存の文順序付け手法の段落順序付けタスクへの適応について検討する。 また、ミニデータセットとノイズの多いデータセットを人工的に作成することで、既存のモデルの学習性と堅牢性を比較する。 我々は、リカレントグラフニューラルネットワークに基づくモデルがコヒーレンスモデリングの最適選択であると結論付けている。
  論文  参考訳（メタデータ） (2020-06-05T03:31:49Z)
• Better Captioning with Sequence-Level Exploration [60.57850194028581]
  課題の字幕化における現在のシーケンスレベルの学習目標の限界を示す。 理論的には、現在の目的はキャプションセットの精度側だけを最適化することである。 実証的な結果は、この目的によって訓練されたモデルは、リコール側で低いスコアを得る傾向があることを示している。
  論文  参考訳（メタデータ） (2020-03-08T09:08:03Z)
• VSEC-LDA: Boosting Topic Modeling with Embedded Vocabulary Selection [20.921010767231923]
  VSEC-LDA(Vocabulary-Embedded Correspondence-LDA)と呼ばれるトピックモデリングの新しいアプローチを提案する。 VSEC-LDAは、最も関連性の高い単語を同時に選択しながら、潜在モデルを学習する。 単語の選択は、下層のモデルに対する単語の相対的寄与を測定するエントロピーに基づく計量によって駆動される。
  論文  参考訳（メタデータ） (2020-01-15T22:16:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。