論文の概要: Local and Global Context-Based Pairwise Models for Sentence Ordering

• arxiv url: http://arxiv.org/abs/2110.04291v1
• Date: Fri, 8 Oct 2021 17:57:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-11 13:17:14.216278
• Title: Local and Global Context-Based Pairwise Models for Sentence Ordering
• Title（参考訳）: 文順序付けのための局所的・グローバル的文脈に基づくペアワイズモデル
• Authors: Ruskin Raj Manku and Aditya Jyoti Paul
• Abstract要約: 本稿では,局所的およびグローバルな文脈に基づくペアワイズ・オーダリング・ストラテジーの集合を提示する。 提案手法は,この段落の豊富なグローバルな文脈情報を用いて,ペアの順序を予測する。 提案した2つのデコード戦略の解析は、ペアワイズモデルにおけるエラーの伝播をよりよく説明するのに役立つ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sentence Ordering refers to the task of rearranging a set of sentences into the appropriate coherent order. For this task, most previous approaches have explored global context-based end-to-end methods using Sequence Generation techniques. In this paper, we put forward a set of robust local and global context-based pairwise ordering strategies, leveraging which our prediction strategies outperform all previous works in this domain. Our proposed encoding method utilizes the paragraph's rich global contextual information to predict the pairwise order using novel transformer architectures. Analysis of the two proposed decoding strategies helps better explain error propagation in pairwise models. This approach is the most accurate pure pairwise model and our encoding strategy also significantly improves the performance of other recent approaches that use pairwise models, including the previous state-of-the-art, demonstrating the research novelty and generalizability of this work. Additionally, we show how the pre-training task for ALBERT helps it to significantly outperform BERT, despite having considerably lesser parameters. The extensive experimental results, architectural analysis and ablation studies demonstrate the effectiveness and superiority of the proposed models compared to the previous state-of-the-art, besides providing a much better understanding of the functioning of pairwise models.
• Abstract（参考訳）: 文順序付けとは、文の集合を適切なコヒーレントな順序に並べ替える作業である。 この課題に対して、従来のほとんどのアプローチは、シーケンス生成技術を用いて、グローバルなコンテキストベースのエンドツーエンド手法を探索してきた。 本稿では,この領域におけるこれまでのすべての作業よりも優れた予測戦略を活用し,堅牢な局所的およびグローバル的コンテキストベースの対向順序付け戦略を展開する。 提案手法は,本項の豊富なグローバル文脈情報を用いて,新しいトランスフォーマアーキテクチャを用いてペア順を予測する。 提案する2つのデコード戦略の解析は、ペアワイズモデルにおけるエラー伝播をよりよく説明するのに役立つ。 このアプローチは最も正確な純粋なペアワイズモデルであり、我々の符号化戦略は、従来の最先端技術を含む他のペアワイズモデルを用いた最近のアプローチの性能を著しく向上させ、この研究の新規性と一般化可能性を示している。 さらに、ALBERTの事前学習タスクが、パラメータがかなり少ないにもかかわらず、BERTを大幅に上回ることを示す。 大規模な実験結果、アーキテクチャ解析およびアブレーション研究は、提案されたモデルの有効性と優位性を示し、またペアワイズモデルの機能に関するより優れた理解を提供する。

関連論文リスト

• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Sentiment analysis in Tourism: Fine-tuning BERT or sentence embeddings concatenation? [0.0]
  変換器からの双方向表現を微調整する手法と2つの埋め込みを結合して、積層した2方向長短期記憶-二方向Gated Recurrent Unitsモデルの性能を向上させる方法の比較研究を行う。 2つの手法のレベルで最高の学習率の探索を行い、各文の埋め込み組み合わせに対して最適な埋め込みの比較を行った。
  論文  参考訳（メタデータ） (2023-12-12T23:23:23Z)
• Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals [67.64770842323966]
  NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。 既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。 本稿では, 対物近似(CF)の2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T07:31:04Z)
• Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
  本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。 3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-19T16:25:43Z)
• Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
  アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。 提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。 本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。 本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
  論文  参考訳（メタデータ） (2022-10-11T20:20:20Z)
• Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
  エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。 本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。 損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-05-22T16:37:53Z)
• Improving Hyperparameter Optimization by Planning Ahead [3.8673630752805432]
  本稿では,モデルに基づく強化学習の文脈内で定義された新しい伝達学習手法を提案する。 本稿では,シンプルなルックアヘッド戦略をポリシーとして用いたモデル予測制御法を提案する。 最新のHPOアルゴリズムと比較した3つのメタデータセット実験により,提案手法が全ベースラインを上回り得ることを示す。
  論文  参考訳（メタデータ） (2021-10-15T11:46:14Z)
• UnitedQA: A Hybrid Approach for Open Domain Question Answering [70.54286377610953]
  最近の訓練済みのニューラル言語モデルに基づいて,抽出的および生成的読取能力を高めるために,新しい手法を適用した。 私たちのアプローチは、それぞれNaturalQuestionsとTriviaQAと正確な一致で、以前の最先端のモデルを3.3と2.7ポイント上回る。
  論文  参考訳（メタデータ） (2021-01-01T06:36:16Z)
• Hierarchical regularization networks for sparsification based learning on noisy datasets [0.0]
  階層は、連続的により微細なスケールで特定される近似空間から従う。 各スケールでのモデル一般化を促進するため,複数次元にわたる新規な射影型ペナルティ演算子も導入する。 その結果、合成データセットと実データセットの両方において、データ削減およびモデリング戦略としてのアプローチの性能が示された。
  論文  参考訳（メタデータ） (2020-06-09T18:32:24Z)
• Dynamic Data Selection and Weighting for Iterative Back-Translation [116.14378571769045]
  本稿では,反復的バックトランスレーションモデルのためのカリキュラム学習戦略を提案する。 我々は、ドメイン適応、低リソース、高リソースMT設定に関するモデルを評価する。 実験の結果,提案手法は競争基準値よりも最大1.8 BLEU点の改善を達成できた。
  論文  参考訳（メタデータ） (2020-04-07T19:49:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。