論文の概要: Stretching Sentence-pair NLI Models to Reason over Long Documents and Clusters

• arxiv url: http://arxiv.org/abs/2204.07447v1
• Date: Fri, 15 Apr 2022 12:56:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-18 14:40:48.292347
• Title: Stretching Sentence-pair NLI Models to Reason over Long Documents and Clusters
• Title（参考訳）: 長文文書やクラスタを推論するための文章ペアnliモデルの拡張
• Authors: Tal Schuster, Sihao Chen, Senaka Buthpitiya, Alex Fabrikant, Donald Metzler
• Abstract要約: 自然言語推論(NLI)は,文ペア間の意味的関係を推定するフレームワークとして,NLPコミュニティによって広く研究されている。 我々は、NLIモデルの実アプリケーションへの直接ゼロショット適用性について、訓練された文ペア設定を超えて検討する。 本研究では,ContractNLIデータセット上で,フルドキュメント上で動作し,最先端のパフォーマンスを実現するための新たなアグリゲーション手法を開発した。
• 参考スコア（独自算出の注目度）: 35.103851212995046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural Language Inference (NLI) has been extensively studied by the NLP community as a framework for estimating the semantic relation between sentence pairs. While early work identified certain biases in NLI models, recent advancements in modeling and datasets demonstrated promising performance. In this work, we further explore the direct zero-shot applicability of NLI models to real applications, beyond the sentence-pair setting they were trained on. First, we analyze the robustness of these models to longer and out-of-domain inputs. Then, we develop new aggregation methods to allow operating over full documents, reaching state-of-the-art performance on the ContractNLI dataset. Interestingly, we find NLI scores to provide strong retrieval signals, leading to more relevant evidence extractions compared to common similarity-based methods. Finally, we go further and investigate whole document clusters to identify both discrepancies and consensus among sources. In a test case, we find real inconsistencies between Wikipedia pages in different languages about the same topic.
• Abstract（参考訳）: 自然言語推論(NLI)は,文ペア間の意味的関係を推定するフレームワークとして,NLPコミュニティによって広く研究されている。 初期の研究でNLIモデルの偏見が特定されたが、最近のモデリングとデータセットの進歩は有望な性能を示した。 本研究では,NLIモデルの実アプリケーションへの直接ゼロショット適用性について,トレーニング対象の文ペア設定を超えて検討する。 まず、これらのモデルのロバスト性を、ドメイン内および外部の入力に解析する。 そこで我々は,ContractNLIデータセット上で,フルドキュメント上で動作し,最先端のパフォーマンスを実現するための新たな集約手法を開発した。 興味深いことに、nliスコアは強い検索信号を提供し、共通の類似性に基づく方法と比較して、より適切な証拠抽出につながる。 最後に、文書クラスタ全体を調査して、ソース間の差異とコンセンサスの両方を識別する。 テストケースでは、同じトピックに関する異なる言語のウィキペディアページ間の実際の矛盾が見つかる。

関連論文リスト

• Fast and Accurate Factual Inconsistency Detection Over Long Documents [19.86348214462828]
  我々は,新しいチャンキング戦略を用いて,現実の不整合を検出するタスク非依存モデルであるSCALEを紹介する。 このアプローチは、様々なタスクや長い入力に対して、現実の不整合検出における最先端のパフォーマンスを実現する。 コードとデータはGitHubに公開しています。
  論文  参考訳（メタデータ） (2023-10-19T22:55:39Z)
• With a Little Push, NLI Models can Robustly and Efficiently Predict Faithfulness [19.79160738554967]
  条件付き言語モデルは、入力によってサポートされない不誠実な出力を生成します。 我々は、タスク適応型データ拡張と堅牢な推論手順を組み合わせることで、純粋なNLIモデルの方がより複雑なメトリクスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-26T11:00:04Z)
• LawngNLI: A Long-Premise Benchmark for In-Domain Generalization from Short to Long Contexts and for Implication-Based Retrieval [72.4859717204905]
  LawngNLIは米国法的な見解から構築されており、高い精度で自動ラベルが付けられている。 短いコンテキストから長いコンテキストまでドメイン内の一般化のベンチマークを行うことができる。 LawngNLIは、含意に基づくケース検索と議論のためのシステムを訓練し、テストすることができる。
  論文  参考訳（メタデータ） (2022-12-06T18:42:39Z)
• Falsesum: Generating Document-level NLI Examples for Recognizing Factual Inconsistency in Summarization [63.21819285337555]
  高品質なタスク指向の例でトレーニングデータを拡張した場合,NLIモデルがこのタスクに有効であることを示す。 我々は、制御可能なテキスト生成モデルを利用して、人間の注釈付き要約を摂動させるデータ生成パイプラインであるFalsesumを紹介した。 本研究では,Falsesumを付加したNLIデータセットでトレーニングしたモデルにより,4つのベンチマークを用いて,要約における事実整合性を検出することにより,最先端のパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2022-05-12T10:43:42Z)
• SummaC: Re-Visiting NLI-based Models for Inconsistency Detection in Summarization [27.515873862013006]
  要約の鍵となる要件は、実際に入力文書と整合性を持つことである。 これまでの研究では、不整合検出に適用した場合、自然言語推論モデルが競合的に動作しないことが判明した。 我々は,NLIモデルがこのタスクに有効に使用できるSummaCConvという,高効率で軽量な手法を提案する。
  論文  参考訳（メタデータ） (2021-11-18T05:02:31Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• DocNLI: A Large-scale Dataset for Document-level Natural Language Inference [55.868482696821815]
  自然言語推論(NLI)は、様々なNLP問題を解決するための統一的なフレームワークとして定式化されている。 ドキュメントレベルのNLI用に新たに構築された大規模データセットであるDocNLIを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T13:02:26Z)
• Reliable Evaluations for Natural Language Inference based on a Unified Cross-dataset Benchmark [54.782397511033345]
  クラウドソースの自然言語推論(NLI)データセットは、アノテーションアーティファクトのような重大なバイアスに悩まされる可能性がある。 14のNLIデータセットと9つの広く使用されているニューラルネットワークベースのNLIモデルを再評価した、新しいクロスデータセットベンチマークを提案する。 提案した評価手法と実験ベースラインは,将来信頼性の高いNLI研究を刺激する基盤となる可能性がある。
  論文  参考訳（メタデータ） (2020-10-15T11:50:12Z)
• Reading Comprehension as Natural Language Inference: A Semantic Analysis [15.624486319943015]
  質問回答(QA)における自然言語推論(NLI)の有用性について検討する。 我々は、利用可能な最大のRCデータセット(RACE)の1つをNLI形式に変換し、両形式の最先端モデル(RoBERTa)の性能を比較する。 我々は、データをコヒーレントな包含形式、構造化された質問応答結合形式で提示するときに、モデルがよりよく機能できる明確なカテゴリを強調した。
  論文  参考訳（メタデータ） (2020-10-04T22:50:59Z)
• Coreferential Reasoning Learning for Language Representation [88.14248323659267]
  本稿では,コンテキスト内でコアファーデンシャル関係をキャプチャ可能な新しい言語表現モデルCorefBERTを提案する。 実験の結果,既存のベースラインモデルと比較して,CorefBERTは下流のNLPタスクにおいて一貫した大幅な改善を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-04-15T03:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。