論文の概要: RDR: the Recap, Deliberate, and Respond Method for Enhanced Language Understanding

• arxiv url: http://arxiv.org/abs/2312.09932v1
• Date: Fri, 15 Dec 2023 16:41:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 14:54:27.630126
• Title: RDR: the Recap, Deliberate, and Respond Method for Enhanced Language Understanding
• Title（参考訳）: RDR:強化言語理解のためのRecap, Deliberate, Respond Method
• Authors: Yuxin Zi, Hariram Veeramani, Kaushik Roy and Amit Sheth
• Abstract要約: Recap、Deliberate、Respond(RDR)パラダイムは、ニューラルネットワークパイプラインに3つの異なる目的を組み込むことで、この問題に対処する。 これら3つのモデルをカスケードすることにより、ベンチマークをゲームする可能性を軽減し、基盤となるセマンティックパターンをキャプチャする堅牢な方法を確立する。 その結果,標準基準値の最大2%向上とともに,競争基準値と比較して性能が向上した。
• 参考スコア（独自算出の注目度）: 6.738409533239947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural language understanding (NLU) using neural network pipelines often requires additional context that is not solely present in the input data. Through Prior research, it has been evident that NLU benchmarks are susceptible to manipulation by neural models, wherein these models exploit statistical artifacts within the encoded external knowledge to artificially inflate performance metrics for downstream tasks. Our proposed approach, known as the Recap, Deliberate, and Respond (RDR) paradigm, addresses this issue by incorporating three distinct objectives within the neural network pipeline. Firstly, the Recap objective involves paraphrasing the input text using a paraphrasing model in order to summarize and encapsulate its essence. Secondly, the Deliberation objective entails encoding external graph information related to entities mentioned in the input text, utilizing a graph embedding model. Finally, the Respond objective employs a classification head model that utilizes representations from the Recap and Deliberation modules to generate the final prediction. By cascading these three models and minimizing a combined loss, we mitigate the potential for gaming the benchmark and establish a robust method for capturing the underlying semantic patterns, thus enabling accurate predictions. To evaluate the effectiveness of the RDR method, we conduct tests on multiple GLUE benchmark tasks. Our results demonstrate improved performance compared to competitive baselines, with an enhancement of up to 2\% on standard metrics. Furthermore, we analyze the observed evidence for semantic understanding exhibited by RDR models, emphasizing their ability to avoid gaming the benchmark and instead accurately capture the true underlying semantic patterns.
• Abstract（参考訳）: ニューラルネットワークパイプラインを用いた自然言語理解(NLU)は、入力データにのみ存在しない追加のコンテキストを必要とすることが多い。 先行研究により、NLUベンチマークはニューラルネットワークによる操作に感受性があることが明らかとなり、これらのモデルでは、符号化された外部知識内の統計的アーティファクトを利用して、下流タスクのパフォーマンス指標を人工的にインフレさせる。 提案手法はRecap, Deliberate, Respond(RDR)パラダイムと呼ばれ,ニューラルネットワークパイプラインに3つの異なる目的を組み込むことでこの問題に対処する。 第一に、Recapの目的は、その本質を要約しカプセル化するために、パラフレーズモデルを用いて入力テキストをパラフレーズ化することである。 次に、検討目的は、グラフ埋め込みモデルを用いて、入力テキストで言及されるエンティティに関連する外部グラフ情報をエンコードすることである。 最後に、response objectiveは、recapおよびdeliberationモジュールからの表現を利用して最終的な予測を生成する分類ヘッドモデルを用いる。 これら3つのモデルをカスケードし、複合損失を最小化することにより、ベンチマークをゲームする可能性を軽減し、基礎となるセマンティックパターンをキャプチャするロバストな方法を確立し、正確な予測を可能にする。 RDR法の有効性を評価するため,複数のGLUEベンチマークタスクの試験を行った。 以上の結果から,標準基準値の最大2\%向上とともに,競争基準値よりも性能が向上したことが示された。 さらに、RDRモデルが示す意味理解の観察された証拠を分析し、ベンチマークのゲームを避け、真の基礎となる意味パターンを正確に捉える能力を強調した。

関連論文リスト

• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Dual Accuracy-Quality-Driven Neural Network for Prediction Interval Generation [0.0]
  本稿では,回帰に基づくニューラルネットワークの予測間隔を自動的に学習する手法を提案する。 我々の主な貢献は、PI世代ネットワークのための新しい損失関数の設計である。 合成データセット,8つのベンチマークデータセット,および実世界の収量予測データセットを用いて実験したところ,本手法は有意な確率カバレッジを維持することができた。
  論文  参考訳（メタデータ） (2022-12-13T05:03:16Z)
• Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval [51.53892300802014]
  教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。 目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
  論文  参考訳（メタデータ） (2022-04-24T22:36:48Z)
• Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
  グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。 オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。 本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T15:56:16Z)
• Combining Discrete Choice Models and Neural Networks through Embeddings: Formulation, Interpretability and Performance [10.57079240576682]
  本研究では、ニューラルネットワーク(ANN)を用いた理論とデータ駆動選択モデルを組み合わせた新しいアプローチを提案する。 特に、分類的または離散的説明変数を符号化するために、埋め込みと呼ばれる連続ベクトル表現を用いる。 我々のモデルは最先端の予測性能を提供し、既存のANNモデルよりも優れ、必要なネットワークパラメータの数を劇的に削減します。
  論文  参考訳（メタデータ） (2021-09-24T15:55:31Z)
• Layer-wise Analysis of a Self-supervised Speech Representation Model [26.727775920272205]
  自己教師付き学習アプローチは、音声表現モデルの事前学習に成功している。 事前訓練された表現そのものに符号化された情報のタイプや範囲についてはあまり研究されていない。
  論文  参考訳（メタデータ） (2021-07-10T02:13:25Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Explainable Deep RDFS Reasoner [6.795420391707213]
  本稿では,入力グラフをグラフ単語のシーケンスとして取得するニューラルニューラルネットワークモデルと,推定三重項の符号化を行い,推定三重項の導出を出力する。 我々は、合成データセットと実世界のデータセットの2つのデータセット上で、正当性モデルを評価する。
  論文  参考訳（メタデータ） (2020-02-10T03:20:31Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。