論文の概要: You Only Forward Once: Prediction and Rationalization in A Single Forward Pass

• arxiv url: http://arxiv.org/abs/2311.02344v1
• Date: Sat, 4 Nov 2023 08:04:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 18:09:46.745516
• Title: You Only Forward Once: Prediction and Rationalization in A Single Forward Pass
• Title（参考訳）: 1回だけ前進する - 予測と合理化を1回のフォワードパスで行う
• Authors: Han Jiang, Junwen Duan, Zhe Qu, and Jianxin Wang
• Abstract要約: 教師なしの合理性抽出は、合理性のないモデル予測をサポートするために、簡潔で連続的なテキストスニペットを抽出することを目的としている。 これまでの研究では、RNP(Rationalizing Neural Prediction)フレームワークと呼ばれる2段階のフレームワークを使用してきた。 そこで我々は,論理学の緩和版から派生した,単相一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一
• 参考スコア（独自算出の注目度）: 10.998983921416533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised rationale extraction aims to extract concise and contiguous text snippets to support model predictions without any annotated rationale. Previous studies have used a two-phase framework known as the Rationalizing Neural Prediction (RNP) framework, which follows a generate-then-predict paradigm. They assumed that the extracted explanation, called rationale, should be sufficient to predict the golden label. However, the assumption above deviates from the original definition and is too strict to perform well. Furthermore, these two-phase models suffer from the interlocking problem and spurious correlations. To solve the above problems, we propose a novel single-phase framework called You Only Forward Once (YOFO), derived from a relaxed version of rationale where rationales aim to support model predictions rather than make predictions. In our framework, A pre-trained language model like BERT is deployed to simultaneously perform prediction and rationalization with less impact from interlocking or spurious correlations. Directly choosing the important tokens in an unsupervised manner is intractable. Instead of directly choosing the important tokens, YOFO gradually removes unimportant tokens during forward propagation. Through experiments on the BeerAdvocate and Hotel Review datasets, we demonstrate that our model is able to extract rationales and make predictions more accurately compared to RNP-based models. We observe an improvement of up to 18.4\% in token-level F1 compared to previous state-of-the-art methods. We also conducted analyses and experiments to explore the extracted rationales and token decay strategies. The results show that YOFO can extract precise and important rationales while removing unimportant tokens in the middle part of the model.
• Abstract（参考訳）: 教師なし論理抽出は、注釈付き推論なしでモデル予測をサポートするために、簡潔で連続したテキストスニペットを抽出することを目的としている。 これまでの研究では、RNP(Rationalizing Neural Prediction)フレームワークと呼ばれる2段階のフレームワークを使用してきた。 彼らは、抽出された説明は合理性と呼ばれ、ゴールデンラベルを予測するのに十分であると仮定した。 しかし、上記の仮定は元の定義から外れており、うまく機能するには厳格すぎる。 さらに、これらの二相モデルは連動問題とスプリアス相関に苦しむ。 そこで本研究では, 予測ではなくモデル予測を支援するため, 理論の緩やかなバージョンから導出した, you only forward once (yofo) と呼ばれる新しい単相フレームワークを提案する。 我々のフレームワークでは、BERTのような事前訓練された言語モデルがデプロイされ、相互ロックや素早い相関による影響が少なく、同時に予測と合理化が行われる。 教師なしの方法で重要なトークンを直接選択することは難しい。 YOFOは重要なトークンを直接選択する代わりに、前方伝播中に重要でないトークンを徐々に削除する。 BeerAdvocateおよびHotel Reviewデータセットの実験を通して、我々のモデルが有理性を抽出し、RNPベースのモデルよりも正確に予測できることを示した。 従来の最先端手法と比較して,トークンレベルのF1では最大18.4\%の改善が見られた。 また,抽出された合理性およびトークン崩壊戦略の解明と実験を行った。 その結果, YOFOは, モデル中央の重要でないトークンを除去しながら, 正確かつ重要な有理を抽出できることがわかった。

関連論文リスト

• Plausible Extractive Rationalization through Semi-Supervised Entailment Signal [33.35604728012685]
  抽出された有理量の妥当性を最適化するために,半教師付きアプローチを採用する。 我々は、事前学習された自然言語推論(NLI)モデルを採用し、さらに教師付き論理の小さなセットに微調整する。 質問応答タスクにおける説明と回答のアライメント合意を強制することにより、真理ラベルにアクセスせずに性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-13T14:12:32Z)
• Unsupervised Selective Rationalization with Noise Injection [7.17737088382948]
  教師なし選択的合理化は、2つの共同訓練されたコンポーネント、有理生成器と予測器をチェーンすることで、予測と共に有理性を生成する。 本稿では,生成器と予測器との間にノイズを注入することにより,有理数生成を効果的に抑制する新しい訓練手法を提案する。 新しいベンチマークを含め、さまざまなタスクにおける最先端技術に対する合理的な妥当性とタスク精度の大幅な改善を実現しています。
  論文  参考訳（メタデータ） (2023-05-27T17:34:36Z)
• Rationalizing Predictions by Adversarial Information Calibration [65.19407304154177]
  我々は2つのモデルを共同で訓練する: 1つは、正確だがブラックボックスな方法でタスクを解く典型的なニューラルモデルであり、もう1つは、予測の理論的根拠を付加するセレクタ・予測モデルである。 我々は,2つのモデルから抽出した情報を,それらの違いが欠落した特徴や過度に選択された特徴の指標であるように校正するために,敵対的手法を用いる。
  論文  参考訳（メタデータ） (2023-01-15T03:13:09Z)
• Extracting or Guessing? Improving Faithfulness of Event Temporal Relation Extraction [87.04153383938969]
  本研究では,TempRel抽出モデルの忠実度を2つの観点から改善する。 第1の視点は、文脈記述に基づいて真に抽出することである。 第2の視点は、適切な不確実性評価を提供することである。
  論文  参考訳（メタデータ） (2022-10-10T19:53:13Z)
• Neuro-Symbolic Entropy Regularization [78.16196949641079]
  構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。 エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。 我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-25T06:23:10Z)
• Understanding Interlocking Dynamics of Cooperative Rationalization [90.6863969334526]
  選択的合理化(Selective rationalization)は、ニューラルネットワークの出力を予測するのに十分な入力の小さなサブセットを見つけることによって、複雑なニューラルネットワークの予測を説明する。 このような合理化パラダイムでは,モデルインターロックという大きな問題が浮かび上がっている。 A2Rと呼ばれる新しい合理化フレームワークを提案し、アーキテクチャに第3のコンポーネントを導入し、選択とは対照的にソフトアテンションによって駆動される予測器を提案する。
  論文  参考訳（メタデータ） (2021-10-26T17:39:18Z)
• Rationales for Sequential Predictions [117.93025782838123]
  シーケンスモデルは現代のNLPシステムにおいて重要な要素であるが、それらの予測は説明が難しい。 モデル説明は有理だが、個々のモデル予測を説明できる文脈のサブセットを考える。 この目的を近似する効率的なグリードアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-14T01:25:15Z)
• Learning from the Best: Rationalizing Prediction by Adversarial Information Calibration [39.685626118667074]
  2つのモデルを共同でトレーニングする。1つは手前のタスクを正確だがブラックボックスな方法で解く典型的なニューラルモデルであり、もう1つはセレクタ-予測モデルであり、予測の根拠も生み出す。 両モデルから抽出した情報の校正には,逆数に基づく手法を用いる。 自然言語タスクには, 言語モデルに基づく正規化子を用いて, 流線型論理の抽出を促進することを提案する。
  論文  参考訳（メタデータ） (2020-12-16T11:54:15Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。