論文の概要: Interpretable Research Replication Prediction via Variational Contextual Consistency Sentence Masking

• arxiv url: http://arxiv.org/abs/2203.14474v1
• Date: Mon, 28 Mar 2022 03:27:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 14:09:44.429608
• Title: Interpretable Research Replication Prediction via Variational Contextual Consistency Sentence Masking
• Title（参考訳）: 変動文脈一貫性文マスキングによる解釈可能な研究レプリケーション予測
• Authors: Tianyi Luo, Rui Meng, Xin Eric Wang, Yang Liu
• Abstract要約: 研究レプリケーション予測(Research Replication Prediction、RRP)は、公表された研究結果が複製可能かどうかを予測するタスクである。 本研究では,キー文を自動的に抽出するVCCSM法を提案する。 欧州人権条約 (ECHR) のデータセットとともに, RRP に関する実験の結果, VCCSM は長い文書分類作業において, モデル解釈可能性を向上させることができることを示した。
• 参考スコア（独自算出の注目度）: 14.50690911709558
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Research Replication Prediction (RRP) is the task of predicting whether a published research result can be replicated or not. Building an interpretable neural text classifier for RRP promotes the understanding of why a research paper is predicted as replicable or non-replicable and therefore makes its real-world application more reliable and trustworthy. However, the prior works on model interpretation mainly focused on improving the model interpretability at the word/phrase level, which are insufficient especially for long research papers in RRP. Furthermore, the existing methods cannot utilize a large size of unlabeled dataset to further improve the model interpretability. To address these limitations, we aim to build an interpretable neural model which can provide sentence-level explanations and apply weakly supervised approach to further leverage the large corpus of unlabeled datasets to boost the interpretability in addition to improving prediction performance as existing works have done. In this work, we propose the Variational Contextual Consistency Sentence Masking (VCCSM) method to automatically extract key sentences based on the context in the classifier, using both labeled and unlabeled datasets. Results of our experiments on RRP along with European Convention of Human Rights (ECHR) datasets demonstrate that VCCSM is able to improve the model interpretability for the long document classification tasks using the area over the perturbation curve and post-hoc accuracy as evaluation metrics.
• Abstract（参考訳）: 研究レプリケーション予測(Research Replication Prediction、RRP)は、公表された研究結果が複製可能かどうかを予測するタスクである。 rrpのための解釈可能なニューラルテキスト分類器の構築は、研究論文が複製性または非複製性として予測される理由の理解を促進する。 しかし、モデル解釈に関する先行研究は、特にrppの長期研究論文では不十分な単語/フレーズレベルでのモデル解釈性の向上に重点が置かれている。 さらに,既存の手法では,ラベルなしデータセットの大規模な利用は不可能である。 これらの制約に対処するために、文レベルの説明を提供し、ラベルのないデータセットの大規模なコーパスをさらに活用して解釈可能性を高めるために弱い教師付きアプローチを適用する、解釈可能なニューラルモデルを構築し、既存の作業と同じように予測性能を向上させることを目指している。 本研究では、ラベル付きデータセットとラベルなしデータセットの両方を用いて、分類器の文脈に基づいてキー文を自動的に抽出する変分文脈一貫性マスキング(VCCSM)手法を提案する。 欧州人権条約(ECHR)データセットを併用したRCP実験の結果,VCCSMは摂動曲線上の領域とポストホック精度を評価指標として,長期文書分類タスクのモデル解釈性を向上させることができることが示された。

関連論文リスト

• Causal Rule Forest: Toward Interpretable and Precise Treatment Effect Estimation [0.0]
  因果ルールフォレスト(Causal Rule Forest, CRF)は、データから隠れパターンを学び、パターンを解釈可能な多レベルブールルールに変換する新しいアプローチである。 CRFで学習したデータ表現を用いた他の解釈可能な因果推論モデルをトレーニングすることにより、不均一処理効果(HTE)と条件平均処理効果(CATE)の推定におけるこれらのモデルの予測誤差を低減することができる。 我々の実験は、パーソナライズされた介入や政策を前進させるCRFの可能性を示している。
  論文  参考訳（メタデータ） (2024-08-27T13:32:31Z)
• Ranking and Combining Latent Structured Predictive Scores without Labeled Data [2.5064967708371553]
  本稿では,新しい教師なしアンサンブル学習モデル(SUEL)を提案する。 連続的な予測スコアを持つ予測器のセット間の依存関係を利用して、ラベル付きデータなしで予測器をランク付けし、それらをアンサンブルされたスコアに重み付けする。 提案手法の有効性は、シミュレーション研究とリスク遺伝子発見の現実的応用の両方を通じて厳密に評価されている。
  論文  参考訳（メタデータ） (2024-08-14T20:14:42Z)
• Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
  本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。 提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-04T12:43:23Z)
• RDR: the Recap, Deliberate, and Respond Method for Enhanced Language Understanding [6.738409533239947]
  Recap、Deliberate、Respond(RDR)パラダイムは、ニューラルネットワークパイプラインに3つの異なる目的を組み込むことで、この問題に対処する。 これら3つのモデルをカスケードすることにより、ベンチマークをゲームする可能性を軽減し、基盤となるセマンティックパターンをキャプチャする堅牢な方法を確立する。 その結果,標準基準値の最大2%向上とともに,競争基準値と比較して性能が向上した。
  論文  参考訳（メタデータ） (2023-12-15T16:41:48Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• An Investigation of Language Model Interpretability via Sentence Editing [5.492504126672887]
  我々は、事前学習言語モデル(PLM)の解釈可能性をテストするテストベッドとして、文編集データセットを再使用した。 これにより、PLMの解釈可能性に関する一連の質問に対して、系統的な調査を行うことができる。 この調査は、例えば、一般的な理解とは対照的に、注意重みが人間の合理性とよく相関しているという新たな洞察を生み出す。
  論文  参考訳（メタデータ） (2020-11-28T00:46:43Z)
• Open-set Short Utterance Forensic Speaker Verification using Teacher-Student Network with Explicit Inductive Bias [59.788358876316295]
  そこで本研究では,小規模の法定フィールドデータセット上での話者検証を改善するためのパイプラインソリューションを提案する。 大規模領域外データセットを活用することで,教師学習のための知識蒸留に基づく目的関数を提案する。 提案する目的関数は,短時間の発話における教師学生の学習性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2020-09-21T00:58:40Z)
• ReClor: A Reading Comprehension Dataset Requiring Logical Reasoning [85.33459673197149]
  標準化された大学院受験試験から抽出した論理的推論(ReClor)を必要とする新たな読解データセットを提案する。 本稿では、偏りのあるデータポイントを識別し、それらをEASY集合と残りをHARD集合に分離することを提案する。 実験結果によると、最先端のモデルでは、データセットに含まれるバイアスをEASYセット上で高精度にキャプチャする能力に優れていた。 しかし、彼らはランダムな推測に近い性能のHARDセットに苦慮しており、現在のモデルの論理的推論能力を本質的に向上させるためには、より多くの研究が必要であることを示している。
  論文  参考訳（メタデータ） (2020-02-11T11:54:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。