論文の概要: BEVERS: A General, Simple, and Performant Framework for Automatic Fact Verification

• arxiv url: http://arxiv.org/abs/2303.16974v1
• Date: Wed, 29 Mar 2023 19:16:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-31 15:21:14.517398
• Title: BEVERS: A General, Simple, and Performant Framework for Automatic Fact Verification
• Title（参考訳）: BEVERS: 自動ファクト検証のための汎用的でシンプルで高性能なフレームワーク
• Authors: Mitchell DeHaven and Stephen Scott
• Abstract要約: FEVERデータセットのチューニングベースラインシステムであるBEVERSについて述べる。 BEVERSは、発行または未公開の全てのシステムの中で、最も高いFEVERスコアとラベルの精度を達成する。 また、このパイプラインを別の事実検証データセットであるScifactにも適用し、データセット上のすべてのシステムで最高のラベル精度を実現しています。
• 参考スコア（独自算出の注目度）: 0.76146285961466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic fact verification has become an increasingly popular topic in recent years and among datasets the Fact Extraction and VERification (FEVER) dataset is one of the most popular. In this work we present BEVERS, a tuned baseline system for the FEVER dataset. Our pipeline uses standard approaches for document retrieval, sentence selection, and final claim classification, however, we spend considerable effort ensuring optimal performance for each component. The results are that BEVERS achieves the highest FEVER score and label accuracy among all systems, published or unpublished. We also apply this pipeline to another fact verification dataset, Scifact, and achieve the highest label accuracy among all systems on that dataset as well. We also make our full code available.
• Abstract（参考訳）: 近年、自動事実検証が人気を集めており、Fact extract and VER(FEVER)データセットは最も人気のあるトピックの一つである。 本研究では,FEVERデータセットのチューニングベースラインシステムであるBEVERSを紹介する。 パイプラインは文書検索,文選択,最終クレーム分類に標準的手法を用いているが,各コンポーネントに最適な性能を確保するためにかなりの労力を費やしている。 その結果、BEVERSは発行または未公開の全システムの中で、FEVERスコアとラベルの精度が最も高い。 また、このパイプラインを別の事実検証データセットであるScifactに適用し、そのデータセット上のすべてのシステムで最高のラベル精度を達成する。 完全なコードも利用可能にしています。

関連論文リスト

• An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
  研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。 本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。 提案されたフレームワークは使いやすく、柔軟です。
  論文  参考訳（メタデータ） (2024-02-26T07:22:51Z)
• Towards Efficient Active Learning in NLP via Pretrained Representations [1.90365714903665]
  ファインチューニング大型言語モデル(LLM)は、今や幅広いアプリケーションにおけるテキスト分類の一般的なアプローチである。 能動学習ループ内でのLLMの事前学習表現を用いて,このプロセスを大幅に高速化する。 私たちの戦略は、アクティブな学習ループを通した微調整と同じようなパフォーマンスを得るが、計算コストは桁違いに低い。
  論文  参考訳（メタデータ） (2024-02-23T21:28:59Z)
• Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
  本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。 オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。 予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
  論文  参考訳（メタデータ） (2023-11-15T14:41:57Z)
• Imbalanced Multi-label Classification for Business-related Text with Moderately Large Label Spaces [0.30458514384586394]
  我々は、特定の不均衡なビジネスデータセットを用いて、マルチラベルテキスト分類のための4つの異なる方法を評価した。 細調整されたBERTは、他の3つの手法よりもかなり優れており、精度の高い値が得られる。 これらの結果は,マルチラベルテキスト分類作業における細調整BERTの有効性を浮き彫りにし,企業にとって有用なツールである可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-12T11:51:50Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• A Unified Positive-Unlabeled Learning Framework for Document-Level Relation Extraction with Different Levels of Labeling [5.367772036988716]
  文書レベルの関係抽出(RE)は、複数の文にわたるエンティティ間の関係を特定することを目的としている。 我々は、シフトと二乗ランキング損失という、肯定的でない統一的な学習フレームワークを提案する。 提案手法は, 既往のベースラインに対して, 不完全ラベル付きで約14F1点の改善を実現する。
  論文  参考訳（メタデータ） (2022-10-17T02:54:49Z)
• Active Transfer Prototypical Network: An Efficient Labeling Algorithm for Time-Series Data [1.7205106391379026]
  本稿では,プロトタイプネットワーク(ProtoNet)をALイテレーションに組み込むことで,トレードオフ問題に対処する新しいFew-Shot Learning(FSL)ベースのALフレームワークを提案する。 このフレームワークは、UCI HAR/HAPTデータセットと現実世界のブレーキ操作データセットに基づいて検証された。 学習性能は、両方のデータセットにおける従来のALアルゴリズムを大幅に上回り、それぞれ10%と5%のラベル付け作業で90%の分類精度を達成した。
  論文  参考訳（メタデータ） (2022-09-28T16:14:40Z)
• Simple multi-dataset detection [83.9604523643406]
  複数の大規模データセット上で統合検出器を訓練する簡単な方法を提案する。 データセット固有のアウトプットを共通の意味分類に自動的に統合する方法を示す。 私たちのアプローチは手動の分類学の調整を必要としません。
  論文  参考訳（メタデータ） (2021-02-25T18:55:58Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)
• Open Graph Benchmark: Datasets for Machine Learning on Graphs [86.96887552203479]
  スケーラブルで堅牢で再現可能なグラフ機械学習(ML)の研究を容易にするために,Open Graph Benchmark(OGB)を提案する。 OGBデータセットは大規模で、複数の重要なグラフMLタスクを含み、さまざまなドメインをカバーする。 各データセットに対して,有意義なアプリケーション固有のデータ分割と評価指標を用いた統一評価プロトコルを提供する。
  論文  参考訳（メタデータ） (2020-05-02T03:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。