論文の概要: SmurfCat at SemEval-2024 Task 6: Leveraging Synthetic Data for Hallucination Detection
- arxiv url: http://arxiv.org/abs/2404.06137v1
- Date: Tue, 9 Apr 2024 09:03:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 15:19:37.105033
- Title: SmurfCat at SemEval-2024 Task 6: Leveraging Synthetic Data for Hallucination Detection
- Title（参考訳）: SmurfCat at SemEval-2024 Task 6: Leveraging Synthetic Data for Hallucination Detection
- Authors: Elisei Rykov, Yana Shishkina, Kseniia Petrushina, Kseniia Titova, Sergey Petrakov, Alexander Panchenko,
- Abstract要約: 本稿では,SemEval-2024幻覚検出タスクのための新しいシステムを提案する。
我々の調査は、モデル予測と基準基準を比較するための様々な戦略にまたがっている。
強力なパフォーマンス指標を示す3つの異なる方法を紹介します。
- 参考スコア（独自算出の注目度）: 51.99159169107426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present our novel systems developed for the SemEval-2024 hallucination detection task. Our investigation spans a range of strategies to compare model predictions with reference standards, encompassing diverse baselines, the refinement of pre-trained encoders through supervised learning, and an ensemble approaches utilizing several high-performing models. Through these explorations, we introduce three distinct methods that exhibit strong performance metrics. To amplify our training data, we generate additional training samples from unlabelled training subset. Furthermore, we provide a detailed comparative analysis of our approaches. Notably, our premier method achieved a commendable 9th place in the competition's model-agnostic track and 17th place in model-aware track, highlighting its effectiveness and potential.
- Abstract（参考訳）: 本稿では,SemEval-2024幻覚検出タスクのための新しいシステムを提案する。
本研究は,モデル予測を基準基準と比較し,多様なベースライン,教師付き学習による事前学習エンコーダの改良,高パフォーマンスモデルを用いたアンサンブルアプローチなど,幅広い手法を対象としている。
これらの調査を通じて、強力なパフォーマンス指標を示す3つの異なる手法を紹介した。
トレーニングデータを増幅するために、未学習のトレーニングサブセットから追加のトレーニングサンプルを生成します。
さらに,本手法の詳細な比較分析を行う。
特に,本手法は,競技者のモデル非依存トラックで9位,モデル認識トラックで17位を達成し,その有効性と可能性を強調した。
関連論文リスト
- Skywork-MoE: A Deep Dive into Training Techniques for Mixture-of-Experts Language Models [57.582219834039506]
提案手法は,146億のパラメータと16名のエキスパートを伴い,高性能な多言語モデル(LLM)であるSkywork-MoEの開発において実現された訓練手法を紹介する。
これは、Skywork-13Bモデルの既存の密度の高いチェックポイントに基づいています。
論文 参考訳（メタデータ） (2024-06-03T03:58:41Z) - TrACT: A Training Dynamics Aware Contrastive Learning Framework for Long-tail Trajectory Prediction [7.3292387742640415]
本稿では,よりリッチなトレーニングダイナミックス情報を,原型的コントラスト学習フレームワークに組み込むことを提案する。
我々は,2つの大規模自然主義データセットを用いたアプローチの実証評価を行った。
論文 参考訳（メタデータ） (2024-04-18T23:12:46Z) - Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。
実験結果から,本手法は既存手法よりも一貫した改善が得られた。
我々の手法はデータ効率が良く、競争のベースラインより優れています。
論文 参考訳（メタデータ） (2023-11-27T06:19:50Z) - A Supervised Contrastive Learning Pretrain-Finetune Approach for Time
Series [15.218841180577135]
本稿では,教師付きコントラスト学習を利用して,事前学習データセット内の特徴を識別する新しい事前学習手法を提案する。
次に、事前学習データセットの学習力学とより密に連携することで、目標データの正確な予測を強化するための微調整手順を提案する。
論文 参考訳（メタデータ） (2023-11-21T02:06:52Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - GenCo: An Auxiliary Generator from Contrastive Learning for Enhanced
Few-Shot Learning in Remote Sensing [9.504503675097137]
我々は、バックボーンを事前訓練し、同時に特徴サンプルの変種を探索するジェネレータベースのコントラスト学習フレームワーク(GenCo)を導入する。
微調整では、補助ジェネレータを使用して、特徴空間内の限られたラベル付きデータサンプルを濃縮することができる。
本稿では,2つの重要なリモートセンシングデータセットにおいて,この手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-07-27T03:59:19Z) - Cross-Modal Fine-Tuning: Align then Refine [83.37294254884446]
ORCAはクロスモーダルな微調整フレームワークであり、単一の大規模事前訓練モデルの適用範囲を様々に拡張する。
ORCAは12のモダリティから60以上のデータセットを含む3つのベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2023-02-11T16:32:28Z) - RoBLEURT Submission for the WMT2021 Metrics Task [72.26898579202076]
本稿では,共有メトリクスタスクであるRoBLEURTについて紹介する。
我々のモデルは10対の英語言語対のうち8対でWMT 2020の人間のアノテーションと最先端の相関に達する。
論文 参考訳（メタデータ） (2022-04-28T08:49:40Z) - Contrasting Contrastive Self-Supervised Representation Learning Models [29.1857781719894]
我々は,自己教師付き表現学習の最も成功し,人気のある変種の一つであるコントラスト的アプローチを分析した。
エンコーダ30台,プリトレーニングデータセット4台,ダウンストリームタスク20台を含む,700以上のトレーニング実験を行った。
論文 参考訳（メタデータ） (2021-03-25T17:40:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。