論文の概要: Efficient Detection of LLM-generated Texts with a Bayesian Surrogate
Model
- arxiv url: http://arxiv.org/abs/2305.16617v1
- Date: Fri, 26 May 2023 04:23:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 17:11:41.130294
- Title: Efficient Detection of LLM-generated Texts with a Bayesian Surrogate
Model
- Title(参考訳): ベイジアンサロゲートモデルによるLCM生成テキストの効率的な検出
- Authors: Zhijie Deng, Hongcheng Gao, Yibo Miao, Hao Zhang
- Abstract要約: ベイジアンサロゲートモデルを導入し、ベイジアン不確実性に基づいて典型的なサンプルを選択し、典型的なサンプルから他のサンプルへのスコアを補間する。
実験結果から,提案手法はクエリコストの低い既存手法よりも有意に優れていることが示された。
- 参考スコア(独自算出の注目度): 9.878882790700786
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The detection of machine-generated text, especially from large language
models (LLMs), is crucial in preventing serious social problems resulting from
their misuse. Some methods train dedicated detectors on specific datasets but
fall short in generalizing to unseen test data, while other zero-shot ones
often yield suboptimal performance. Although the recent DetectGPT has shown
promising detection performance, it suffers from significant inefficiency
issues, as detecting a single candidate requires scoring hundreds of its
perturbations with the source LLM. This paper aims to bridge this gap.
Technically, we propose to incorporate a Bayesian surrogate model, which allows
us to select typical samples based on Bayesian uncertainty and interpolate
scores from typical samples to other ones, to improve query efficiency. Our
empirical results demonstrate that our method significantly outperforms
existing approaches under a low query budget. Notably, our method achieves
similar performance with up to 2 times fewer queries than DetectGPT and 3.7%
higher AUROC at a query number of 5.
- Abstract(参考訳): 特に大言語モデル(llm)からの機械生成テキストの検出は、その誤用による深刻な社会問題を防止する上で重要である。
特定のデータセットに専用の検出器を訓練する手法もあるが、見えないテストデータに一般化するには不十分である。
最近の検出gptは有望な検出性能を示しているが、単一の候補を検出するには数百の摂動をソースllmでスコアリングする必要があるため、重大な非効率の問題に苦しんでいる。
本稿は,このギャップを埋めることを目的とする。
技術的にはベイズの不確実性に基づいて典型的なサンプルを選択し、典型的なサンプルから他のサンプルに補間してクエリ効率を向上させるベイズサーロゲートモデルを導入することを提案する。
実験の結果,提案手法はクエリコストの低い既存手法よりも有意に優れていた。
特に,提案手法は,TectGPTの最大2倍,AUROCが3.7%,クエリ数が5。
関連論文リスト
- Self-supervised Feature Adaptation for 3D Industrial Anomaly Detection [59.41026558455904]
具体的には,大規模ビジュアルデータセット上で事前学習されたモデルを利用した初期のマルチモーダルアプローチについて検討する。
本研究では,アダプタを微調整し,異常検出に向けたタスク指向の表現を学習するためのLSFA法を提案する。
論文 参考訳(メタデータ) (2024-01-06T07:30:41Z) - Few-Shot Anomaly Detection with Adversarial Loss for Robust Feature
Representations [8.915958745269442]
異常検出は、データセット内の通常のパターンや分布から逸脱したデータポイントを特定することを目的とした、重要で困難なタスクである。
ワンクラス・ワン・モデル手法を用いて様々な手法が提案されているが、これらの手法はメモリ不足や訓練に十分なデータを必要とするといった現実的な問題に直面していることが多い。
本稿では,より堅牢で一般化された特徴表現を得るために,対向訓練損失を統合する数発の異常検出手法を提案する。
論文 参考訳(メタデータ) (2023-12-04T09:45:02Z) - MeaeQ: Mount Model Extraction Attacks with Efficient Queries [6.1106195466129485]
自然言語処理(NLP)におけるモデル抽出攻撃の研究
これらの問題に対処する単純で効果的な方法であるMeaeQを提案する。
MeaeQは、クエリを少なくしながら、ベースラインよりも犠牲者モデルに高い機能的類似性を実現する。
論文 参考訳(メタデータ) (2023-10-21T16:07:16Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳(メタデータ) (2023-05-23T21:50:06Z) - Hard Nominal Example-aware Template Mutual Matching for Industrial
Anomaly Detection [74.9262846410559]
textbfHard Nominal textbfExample-aware textbfTemplate textbfMutual textbfMatching (HETMM)
textitHETMMは、厳密なプロトタイプベースの決定境界を構築することを目的としており、ハードノミナルな例と異常を正確に区別することができる。
論文 参考訳(メタデータ) (2023-03-28T17:54:56Z) - Unsupervised Model Selection for Time-series Anomaly Detection [7.8027110514393785]
提案手法は, 予測誤差, モデル中心性, および, 注入された合成異常に対する性能の3種類のサロゲート(教師なし)メトリクスを同定する。
我々は、厳密なランク集約問題として、複数の不完全なサロゲート指標との計量結合を定式化する。
複数の実世界のデータセットに対する大規模な実験は、我々の提案した教師なしアプローチが、最も正確なモデルを選択するのと同じくらい効果的であることを示す。
論文 参考訳(メタデータ) (2022-10-03T16:49:30Z) - Pareto Optimization for Active Learning under Out-of-Distribution Data
Scenarios [79.02009938011447]
本研究では,未ラベルデータプールからバッチサイズを固定した未ラベルサンプルの最適なサブセットを選択するサンプリング手法を提案する。
実験の結果,従来の機械学習(ML)タスクとディープラーニング(DL)タスクの両方において,その効果が示された。
論文 参考訳(メタデータ) (2022-07-04T04:11:44Z) - Anomaly Detection with Test Time Augmentation and Consistency Evaluation [13.709281244889691]
本稿では,TTA-AD(Test Time Augmentation Anomaly Detection)と呼ばれる簡易かつ効果的な異常検出アルゴリズムを提案する。
我々は、分散データよりもトレーニングされたネットワーク上でのオリジナルバージョンと拡張バージョンについて、分散データの方が一貫性のある予測を楽しむことを観察した。
様々な高解像度画像ベンチマークデータセットの実験は、TTA-ADが同等またはより良い検出性能を達成することを示した。
論文 参考訳(メタデータ) (2022-06-06T04:27:06Z) - A Systematic Evaluation of Object Detection Networks for Scientific
Plots [17.882932963813985]
PlotQAデータセット上で、様々なSOTAオブジェクト検出ネットワークの精度をトレーニングし比較する。
0.5の標準IOU設定では、ほとんどのネットワークはプロット内の比較的単純な物体を検出する場合、mAPスコアが80%以上である。
しかし、パフォーマンスは0.9のより厳格なIOUで評価されると大幅に低下し、最高のモデルでmAPは35.70%となった。
論文 参考訳(メタデータ) (2020-07-05T05:30:53Z) - Learning a Unified Sample Weighting Network for Object Detection [113.98404690619982]
地域サンプリングや重み付けは、現代の地域ベースの物体検出器の成功に極めて重要である。
サンプル重み付けはデータ依存でタスク依存であるべきだと我々は主張する。
サンプルのタスク重みを予測するための統一的なサンプル重み付けネットワークを提案する。
論文 参考訳(メタデータ) (2020-06-11T16:19:16Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。