論文の概要: Can Deception Detection Go Deeper? Dataset, Evaluation, and Benchmark
for Deception Reasoning
- arxiv url: http://arxiv.org/abs/2402.11432v1
- Date: Sun, 18 Feb 2024 02:52:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 21:25:45.819065
- Title: Can Deception Detection Go Deeper? Dataset, Evaluation, and Benchmark
for Deception Reasoning
- Title(参考訳): 偽造検出はより深くできるか?
認識推論のためのデータセット, 評価, ベンチマーク
- Authors: Kang Chen, Zheng Lian, Haiyang Sun, Bin Liu, Jianhua Tao
- Abstract要約: GPT-4を用いて被疑者と警察官のロールプレイをシミュレートする。
尋問中、容疑者は犯罪の責任を逃れるために警察官に嘘をつき、警察官は真実を知り、証拠を収集する。
このデータセットは、現在の大規模言語モデルの複雑な推論能力を評価するためにも使用できる。
- 参考スコア(独自算出の注目度): 41.991583196611536
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deception detection has attracted increasing attention due to its importance
in many practical scenarios. Currently, data scarcity harms the development of
this field. On the one hand, it is costly to hire participants to simulate
deception scenarios. On the other hand, it is difficult to collect videos
containing deceptive behaviors on the Internet. To address data scarcity, this
paper proposes a new data collection pipeline. Specifically, we use GPT-4 to
simulate a role-play between a suspect and a police officer. During
interrogation, the suspect lies to the police officer to evade responsibility
for the crime, while the police officer uncovers the truth and gathers
evidence. Compared with previous datasets, this strategy reduces data
collection costs, providing a promising way to increase the dataset size.
Meanwhile, we extend the traditional deception detection task to deception
reasoning, further providing evidence for deceptive parts. This dataset can
also be used to evaluate the complex reasoning capability of current large
language models and serve as a reasoning benchmark for further research.
- Abstract(参考訳): 偽造検出は、多くの実践シナリオにおいてその重要性から注目を集めている。
現在、データ不足はこの分野の発展に悪影響を及ぼす。
一方、虚偽のシナリオをシミュレートするために参加者を雇うのはコストがかかる。
一方,インターネット上での偽装行動を含む動画の収集は困難である。
本稿では,データ不足に対処するため,新しいデータ収集パイプラインを提案する。
具体的には、GPT-4を用いて被疑者と警察官のロールプレイをシミュレートする。
尋問中、容疑者は犯罪の責任を逃れるために警察官に嘘をつき、警察官は真実を知り、証拠を収集する。
以前のデータセットと比較して、この戦略はデータ収集コストを削減し、データセットのサイズを増加させる有望な方法を提供する。
一方,従来の偽装検出タスクを偽装推論に拡張し,さらに偽装部品のエビデンスを提供する。
このデータセットは、現在の大規模言語モデルの複雑な推論能力を評価するためにも使用でき、さらなる研究のための推論ベンチマークとして役立ちます。
関連論文リスト
- Insights from an experiment crowdsourcing data from thousands of US Amazon users: The importance of transparency, money, and data use [6.794366017852433]
本稿は、米国5000人以上のユーザーから5年間にわたる、アクセス不能なAmazon購入履歴をクラウドソーシングする革新的なアプローチを共有する。
我々は参加者の同意を優先し、実験的な研究デザインを含むデータ収集ツールを開発した。
実験結果(N=6325)は、金銭的インセンティブと透明性の両方がデータ共有を大幅に増加させることを示している。
論文 参考訳(メタデータ) (2024-04-19T20:45:19Z) - Fact Checking Beyond Training Set [64.88575826304024]
本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。
本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。
次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
論文 参考訳(メタデータ) (2024-03-27T15:15:14Z) - The Data Provenance Initiative: A Large Scale Audit of Dataset Licensing
& Attribution in AI [41.32981860191232]
法的および機械学習の専門家は、1800以上のテキストデータセットを体系的に監査し、追跡する。
私たちのランドスケープ分析は、コンポジションの急激な分断と、商業的にオープンなデータセットとクローズドなデータセットの焦点を浮き彫りにしています。
広く使用されているデータセットホスティングサイトでは、ライセンスが70%以上、エラー率が50%以上である。
論文 参考訳(メタデータ) (2023-10-25T17:20:26Z) - Toward the Automated Construction of Probabilistic Knowledge Graphs for
the Maritime Domain [60.76554773885988]
国際海事犯罪はますます高度化しており、より広い犯罪ネットワークと結びついていることが多い。
これは、ハードデータと他のタイプのデータを組み合わせることを目的とした研究と開発に繋がった。
本稿では,確率的知識グラフの自動構築のためのプロトタイプであるMaritime DeepDiveを提案する。
論文 参考訳(メタデータ) (2023-05-04T00:24:30Z) - Membership Inference Attacks against Synthetic Data through Overfitting
Detection [84.02632160692995]
我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。
生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
論文 参考訳(メタデータ) (2023-02-24T11:27:39Z) - DeepTaster: Adversarial Perturbation-Based Fingerprinting to Identify
Proprietary Dataset Use in Deep Neural Networks [34.11970637801044]
我々は、被害者のデータを不正に使用して容疑者モデルを構築するシナリオに対処する、新しいフィンガープリント技術であるDeepTasterを紹介した。
これを実現するために、DeepTasterは摂動を伴う逆画像を生成し、それらをフーリエ周波数領域に変換し、これらの変換された画像を使用して被疑者モデルで使用されるデータセットを識別する。
論文 参考訳(メタデータ) (2022-11-24T11:10:54Z) - Black-box Dataset Ownership Verification via Backdoor Watermarking [67.69308278379957]
我々は、リリースデータセットの保護を、(目立たしい)サードパーティモデルのトレーニングに採用されているかどうかの検証として定式化する。
バックドアの透かしを通じて外部パターンを埋め込んでオーナシップの検証を行い,保護することを提案する。
具体的には、有毒なバックドア攻撃(例えばBadNets)をデータセットのウォーターマーキングに利用し、データセット検証のための仮説テストガイダンスメソッドを設計する。
論文 参考訳(メタデータ) (2022-08-04T05:32:20Z) - Provably Efficient Causal Reinforcement Learning with Confounded
Observational Data [135.64775986546505]
オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。
提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-22T14:49:33Z) - Privacy in Deep Learning: A Survey [16.278779275923448]
多くの分野でのディープラーニングの継続的な進歩は、プロダクションシステムにDeep Neural Networks(DNN)の採用につながっている。
大規模なデータセットと高い計算能力がこれらの進歩の主な貢献者である。
このデータはさまざまな脆弱性によって誤用または漏洩される可能性があるため、プライバシー上の深刻な懸念が生じる。
論文 参考訳(メタデータ) (2020-04-25T23:47:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。