論文の概要: Detecting LLM-Assisted Writing in Scientific Communication: Are We There
Yet?
- arxiv url: http://arxiv.org/abs/2401.16807v1
- Date: Tue, 30 Jan 2024 08:07:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 15:41:11.851746
- Title: Detecting LLM-Assisted Writing in Scientific Communication: Are We There
Yet?
- Title(参考訳): 科学コミュニケーションにおけるllm支援文の検出:まだあるか?
- Authors: Teddy Lazebnik, Ariel Rosenfeld
- Abstract要約: 大規模言語モデル(LLM)は、特に筆記支援の領域において、テキスト生成を著しく変えた。
LLM支援文字の正確な認識を促進するための潜在的な手段は、自動検出器の使用である。
近縁なLCM生成テキスト検出器を4つ評価した結果, 簡易なアドホック検出器と比較して, その最適性能が示された。
- 参考スコア(独自算出の注目度): 3.419330841031544
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs), exemplified by ChatGPT, have significantly
reshaped text generation, particularly in the realm of writing assistance.
While ethical considerations underscore the importance of transparently
acknowledging LLM use, especially in scientific communication, genuine
acknowledgment remains infrequent. A potential avenue to encourage accurate
acknowledging of LLM-assisted writing involves employing automated detectors.
Our evaluation of four cutting-edge LLM-generated text detectors reveals their
suboptimal performance compared to a simple ad-hoc detector designed to
identify abrupt writing style changes around the time of LLM proliferation. We
contend that the development of specialized detectors exclusively dedicated to
LLM-assisted writing detection is necessary. Such detectors could play a
crucial role in fostering more authentic recognition of LLM involvement in
scientific communication, addressing the current challenges in acknowledgment
practices.
- Abstract(参考訳): chatgptで例示される大言語モデル(llm)は、特に執筆支援の分野で、テキスト生成を大きく変えている。
倫理的考察は、特に科学的コミュニケーションにおいて、透過的にLLMの使用を認めることの重要性を浮き彫りにしているが、真の承認はまれである。
LLM支援文字の正確な認識を促進するための潜在的な手段は、自動検出器の使用である。
LLMの拡散前後の急激な書き込みスタイル変化を識別するために設計された単純なアドホック検出器と比較して,4つの最先端LCM生成テキスト検出器の評価を行った。
LLM支援文字検出専用の特殊検出器の開発が必要であると我々は主張する。
このような検出器は、科学コミュニケーションにおけるLSMのより正確な認識を促進する上で重要な役割を担い、認知の実践における現在の課題に対処する。
関連論文リスト
- Fact-and-Reflection (FaR) Improves Confidence Calibration of Large
Language Models [89.20169610517381]
ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。
実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。
FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
論文 参考訳(メタデータ) (2024-02-27T01:37:23Z) - LLM-Detector: Improving AI-Generated Chinese Text Detection with
Open-Source LLM Instruction Tuning [4.328134379418151]
既存のAI生成テキスト検出モデルでは、ドメイン内のオーバーフィットが難しくなる。
LLM-Detectorは文書レベルと文レベルのテキスト検出のための新しい手法である。
論文 参考訳(メタデータ) (2024-02-02T05:54:12Z) - WatME: Towards Lossless Watermarking Through Lexical Redundancy [61.55924872561569]
相互排他型透かし(WatME)という新しいアプローチを導入する。
WatMEは、言語モデルの復号過程において利用可能な語彙の使用を動的に最適化する。
本稿では,WatMEが大規模言語モデルのテキスト生成能力を大幅に維持していることを示す理論的解析と実証的証拠を示す。
論文 参考訳(メタデータ) (2023-11-16T11:58:31Z) - A Survey on Detection of LLMs-Generated Content [97.87912800179531]
LLMの生成する内容を検出する能力が最重要視されている。
既存の検出戦略とベンチマークの詳細な概要を提供する。
また、様々な攻撃から守るための多面的アプローチの必要性を示唆する。
論文 参考訳(メタデータ) (2023-10-24T09:10:26Z) - A Survey on LLM-generated Text Detection: Necessity, Methods, and Future
Directions [41.71052488278973]
LLM生成テキストを検出できる検出器を開発する必要がある。
このことは、LLMが生成するコンテンツの有害な影響から、LLMの潜在的な誤用や、芸術的表現やソーシャルネットワークのような保護領域の軽減に不可欠である。
検出器技術は最近、透かし技術、ゼロショット法、微動LMs法、対向学習法、LSMを検出器として使う方法、そして人力支援法などの革新によって、顕著な進歩をみせている。
論文 参考訳(メタデータ) (2023-10-23T09:01:13Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z) - Detecting LLM-Generated Text in Computing Education: A Comparative Study
for ChatGPT Cases [0.0]
大規模言語モデル(LLM)は、教育における学術的完全性に深刻な脅威をもたらしている。
現代の検出器は、学術的完全性を維持するための完全なソリューションを提供するために、まだ改善を必要としている。
論文 参考訳(メタデータ) (2023-07-10T12:18:34Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳(メタデータ) (2023-05-31T10:08:37Z) - The Science of Detecting LLM-Generated Texts [47.49470179549773]
大型言語モデル(LLMs)の出現は、人間によって書かれたテキストとほとんど区別できないテキストの作成につながった。
このことが、誤報の拡散や教育制度の混乱など、このようなテキストの誤用の可能性への懸念を引き起こしている。
本研究の目的は,既存のLLM生成テキスト検出技術の概要を提供し,言語生成モデルの制御と制御を強化することである。
論文 参考訳(メタデータ) (2023-02-04T04:49:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。