論文の概要: Detecting LLM-Assisted Writing in Scientific Communication: Are We There Yet?
- arxiv url: http://arxiv.org/abs/2401.16807v2
- Date: Fri, 5 Jul 2024 14:19:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 00:13:01.987603
- Title: Detecting LLM-Assisted Writing in Scientific Communication: Are We There Yet?
- Title（参考訳）: 科学コミュニケーションにおけるLCM支援書字の検出:まだ存在するか?
- Authors: Teddy Lazebnik, Ariel Rosenfeld,
- Abstract要約: 大規模言語モデル(LLM)は、特に筆記支援の領域において、テキスト生成を著しく変えた。
LLM支援文字の正確な認識を促進するための潜在的な手段は、自動検出器の使用である。
近縁なLCM生成テキスト検出器を4つ評価した結果, 簡易なアドホック検出器と比較して, その最適性能が示された。
- 参考スコア（独自算出の注目度）: 2.894383634912343
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs), exemplified by ChatGPT, have significantly reshaped text generation, particularly in the realm of writing assistance. While ethical considerations underscore the importance of transparently acknowledging LLM use, especially in scientific communication, genuine acknowledgment remains infrequent. A potential avenue to encourage accurate acknowledging of LLM-assisted writing involves employing automated detectors. Our evaluation of four cutting-edge LLM-generated text detectors reveals their suboptimal performance compared to a simple ad-hoc detector designed to identify abrupt writing style changes around the time of LLM proliferation. We contend that the development of specialized detectors exclusively dedicated to LLM-assisted writing detection is necessary. Such detectors could play a crucial role in fostering more authentic recognition of LLM involvement in scientific communication, addressing the current challenges in acknowledgment practices.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、ChatGPTが例示しているように、特に筆記支援の領域において、テキスト生成を著しく再形成している。
倫理的考察は、特に科学的コミュニケーションにおいて、透過的にLLMの使用を認めることの重要性を浮き彫りにしているが、真の承認はまれである。
LLM支援文字の正確な認識を促進するための潜在的な手段は、自動検出器の使用である。
LLMの拡散前後の急激な書き込みスタイル変化を識別するために設計された単純なアドホック検出器と比較して,4つの最先端LCM生成テキスト検出器の評価結果が最適であることがわかった。
LLM支援文字検出専用の特殊検出器の開発が必要であると我々は主張する。
このような検出器は、科学コミュニケーションにおけるLSMのより正確な認識を促進する上で重要な役割を担い、認知の実践における現在の課題に対処する。
関連論文リスト
- "I know myself better, but not really greatly": Using LLMs to Detect and Explain LLM-Generated Texts [10.454446545249096]
大規模言語モデル(LLM)は、人間のようなテキストを生成する際、印象的な能力を示した。
本稿では,LLMによる人為的テキストの検出と説明機能について検討する。
論文 参考訳（メタデータ） (2025-02-18T11:00:28Z) - Real-time Verification and Refinement of Language Model Text Generation [60.04718679054704]
大規模言語モデル(LLM)は、幅広い自然言語タスクにおいて顕著な性能を示している。
重要な課題は、時に事実的に誤った答えを生じさせることである。
本稿では,LLM出力の検証と改善の効率化を目的とした新しい手法であるStreaming-VRを提案する。
論文 参考訳（メタデータ） (2025-01-14T03:59:48Z) - Understanding the Effects of Human-written Paraphrases in LLM-generated Text Detection [7.242609314791262]
Human & LLM Paraphrase Collection (HLPC)は、人間の文章とパラフレーズを組み込んだ第一種データセットである。
我々は,人書きパラフレーズ,GPTとOPTのLLM生成文書,DIPPERとBARTのLLM生成パラフレーズを組み込んだ分類実験を行った。
以上の結果から,人文パラフレーズの含浸がLLM検出性能に大きな影響を与え,TPR@1%FPRが促進され,AUROCのトレードオフや精度が向上する可能性が示唆された。
論文 参考訳（メタデータ） (2024-11-06T10:06:21Z) - Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。
現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。
バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2024-10-18T08:14:10Z) - Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。
我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。
我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
論文 参考訳（メタデータ） (2024-09-24T22:31:39Z) - Revise, Reason, and Recognize: LLM-Based Emotion Recognition via Emotion-Specific Prompts and ASR Error Correction [31.677026213735363]
本研究では、音響学、言語学、心理学から感情固有の知識を取り入れた新しいプロンプトを提案する。
LLMトレーニングスキームの有用性を検討するために,文脈認識学習,文脈内学習,指導訓練の実験を行った。
本研究の目的は、感情認識および関連ドメインにおけるLLMの使用を改善することである。
論文 参考訳（メタデータ） (2024-09-23T21:07:06Z) - ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
大型言語モデル (LLM) は人間の好むテキストを生成する。
本稿では,これらのモデルで共有される共通特性について述べる。
報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
論文 参考訳（メタデータ） (2024-05-27T17:38:33Z) - Fact-and-Reflection (FaR) Improves Confidence Calibration of Large Language Models [84.94220787791389]
ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。
実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。
FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
論文 参考訳（メタデータ） (2024-02-27T01:37:23Z) - A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions [39.36381851190369]
LLM生成テキストを検出できる検出器を開発する必要がある。
このことは、LLMが生成するコンテンツの有害な影響から、LLMの潜在的な誤用や、芸術的表現やソーシャルネットワークのような保護領域の軽減に不可欠である。
この検出器技術は、ウォーターマーキング技術、統計ベースの検出器、神経ベース検出器、そして人間の支援手法の革新によって、最近顕著な進歩をみせている。
論文 参考訳（メタデータ） (2023-10-23T09:01:13Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳（メタデータ） (2023-05-31T10:08:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。