論文の概要: LLM Detection as an Intervention: Downstream Impact under Strategic User Behavior
- arxiv url: http://arxiv.org/abs/2607.19300v1
- Date: Tue, 21 Jul 2026 17:11:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.498107
- Title: LLM Detection as an Intervention: Downstream Impact under Strategic User Behavior
- Title(参考訳): 干渉によるLCM検出:戦略的ユーザ行動下における下流衝撃
- Abstract要約: インタクタは、検出された属性自身だけでなく、LLM使用率や出力品質などの下流メトリクスを操縦する介入として動作する。
我々は,LLMの使用量を戦略的に選択し,コンテンツ後処理によって検出された属性を減らし,その特性を定量的に把握するスタイリングモデルを開発した。
検出された属性を低減しても出力品質は向上するが,LDM検出器を導入することで,ユーザは低品質の出力が得られる。
- 参考スコア(独自算出の注目度): 53.63441578662801
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As LLM adoption becomes more widespread, there is a growing interest in detecting LLM-generated content, for example through LLM detection tools and through heuristics based on language patterns. Detectors operate as an intervention that steers not only the detected attribute itself, but also downstream metrics such as LLM usage and output quality. In this work, we demonstrate how imperfect LLM detectors lead to counterintuitive impacts on these downstream metrics, by distorting how users are incentivized to use LLMs in their workflow. We develop a stylized model which captures how users strategically choose how much to use the LLM and how to post-process content to reduce the detected attribute. Using this model, we show that LLM detection can counterintuitively lead humans to increase their LLM usage. Moreover, even when reducing the detected attribute improves output quality, we find that introducing an LLM detector can lead users to produce lower quality outputs. In contrast, we show that detectors result in a clean "rise-then-fall" pattern for the detected attribute, which we empirically reproduce for word frequencies on arXiv abstracts. Altogether, our work illustrates how LLM detection can distort LLM usage and output quality, uncovering failure modes when LLM detectors operate as an intervention on these downstream metrics.
- Abstract(参考訳): LLMの採用が広まるにつれて、LLM検出ツールや言語パターンに基づくヒューリスティックスなど、LLM生成コンテンツの検出への関心が高まっている。
インタクタは、検出された属性自身だけでなく、LLM使用率や出力品質などの下流メトリクスを操縦する介入として動作する。
本研究では,不完全なLCM検出器がこれらの下流の指標に反直感的な影響をもたらすことを示す。
我々は,LLMの使用量を戦略的に選択し,コンテンツ後処理によって検出された属性を減らし,その特性を定量的に把握するスタイリングモデルを開発した。
このモデルを用いて、LLM検出は、人間にLLMの使用量の増加を促すことができることを示す。
さらに,検出した属性を低減しても出力品質は向上するが,LDM検出器の導入により,低品質の出力が得られることがわかった。
対照的に,検出した属性に対してクリーンな「ライズ・ザ・フォール」パターンが生じることを示し,arXiv抽象語で単語の周波数を実証的に再現する。
さらに,本研究は,LLM検出がLLMの使用と出力品質を歪曲し,これらのダウンストリームメトリクスの介入としてLLM検出が動作した場合の障害モードを明らかにすることを目的としている。
関連論文リスト
- CARE: Turning LLMs Into Causal Reasoning Expert [14.390784501489733]
大規模言語モデル(LLM)には因果関係を識別する能力がないことを示す。
LLMの因果推論能力を高めるフレームワークであるCAREを提案する。
論文 参考訳(メタデータ) (2025-11-20T03:34:16Z) - Exploring LLM-based Frameworks for Fault Diagnosis [2.2562573557834686]
大規模言語モデル(LLM)に基づくシステムは,センサリッチ産業環境における自律型健康モニタリングの新たな機会を提供する。
本研究では,LLMがセンサデータから直接障害を検出し,分類すると同時に,自然言語の推論を通じて本質的に説明可能なアウトプットを生成する可能性について検討する。
論文 参考訳(メタデータ) (2025-09-27T04:53:15Z) - LLM-based Vulnerability Discovery through the Lens of Code Metrics [6.339440992743381]
大規模言語モデル(LLM)は、ソフトウェア工学の多くのタスクに優れています。
脆弱性発見に活用する進歩は 近年 停滞しています。
論文 参考訳(メタデータ) (2025-09-23T15:03:05Z) - "I know myself better, but not really greatly": How Well Can LLMs Detect and Explain LLM-Generated Texts? [10.454446545249096]
本稿では,2進(人間対LLM生成)と3進分類(未決定クラスを含む)の2つの設定において,現在のLLMの検出と説明能力について検討する。
異なる大きさの6つのオープンソースLCMを評価し、自己検出(LLM)が相互検出(他のLCMからの出力の同定)を一貫して上回っていることを発見した。
本研究は, 自己検出・自己説明における現在のLCMの限界を浮き彫りにして, 過度に適合し, 一般化性を高めるためのさらなる研究の必要性を浮き彫りにした。
論文 参考訳(メタデータ) (2025-02-18T11:00:28Z) - ToolScan: A Benchmark for Characterizing Errors in Tool-Use LLMs [77.79172008184415]
TOOLSCANは、ツール使用タスクのLLM出力におけるエラーパターンを特定するための新しいベンチマークである。
もっとも顕著なLCMでも,これらの誤りパターンが出力に現れることを示す。
研究者たちは、TOOLSCANのこれらの洞察を使って、エラー軽減戦略をガイドすることができる。
論文 参考訳(メタデータ) (2024-11-20T18:56:22Z) - Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。
私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。
実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
論文 参考訳(メタデータ) (2024-11-01T20:44:59Z) - Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。
現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。
バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2024-10-18T08:14:10Z) - Anomaly Detection of Tabular Data Using LLMs [54.470648484612866]
我々は,事前訓練された大規模言語モデル (LLM) がゼロショットバッチレベルの異常検出器であることを示す。
本稿では,実異常検出におけるLCMの潜在性を明らかにするために,エンドツーエンドの微調整手法を提案する。
論文 参考訳(メタデータ) (2024-06-24T04:17:03Z) - Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳(メタデータ) (2024-06-02T16:53:21Z) - ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。
本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。
我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。