Fugu-MT 論文翻訳(概要): HULLMI: Human vs LLM identification with explainability

論文の概要: HULLMI: Human vs LLM identification with explainability

arxiv url: http://arxiv.org/abs/2409.04808v1
Date: Sat, 7 Sep 2024 12:27:25 GMT
ステータス: 処理完了
システム内更新日: 2024-09-10 20:41:31.833863
Title: HULLMI: Human vs LLM identification with explainability
Title（参考訳）: HULLMI:人間とLLMの識別と説明可能性
Authors: Prathamesh Dinesh Joshi, Sahil Pocker, Raj Abhijit Dandekar, Rajat Dandekar, Sreedath Panat,
Abstract要約: 従来のMLモデルは、人間とAIのテキスト検出において、現代のNLP検出と同様に機能することを示す包括的な分析を提供する。説明可能なAI技術であるLIMEを用いて、各モデルの予測に最も寄与する入力の一部を明らかにする。
参考スコア（独自算出の注目度）: 1.393499936476792
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As LLMs become increasingly proficient at producing human-like responses, there has been a rise of academic and industrial pursuits dedicated to flagging a given piece of text as "human" or "AI". Most of these pursuits involve modern NLP detectors like T5-Sentinel and RoBERTa-Sentinel, without paying too much attention to issues of interpretability and explainability of these models. In our study, we provide a comprehensive analysis that shows that traditional ML models (Naive-Bayes,MLP, Random Forests, XGBoost) perform as well as modern NLP detectors, in human vs AI text detection. We achieve this by implementing a robust testing procedure on diverse datasets, including curated corpora and real-world samples. Subsequently, by employing the explainable AI technique LIME, we uncover parts of the input that contribute most to the prediction of each model, providing insights into the detection process. Our study contributes to the growing need for developing production-level LLM detection tools, which can leverage a wide range of traditional as well as modern NLP detectors we propose. Finally, the LIME techniques we demonstrate also have the potential to equip these detection tools with interpretability analysis features, making them more reliable and trustworthy in various domains like education, healthcare, and media.
Abstract（参考訳）: LLMが人間的な反応を生み出すのに習熟するにつれて、あるテキストを「人間」または「AI」とフラグ付けすることに特化した学術的・産業的な追求が盛んに行われている。これらの追尾のほとんどは、T5-SentinelやRoBERTa-Sentinelのような現代のNLP検出器を含んでおり、これらのモデルの解釈可能性や説明可能性の問題にあまり注意を払わない。本研究では,従来のMLモデル(Naive-Bayes,MLP,Random Forests,XGBoost)が,人間とAIのテキスト検出において,現代のNLP検出と同様に機能することを示す包括的分析を行った。我々は、キュレートされたコーパスや実世界のサンプルを含む多様なデータセットに対して、堅牢なテスト手順を実装することで、これを実現する。その後、説明可能なAI技術であるLIMEを用いて、各モデルの予測に最も寄与する入力の一部を発見し、検出プロセスに関する洞察を提供する。本研究は, 従来型, 近代型NLP検出器の活用が可能な, 生産レベルのLCM検出ツールの開発の必要性の高まりに寄与する。最後に、我々が実証したLIME技術は、これらの検出ツールに解釈可能性分析機能を持たせる可能性があり、教育、医療、メディアといった様々な分野において信頼性と信頼性を高めることができる。

関連論文リスト

From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
論文参考訳（メタデータ） (2024-09-19T02:51:54Z)
Towards Next-Generation Steganalysis: LLMs Unleash the Power of Detecting Steganography [18.7168443402118]
言語ステガノグラフィーは、特にAI生成技術の出現と共に、メッセージを隠蔽するための便利な実装を提供する。既存の手法は、記号統計学の側面から、ステガノグラフテキストと正規テキストの分布差を見つけることに限定されている。本稿では,大規模言語モデル(LLM)のヒューマンライクなテキスト処理機能を用いて,人間の知覚との違いを実現することを提案する。
論文参考訳（メタデータ） (2024-05-15T04:52:09Z)
A Survey on Detection of LLMs-Generated Content [97.87912800179531]
LLMの生成する内容を検出する能力が最重要視されている。既存の検出戦略とベンチマークの詳細な概要を提供する。また、様々な攻撃から守るための多面的アプローチの必要性を示唆する。
論文参考訳（メタデータ） (2023-10-24T09:10:26Z)
A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions [39.36381851190369]
LLM生成テキストを検出できる検出器を開発する必要がある。このことは、LLMが生成するコンテンツの有害な影響から、LLMの潜在的な誤用や、芸術的表現やソーシャルネットワークのような保護領域の軽減に不可欠である。この検出器技術は、ウォーターマーキング技術、統計ベースの検出器、神経ベース検出器、そして人間の支援手法の革新によって、最近顕著な進歩をみせている。
論文参考訳（メタデータ） (2023-10-23T09:01:13Z)
Large Language Model Alignment: A Survey [42.03229317132863]
大きな言語モデル(LLM)の潜在能力は疑いようもなく大きいが、不正確、誤解を招く、あるいは有害なテキストを生成できる。この調査は、LLM向けに設計されたアライメント方法論を広範囲に探究する試みである。また、モデルの解釈可能性や、敵の攻撃に対する潜在的な脆弱性など、健全な問題を調査します。
論文参考訳（メタデータ） (2023-09-26T15:49:23Z)
Neural Authorship Attribution: Stylometric Analysis on Large Language Models [16.63955074133222]
GPT-4、PaLM、Llamaのような大規模言語モデル(LLM)は、AIによるテキスト生成を著しく推進している。誤用の可能性に対する懸念が高まっているため、AI生成テキストの鑑識の必要性が高まっている。
論文参考訳（メタデータ） (2023-08-14T17:46:52Z)
Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。本調査では,これらのアライメント技術の概要について概観する。
論文参考訳（メタデータ） (2023-07-24T17:44:58Z)
LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
論文参考訳（メタデータ） (2023-06-11T14:01:17Z)
LLMDet: A Third Party Large Language Models Generated Text Detection Tool [119.0952092533317]
大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
論文参考訳（メタデータ） (2023-05-24T10:45:16Z)
On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文参考訳（メタデータ） (2023-04-10T17:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。