Fugu-MT 論文翻訳(概要): Origin Tracing and Detecting of LLMs

論文の概要: Origin Tracing and Detecting of LLMs

arxiv url: http://arxiv.org/abs/2304.14072v1
Date: Thu, 27 Apr 2023 10:05:57 GMT
ステータス: 処理完了
システム内更新日: 2023-04-28 13:46:40.127338
Title: Origin Tracing and Detecting of LLMs
Title（参考訳）: LLMの起源追跡と検出
Authors: Linyang Li, Pengyu Wang, Ke Ren, Tianxiang Sun, Xipeng Qiu
Abstract要約: 本稿では,AI生成コンテキストの追跡と検出に有効な手法を提案する。提案手法は,ホワイトボックス設定とブラックボックス設定の両方で動作する。我々は、与えられたテキストの起源を追跡できるかどうかを調べるために、広範囲な実験を構築した。
参考スコア（独自算出の注目度）: 46.02811367717774
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The extraordinary performance of large language models (LLMs) heightens the importance of detecting whether the context is generated by an AI system. More importantly, while more and more companies and institutions release their LLMs, the origin can be hard to trace. Since LLMs are heading towards the time of AGI, similar to the origin tracing in anthropology, it is of great importance to trace the origin of LLMs. In this paper, we first raise the concern of the origin tracing of LLMs and propose an effective method to trace and detect AI-generated contexts. We introduce a novel algorithm that leverages the contrastive features between LLMs and extracts model-wise features to trace the text origins. Our proposed method works under both white-box and black-box settings therefore can be widely generalized to detect various LLMs.(e.g. can be generalized to detect GPT-3 models without the GPT-3 models). Also, our proposed method requires only limited data compared with the supervised learning methods and can be extended to trace new-coming model origins. We construct extensive experiments to examine whether we can trace the origins of given texts. We provide valuable observations based on the experimental results, such as the difficulty level of AI origin tracing, and the AI origin similarities, and call for ethical concerns of LLM providers. We are releasing all codes and data as a toolkit and benchmark for future AI origin tracing and detecting studies. \footnote{We are releasing all available resource at \url{https://github.com/OpenLMLab/}.}
Abstract（参考訳）: 大規模言語モデル(LLM)の異常なパフォーマンスは、コンテキストがAIシステムによって生成されるかどうかを検出する重要性を高める。さらに重要なのは、多くの企業や機関がLSMをリリースする一方で、その起源を突き止めるのは難しいことだ。 LLMは、人類学の原点追跡と同様、AGIの時代に向かっているため、LLMの起源を辿ることは非常に重要である。本稿では,まず,llmの起源追跡に関する懸念を提起し,ai生成コンテキストの追跡と検出に有効な手法を提案する。本稿では,llm間の対比的特徴を活用し,モデルワイズ特徴を抽出してテキスト起源を追跡する新しいアルゴリズムを提案する。提案手法はホワイトボックスとブラックボックスの両方で動作し,様々なLSMを検出するために広く一般化することができる。 (例えば、GPT-3モデルなしでGPT-3モデルを検出するように一般化することができる)。また,提案手法は教師付き学習法と比較して限られたデータしか必要とせず,新たなモデルの起源を追究できる。我々は、与えられたテキストの起源を追跡できるかどうかを調べるために、広範囲な実験を行う。我々は、AI起源追跡の難易度やAI起源の類似性などの実験結果に基づく貴重な観察を行い、LLMプロバイダの倫理的懸念を求める。将来のAIの原点追跡と検出のためのツールキットとベンチマークとして、すべてのコードとデータをリリースしています。私たちはすべての利用可能なリソースを \url{https://github.com/openlmlab/} でリリースしています。 }

関連論文リスト

Robust Detection of LLM-Generated Text: A Comparative Analysis [0.276240219662896]
大規模言語モデルは生命の多くの側面に広く統合することができ、その出力は全てのネットワークリソースを迅速に満たすことができる。生成したテキストの強力な検出器を開発することがますます重要になっている。この検出器は、これらの技術の潜在的な誤用を防ぎ、ソーシャルメディアなどのエリアを負の効果から保護するために不可欠である。
論文参考訳（メタデータ） (2024-11-09T18:27:15Z)
GigaCheck: Detecting LLM-generated Content [72.27323884094953]
本稿では,GigaCheckを提案することによって生成したテキスト検出の課題について検討する。本研究は,LLM生成テキストとLLM生成テキストを区別する手法と,Human-Machine協調テキストにおけるLLM生成間隔を検出する手法について検討する。具体的には,テキスト内のAI生成間隔をローカライズするために,コンピュータビジョンから適応したDETRのような検出モデルと組み合わせて,微調整の汎用LLMを用いる。
論文参考訳（メタデータ） (2024-10-31T08:30:55Z)
Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文参考訳（メタデータ） (2024-06-02T16:53:21Z)
SPOT: Text Source Prediction from Originality Score Thresholding [6.790905400046194]
対策は誤報を検出することを目的としており、通常、あらゆる情報の関連性を認識するために訓練されたドメイン固有モデルを含む。情報の有効性を評価する代わりに,信頼の観点からLLM生成テキストを調べることを提案する。
論文参考訳（メタデータ） (2024-05-30T21:51:01Z)
ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
大型言語モデル (LLM) は人間の好むテキストを生成する。本稿では,これらのモデルで共有される共通特性について述べる。報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
論文参考訳（メタデータ） (2024-05-27T17:38:33Z)
How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文参考訳（メタデータ） (2024-02-25T20:07:13Z)
LLM-Detector: Improving AI-Generated Chinese Text Detection with Open-Source LLM Instruction Tuning [4.328134379418151]
既存のAI生成テキスト検出モデルでは、ドメイン内のオーバーフィットが難しくなる。 LLM-Detectorは文書レベルと文レベルのテキスト検出のための新しい手法である。
論文参考訳（メタデータ） (2024-02-02T05:54:12Z)
Measuring Distributional Shifts in Text: The Advantage of Language Model-Based Embeddings [11.393822909537796]
実運用における機械学習モデル監視の重要な部分は、入力と出力データのドリフトを測定することである。大規模言語モデル(LLM)の最近の進歩は、意味的関係を捉える上での有効性を示している。このような埋め込みを利用してテキストデータの分布変化を測定するクラスタリングに基づくアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-12-04T20:46:48Z)
LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
論文参考訳（メタデータ） (2023-11-15T19:52:11Z)
Implicit meta-learning may lead language models to trust more reliable sources [9.073765860925395]
合成微調整データセットにおける有用性の指標としてランダム文字列(タグ)を導入する。このデータセットの微調整は暗黙的メタラーニング(IML)につながる私たちは、将来のAIシステムの能力、リスク、制御可能性について、私たちの結果が示唆するものを反映しています。
論文参考訳（メタデータ） (2023-10-23T15:50:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。