論文の概要: Token Prediction as Implicit Classification to Identify LLM-Generated
Text
- arxiv url: http://arxiv.org/abs/2311.08723v1
- Date: Wed, 15 Nov 2023 06:33:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 16:58:35.169336
- Title: Token Prediction as Implicit Classification to Identify LLM-Generated
Text
- Title(参考訳): LLM生成テキストの同定に必須な分類としてのトークン予測
- Authors: Yutian Chen, Hao Kang, Vivian Zhai, Liangze Li, Rita Singh, Bhiksha
Raj
- Abstract要約: 本稿では,テキスト生成に関わる大きな言語モデル (LLM) を識別するための新しいアプローチを提案する。
ベースLMに新たな分類層を追加する代わりに、分類タスクを次の注意すべき予測タスクとして再設定する。
実験のバックボーンとしてText-to-Text Transfer Transformer (T5) モデルを用いる。
- 参考スコア(独自算出の注目度): 37.89852204279844
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces a novel approach for identifying the possible large
language models (LLMs) involved in text generation. Instead of adding an
additional classification layer to a base LM, we reframe the classification
task as a next-token prediction task and directly fine-tune the base LM to
perform it. We utilize the Text-to-Text Transfer Transformer (T5) model as the
backbone for our experiments. We compared our approach to the more direct
approach of utilizing hidden states for classification. Evaluation shows the
exceptional performance of our method in the text classification task,
highlighting its simplicity and efficiency. Furthermore, interpretability
studies on the features extracted by our model reveal its ability to
differentiate distinctive writing styles among various LLMs even in the absence
of an explicit classifier. We also collected a dataset named OpenLLMText,
containing approximately 340k text samples from human and LLMs, including
GPT3.5, PaLM, LLaMA, and GPT2.
- Abstract(参考訳): 本稿では,テキスト生成に関わる大きな言語モデル (LLM) を識別するための新しいアプローチを提案する。
ベースLMに新たな分類層を追加する代わりに、次のトーケン予測タスクとして分類タスクを再構成し、ベースLMを直接微調整して実行します。
実験のバックボーンとしてText-to-Text Transfer Transformer (T5) モデルを用いる。
我々は、隠れた状態を分類に利用するより直接的なアプローチと比較した。
評価は,テキスト分類タスクにおいて,その単純さと効率性を強調した例外的な性能を示す。
さらに,本モデルにより抽出された特徴の解釈可能性研究により,明示的分類器が存在しない場合でも,様々な LLM の異なる書体スタイルを区別する能力を明らかにした。
また, GPT3.5, PaLM, LLaMA, GPT2など, 人およびLLMの約340kテキストサンプルを含むOpenLLMTextというデータセットも収集した。
関連論文リスト
- Pushing The Limit of LLM Capacity for Text Classification [27.684335455517417]
本稿では,特殊なテキスト分類 LLM を生成するための適応型ブースティングフレームワーク RGPT を提案する。
RGPTは,4つのベンチマークで平均1.36%,8個のSOTA PLMと7個のSOTA LLMより有意に優れていた。
論文 参考訳(メタデータ) (2024-02-12T08:14:03Z) - Large Language Models Are Zero-Shot Text Classifiers [3.617781755808837]
大規模言語モデル(LLM)は、自然言語処理(NLP)の様々なサブカテゴリで広く使われている。
NLPでは、テキスト分類の問題はかなりの焦点が当てられているが、高価な計算コスト、時間消費、目に見えないクラスに対する堅牢なパフォーマンスに関連するいくつかの制限に直面している。
思考促進チェーン(CoT)の提案により、ステップ推論プロンプトを用いてゼロショット学習(ZSL)を用いてLLMを実装できる。
論文 参考訳(メタデータ) (2023-12-02T06:33:23Z) - Sparsify-then-Classify: From Internal Neurons of Large Language Models
To Efficient Text Classifiers [4.81502049551298]
本稿では,全ての活性化状態と隠蔽状態に複数のプーリング戦略を適用することで,すべての内部表現を利用する手法を提案する。
我々の新しい軽量戦略であるSparsify-then-Classify (STC) は、まずタスク固有の機能を階層ごとに分散し、次にテキスト分類のために階層に集約する。
モデルとデータセットの包括的集合に関する実験により、STCは事前訓練されたモデルと微調整されたモデルの分類性能を一貫して改善するだけでなく、トレーニングと推論の両方においてより効率的であり、本質的に解釈可能であることが示された。
論文 参考訳(メタデータ) (2023-11-27T16:28:20Z) - Benchmarking Generation and Evaluation Capabilities of Large Language
Models for Instruction Controllable Summarization [136.18825814573208]
命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。
本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
論文 参考訳(メタデータ) (2023-11-15T18:25:26Z) - A Simple yet Efficient Ensemble Approach for AI-generated Text Detection [0.5840089113969194]
大規模言語モデル(LLM)は、人間の文章によく似たテキストを生成する際、顕著な能力を示した。
人工的に生成されたテキストと人間が作成したテキストを区別できる自動化アプローチを構築することが不可欠である。
本稿では,複数の構成 LLM からの予測をまとめて,シンプルで効率的な解を提案する。
論文 参考訳(メタデータ) (2023-11-06T13:11:02Z) - SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。
次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
論文 参考訳(メタデータ) (2023-10-13T07:18:53Z) - LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。
LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。
ゼロショット学習よりもパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-10-12T17:17:27Z) - Towards Codable Watermarking for Injecting Multi-bit Information to LLM [90.13097900576113]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
LLMの悪用を防ぐために、テキストのソースを特定する必要性が高まっている。
テキスト透かし技術は、LLMによってテキストが生成されるかどうかを識別する上で信頼性があることが証明されている。
論文 参考訳(メタデータ) (2023-07-29T14:11:15Z) - Retrieving Texts based on Abstract Descriptions [63.89087805237351]
埋め込みベクトル上の類似性検索は、クエリによる検索を可能にするが、埋め込みに反映される類似性は不定義であり、一貫性がない。
我々は,その内容の抽象的記述に基づいて文を検索する,明確に定義された一貫したタスクを同定する。
そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
論文 参考訳(メタデータ) (2023-05-21T17:14:31Z) - Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。
本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文 参考訳(メタデータ) (2021-10-04T08:51:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。