論文の概要: PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction

• arxiv url: http://arxiv.org/abs/2607.29378v1
• Date: Fri, 31 Jul 2026 13:01:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.729355
• Title: PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction
• Title（参考訳）: PTP:前兆予測に基づく近エクササイズプロンプト再構成のためのLPMインバージョン
• Authors: Pirzada Suhail, Nagasai Saketh Naidu, Atanu R Sinha, Amit Sethi,
• Abstract要約: 大規模言語モデル(LLM)は、次のトークンを自動回帰サンプリングすることでテキストを生成する。 補助補助具を使わずにブラックボックス設定で所与のLCMを反転させる機能的アプローチを提案する。 我々は、ターゲットLLM自体から合成的に生成されたデータに基づいて、完全にスクラッチから明示的な逆言語モデルを訓練する。
• 参考スコア（独自算出の注目度）: 11.373080904038758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) generate text by auto-regressively sampling the next token. This inherently leads to a many-to-many mapping between prompts and responses, complicating the task of inferring prompts from observed outputs. Prior work on LLM inversion frames prompt recovery as a semantic reconstruction task. They rely on fine-tuning pretrained sequence-to-sequence models on large external datasets--and requiring access to model weights or logits--to generate semantically plausible prompts. In contrast, we present a functional approach to inverting a given LLM in a black-box setting, without auxiliary aids. We train an explicit inverse language model entirely from scratch on data synthetically generated from the target LLM itself. Analogous to forward next-token prediction, our inverse model is trained using previous-token prediction, establishing a generative link between the forward and inverse processes that enables faithful prompt reconstruction. Moreover, it naturally supports diverse prompt reconstructions through sampling, whereby all such prompts induce similar responses under the forward, target LLM. Our approach generalises across datasets and exhibits transferability in reconstructing prompts from responses generated by different LLMs. Further, across the set of token based evaluation metrics for prompt and response reconstructions, our approach outperforms prior work.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、次のトークンを自動回帰サンプリングすることでテキストを生成する。 これは本質的には、プロンプトと応答を多対多にマッピングし、観察された出力からプロンプトを推測するタスクを複雑化する。 LLMインバージョンフレームの以前の研究は、セマンティックリコンストラクションタスクとしてリカバリを急がせた。 モデルウェイトやロジットへのアクセスが必要で、意味論的に妥当なプロンプトを生成する必要がある。 これとは対照的に,補助的補助を伴わないブラックボックス設定で所与のLCMを反転させる機能的アプローチを提案する。 我々は、ターゲットLLM自体から合成的に生成されたデータに基づいて、完全にスクラッチから明示的な逆言語モデルを訓練する。 提案手法は,前向きの予測モデルを用いて学習し,前向きと逆方向のプロセス間の生成的リンクを確立し,忠実な迅速な再構築を可能にする。 さらに、サンプリングによって様々なプロンプトの再構築を自然にサポートし、全てのプロンプトが前部、ターゲットLLMの下で同様の反応を誘導する。 提案手法はデータセットをまたいで一般化し,異なるLLMが生成した応答からのプロンプトを再構成する際の転送可能性を示す。 さらに,プロンプトと応答の再構築のためのトークンベースの評価指標のセットにおいて,本手法は先行作業よりも優れていた。

関連論文リスト

• ReverseEOL: Improving Training-free Text Embeddings via Text Reversal in Decoder-only LLMs [23.327977837371503]
  大規模言語モデルの最近の進歩は、トレーニング不要なテキスト埋め込みを生成するための新しい道を開いた。 本稿では,凍結LDMの表現能力を高めるために,明示的なワンワード制限を用いたリバースプロンプトを提案する。
  論文  参考訳（メタデータ） (2026-06-04T08:30:49Z)
• DiffuRank: Effective Document Reranking with Diffusion Language Models [71.16830004674513]
  拡散言語モデル(dLLM)に基づいて構築されたフレームワークであるDiffuRankを提案する。 dLLMは、左から右への順序に制約されないより柔軟なデコーディングと生成プロセスをサポートする。 モデルサイズが類似した自己回帰LDMに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2026-02-13T02:18:14Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
  リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。 近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。 本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-10-08T06:17:39Z)
• Understanding Emergent In-Context Learning from a Kernel Regression Perspective [55.95455089638838]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,LLMのICLバハビエータの理解におけるカーネル-回帰的視点を提案する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)
• Self-Refine: Iterative Refinement with Self-Feedback [62.78755306241981]
  Self-Refineは、反復的なフィードバックと改善を通じて、大きな言語モデル(LLM)からの初期出力を改善するアプローチである。 GPT-3.5, ChatGPT, および GPT-4) LLM を用いて, 対話応答生成から数学的推論に至るまで, 7 つのタスクにまたがる自己決定性を評価する。 我々の研究は、GPT-4のような最先端のLCMでさえ、単純でスタンドアロンなアプローチを使用してテスト時にさらに改善できることを示します。
  論文  参考訳（メタデータ） (2023-03-30T18:30:01Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。