論文の概要: PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction

• arxiv url: http://arxiv.org/abs/2607.29378v1
• Date: Fri, 31 Jul 2026 13:01:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.729355
• Title: PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction
• Title（参考訳）: PTP:前兆予測に基づく近エクササイズプロンプト再構成のためのLPMインバージョン
• Abstract要約: 大規模言語モデル(LLM)は、次のトークンを自動回帰サンプリングすることでテキストを生成する。 補助補助具を使わずにブラックボックス設定で所与のLCMを反転させる機能的アプローチを提案する。 我々は、ターゲットLLM自体から合成的に生成されたデータに基づいて、完全にスクラッチから明示的な逆言語モデルを訓練する。
• 参考スコア（独自算出の注目度）: 11.373080904038758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) generate text by auto-regressively sampling the next token. This inherently leads to a many-to-many mapping between prompts and responses, complicating the task of inferring prompts from observed outputs. Prior work on LLM inversion frames prompt recovery as a semantic reconstruction task. They rely on fine-tuning pretrained sequence-to-sequence models on large external datasets--and requiring access to model weights or logits--to generate semantically plausible prompts. In contrast, we present a functional approach to inverting a given LLM in a black-box setting, without auxiliary aids. We train an explicit inverse language model entirely from scratch on data synthetically generated from the target LLM itself. Analogous to forward next-token prediction, our inverse model is trained using previous-token prediction, establishing a generative link between the forward and inverse processes that enables faithful prompt reconstruction. Moreover, it naturally supports diverse prompt reconstructions through sampling, whereby all such prompts induce similar responses under the forward, target LLM. Our approach generalises across datasets and exhibits transferability in reconstructing prompts from responses generated by different LLMs. Further, across the set of token based evaluation metrics for prompt and response reconstructions, our approach outperforms prior work.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、次のトークンを自動回帰サンプリングすることでテキストを生成する。 これは本質的には、プロンプトと応答を多対多にマッピングし、観察された出力からプロンプトを推測するタスクを複雑化する。 LLMインバージョンフレームの以前の研究は、セマンティックリコンストラクションタスクとしてリカバリを急がせた。 モデルウェイトやロジットへのアクセスが必要で、意味論的に妥当なプロンプトを生成する必要がある。 これとは対照的に,補助的補助を伴わないブラックボックス設定で所与のLCMを反転させる機能的アプローチを提案する。 我々は、ターゲットLLM自体から合成的に生成されたデータに基づいて、完全にスクラッチから明示的な逆言語モデルを訓練する。 提案手法は,前向きの予測モデルを用いて学習し,前向きと逆方向のプロセス間の生成的リンクを確立し,忠実な迅速な再構築を可能にする。 さらに、サンプリングによって様々なプロンプトの再構築を自然にサポートし、全てのプロンプトが前部、ターゲットLLMの下で同様の反応を誘導する。 提案手法はデータセットをまたいで一般化し,異なるLLMが生成した応答からのプロンプトを再構成する際の転送可能性を示す。 さらに,プロンプトと応答の再構築のためのトークンベースの評価指標のセットにおいて,本手法は先行作業よりも優れていた。

関連論文リスト

• REATS: LLM Reasoning-based Ensemble Learning for Adaptive Time Series Forecasting [33.69887280643071]
  本稿では,時間的パターン記述と数値特徴を処理し,解釈可能なアンサンブル重みを生成するREATSを提案する。 8つのベンチマークの実験では、REATSは競争力のあるアンサンブルベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-08-10T19:04:46Z)
• ReverseEOL: Improving Training-free Text Embeddings via Text Reversal in Decoder-only LLMs [23.327977837371503]
  大規模言語モデルの最近の進歩は、トレーニング不要なテキスト埋め込みを生成するための新しい道を開いた。 本稿では,凍結LDMの表現能力を高めるために,明示的なワンワード制限を用いたリバースプロンプトを提案する。
  論文  参考訳（メタデータ） (2026-06-04T08:30:49Z)
• What Gets Unmasked First? Trajectory Analysis of Diffusion Models for Graph-to-Text Generation [7.344034836280294]
  グラフ・テキスト生成のためのマスク拡散言語モデルの最初の体系的研究について述べる。 MDLMは、まず自然にエンティティを優先し、次にリレーショナルと関数の単語が続き、最後に構造トークンが解決される。 グラフ変換器エンコーダをLLaDAの復号処理に統合し,グラフ構造を明示的に組み込むグラフ-LLaDAを提案する。
  論文  参考訳（メタデータ） (2026-05-29T17:29:35Z)
• On the Semantic and Syntactic Information Encoded in Proto-Tokens for One-Step Text Reconstruction [0.5097809301149341]
  自己回帰型大言語モデル(LLM)はテキストトークン・バイ・トーケンを生成し、長さnのシーケンスを生成するためにnフォワードパスを必要とする。 最近の研究によると、凍結したLLMは、たった2つの学習されたプロトトケンから数百のトークンを1つの前方パスで再構築できる。 我々は,これらのプロトタイプが符号化した情報と,再構成と制御制約の下でどのように振る舞うかについて検討する。
  論文  参考訳（メタデータ） (2026-02-20T15:54:10Z)
• DiffuRank: Effective Document Reranking with Diffusion Language Models [71.16830004674513]
  拡散言語モデル(dLLM)に基づいて構築されたフレームワークであるDiffuRankを提案する。 dLLMは、左から右への順序に制約されないより柔軟なデコーディングと生成プロセスをサポートする。 モデルサイズが類似した自己回帰LDMに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2026-02-13T02:18:14Z)
• Multimodal LLMs as Customized Reward Models for Text-to-Image Generation [60.164968941945645]
  LLaVA-Rewardは、複数の視点でテキスト・ツー・イメージ(T2I)生成を自動評価する効率的な報酬モデルである。 LLaVA-Rewardはマルチモーダル大言語モデル(MLLM)の隠れ状態を直接利用する LLaVA-Rewardは、テキストイメージアライメント、忠実さ/アーティファクト、安全性、全体的なランク付けの4つの観点でトレーニングします。
  論文  参考訳（メタデータ） (2025-07-28T23:52:53Z)
• Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling [69.84963245729826]
  本稿では,検索者の後続のコントラスト学習のためのバックボーンを強化するために,QLの補助的タスクを提案する。 注意ブロック(AB)と文書破壊(DC)の2つの重要なコンポーネントを組み込んだモデルを紹介します。
  論文  参考訳（メタデータ） (2025-04-07T16:03:59Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
  リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。 近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。 本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-10-08T06:17:39Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Understanding Emergent In-Context Learning from a Kernel Regression Perspective [55.95455089638838]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,LLMのICLバハビエータの理解におけるカーネル-回帰的視点を提案する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)
• Self-Refine: Iterative Refinement with Self-Feedback [62.78755306241981]
  Self-Refineは、反復的なフィードバックと改善を通じて、大きな言語モデル(LLM)からの初期出力を改善するアプローチである。 GPT-3.5, ChatGPT, および GPT-4) LLM を用いて, 対話応答生成から数学的推論に至るまで, 7 つのタスクにまたがる自己決定性を評価する。 我々の研究は、GPT-4のような最先端のLCMでさえ、単純でスタンドアロンなアプローチを使用してテスト時にさらに改善できることを示します。
  論文  参考訳（メタデータ） (2023-03-30T18:30:01Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。