論文の概要: GPT, But Backwards: Exactly Inverting Language Model Outputs

• arxiv url: http://arxiv.org/abs/2507.01693v1
• Date: Wed, 02 Jul 2025 13:20:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:23:00.252774
• Title: GPT, But Backwards: Exactly Inverting Language Model Outputs
• Title（参考訳）: GPT, but backwards: 言語モデルの出力を正確に反転させる
• Authors: Adrians Skapars, Edoardo Manino, Youcheng Sun, Lucas C. Cordeiro,
• Abstract要約: 我々は、一意のグローバル最小値を持つ離散問題として、正確な入力再構成を定式化する。 入力探索空間を連続的に緩和する,効率的な勾配に基づくアルゴリズムであるSODAを導入する。 我々は,1つの偽陽性を伴わずに,次から次までのロジットから,より短いアウト・オブ・ディストリビューション入力の79.5%を完全回復することに成功した。 これは、標準のデプロイメントプラクティスが、現在、我々のメソッドの悪意ある使用に対して適切な保護を提供する可能性があることを示唆している。
• 参考スコア（独自算出の注目度）: 10.759904571495845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While existing auditing techniques attempt to identify potential unwanted behaviours in large language models (LLMs), we address the complementary forensic problem of reconstructing the exact input that led to an existing LLM output - enabling post-incident analysis and potentially the detection of fake output reports. We formalize exact input reconstruction as a discrete optimisation problem with a unique global minimum and introduce SODA, an efficient gradient-based algorithm that operates on a continuous relaxation of the input search space with periodic restarts and parameter decay. Through comprehensive experiments on LLMs ranging in size from 33M to 3B parameters, we demonstrate that SODA significantly outperforms existing approaches. We succeed in fully recovering 79.5% of shorter out-of-distribution inputs from next-token logits, without a single false positive, but struggle to extract private information from the outputs of longer (15+ token) input sequences. This suggests that standard deployment practices may currently provide adequate protection against malicious use of our method. Our code is available at https://doi.org/10.5281/zenodo.15539879.
• Abstract（参考訳）: 既存の監査手法は,大規模言語モデル(LLM)における潜在的望ましくない振る舞いを識別しようとするが,既存のLCM出力に繋がる正確な入力を再構築する補足的な法医学的問題に対処する。 我々は、一意な大域的最小値で離散的な最適化問題として正確な入力再構成を定式化し、周期的再起動とパラメータ崩壊を伴う入力探索空間の連続緩和で動作する効率的な勾配に基づくアルゴリズムであるSODAを導入する。 3M から 3B までの範囲の LLM に関する総合的な実験を通じて,SODA が既存手法よりも優れていることを示す。 我々は,1つの偽陽性を伴わずに,より長い(15+トークン)入力シーケンスの出力から個人情報を抽出するのに苦労しながら,次のトークンロジットから79.5%の短いアウト・オブ・ディストリビューション入力を完全回復することに成功した。 これは、標準のデプロイメントプラクティスが、現在、我々のメソッドの悪意ある使用に対して適切な保護を提供する可能性があることを示唆している。 私たちのコードはhttps://doi.org/10.5281/zenodo.15539879で利用可能です。

関連論文リスト

• Better Language Model Inversion by Compactly Representing Next-Token Distributions [39.39621496471788]
  言語モデルの逆転は、言語モデルの出力のみを使用して隠れたプロンプトを復元しようとする。 そこで本研究では,次の確率からヒントを抽出することで,隠れプロンプトを復元する手法を提案する。 我々の手法は、隠されたプロンプトを復元する従来の最先端手法よりも大幅に向上する。
  論文  参考訳（メタデータ） (2025-06-20T15:53:51Z)
• From Output to Evaluation: Does Raw Instruction-Tuned Code LLMs Output Suffice for Fill-in-the-Middle Code Generation? [35.07534339463043]
  ファイリング・イン・ザ・ミドル(FIM)コード生成におけるLCMの自動評価には,後処理が不可欠である。 本研究では,LLM出力の処理後処理の必要性について検討する。
  論文  参考訳（メタデータ） (2025-05-24T17:06:47Z)
• PEEL the Layers and Find Yourself: Revisiting Inference-time Data Leakage for Residual Neural Networks [64.90981115460937]
  本稿では、ディープニューラルネットワーク(NN)の推論時データ漏洩リスクについて検討する。 残差NNの中間出力からブロックワイズ入力特徴を効果的に回収できる新しい後方特徴逆変換法である textbfPEEL を提案する。 その結果,平均二乗誤差 (MSE) で評価した場合,PEEL は最先端の回収方法よりも桁違いに優れていることがわかった。
  論文  参考訳（メタデータ） (2025-04-08T20:11:05Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Learning on LLM Output Signatures for gray-box Behavior Analysis [52.81120759532526]
  大きな言語モデル(LLM)は広く採用されていますが、その振る舞いに対する私たちの理解は限定的です。 グレーボックス設定におけるプロセス汚染とデータ検出のためのトランスフォーマーベースのアプローチを開発する。 提案手法は,グレーボックス設定における幻覚とデータ検出における優れた性能を実現し,既存のベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-03-18T09:04:37Z)
• END: Early Noise Dropping for Efficient and Effective Context Denoising [60.24648712022382]
  大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて顕著な性能を示している。 彼らはしばしば、出力品質を低下させる入力シーケンスにおける無関係またはノイズの文脈に気を散らされる。 我々は,LLMの微調整を必要とせず,この問題を緩和するための新しい手法であるEarly Noise Dropping (textscEND)を紹介した。
  論文  参考訳（メタデータ） (2025-02-26T08:07:17Z)
• Rethinking Uncertainty Estimation in Natural Language Generation [6.3398383724486544]
  大規模言語モデル(LLM)は、現実のアプリケーションにますます採用されている。 不確実性推定法は複数の出力シーケンスを生成し解析し、LCMの不確実性を決定する。 単一出力シーケンスのみを用いて得られる利点を持つG-NLLを提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:51:06Z)
• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• Superposition Prompting: Improving and Accelerating Retrieval-Augmented Generation [22.124234811959532]
  大きな言語モデル(LLM)は、長いコンテキストを処理する際に大きな欠点を示す。 本稿では,事前学習したトランスフォーマーベースLLMに直接適用可能な新しいRAGプロンプト手法を提案する。 我々は,様々な質問応答ベンチマークにおいて,時間効率を同時に向上する手法の能力を実証する。
  論文  参考訳（メタデータ） (2024-04-10T11:03:17Z)
• It's Never Too Late: Fusing Acoustic Information into Large Language Models for Automatic Speech Recognition [70.77292069313154]
  大規模言語モデル(LLM)は、自動音声認識(ASR)出力の上の生成誤り訂正(GER)に成功することができる。 本研究では,不確実性認識ダイナミックフュージョン (UADF) と呼ばれる新しい遅延融合解によって予測された転写を生成する前に,音響情報を注入することにより,そのような制限を克服することを目的とする。
  論文  参考訳（メタデータ） (2024-02-08T07:21:45Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Language Model Inversion [77.22715643068284]
  我々は,次の確率が先行するテキストに関する驚くべき量の情報を含んでいることを示す。 我々の反転法は、BLEUが59ドル、トークンレベルのF1が78ドルでプロンプトを再構築し、正確に27%のプロンプトを回収する。
  論文  参考訳（メタデータ） (2023-11-22T19:04:04Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Reimagining Retrieval Augmented Language Models for Answering Queries [23.373952699385427]
  本稿では,大規模言語モデルに対する現実性チェックと,比較対象言語モデル検索の可能性を検証する。 このような言語モデルは半パラメトリックであり、モデルがモデルパラメータと外部データソースからの知識を統合して予測を行う。
  論文  参考訳（メタデータ） (2023-06-01T18:08:51Z)
• On-the-fly Text Retrieval for End-to-End ASR Adaptation [9.304386210911822]
  本稿では,部分的ASR仮説に対して,外部テキストコーパスから可算完了を抽出する検索言語モデルを用いてトランスデューサベースのASRモデルを強化することを提案する。 実験の結果,提案モデルにより,一対の質問応答データセット上でのトランスデューサベースラインの性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-03-20T08:54:40Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Training Language Models with Natural Language Feedback [51.36137482891037]
  3段階学習アルゴリズムを用いてモデル出力の言語フィードバックから学習する。 合成実験において、まず言語モデルがフィードバックを正確に組み込んで改良を行うかどうかを評価する。 人間の手書きフィードバックのサンプルは100程度しかなく, 学習アルゴリズムはGPT-3モデルを微調整し, ほぼ人間レベルの要約を行う。
  論文  参考訳（メタデータ） (2022-04-29T15:06:58Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。