論文の概要: Language Model Inversion through End-to-End Differentiation

• arxiv url: http://arxiv.org/abs/2602.11044v1
• Date: Wed, 11 Feb 2026 17:14:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:02.22729
• Title: Language Model Inversion through End-to-End Differentiation
• Title（参考訳）: エンド・ツー・エンド差分法による言語モデルインバージョン
• Authors: Kevin Yandoka Denamganaï, Kartic Subr,
• Abstract要約: 所与の(凍結した)LMのエンドツーエンドの微分性を実現するための簡単なアルゴリズムを提案する。 次に、勾配降下により最適化されたプロンプトを求める。 我々のDLMによるインバージョンは、長さ20ドルの目標に対して10ドルと80ドルのプロンプトを、いくつかのホワイトボックスLM(アウト・オブ・ザ・ボックス)に対して、確実かつ効率的に最適化できることを示す。
• 参考スコア（独自算出の注目度）: 1.687374878680432
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite emerging research on Language Models (LM), few approaches analyse the invertibility of LMs. That is, given a LM and a desirable target output sequence of tokens, determining what input prompts would yield the target output remains an open problem. We formulate this problem as a classical gradient-based optimisation. First, we propose a simple algorithm to achieve end-to-end differentiability of a given (frozen) LM and then find optimised prompts via gradient descent. Our central insight is to view LMs as functions operating on sequences of distributions over tokens (rather than the traditional view as functions on sequences of tokens). Our experiments and ablations demonstrate that our DLM-powered inversion can reliably and efficiently optimise prompts of lengths $10$ and $80$ for targets of length $20$, for several white-box LMs (out-of-the-box).
• Abstract（参考訳）: 言語モデル(LM)の新たな研究にもかかわらず、LMの可逆性を分析するアプローチはほとんどない。 すなわち、LMと望ましいトークンの目標出力シーケンスが与えられた場合、どの入力プロンプトが目標出力をもたらすかを決定することは、未解決の問題である。 この問題を古典的勾配に基づく最適化として定式化する。 まず、与えられた(凍結した)LMのエンドツーエンドの微分性を達成するための簡単なアルゴリズムを提案し、次に勾配降下により最適化されたプロンプトを求める。 私たちの中心的な洞察は、LMをトークン上の分布列(トークンのシーケンス上の関数としての伝統的な見方ではなく)で動く関数として見ることです。 我々のDLMによるインバージョンは、長さ20ドルの目標に対して10ドルと80ドルのプロンプトを、いくつかのホワイトボックスLM(アウト・オブ・ザ・ボックス)に対して確実に、かつ効率的に最適化できることを示す。

関連論文リスト

• Moment and Highlight Detection via MLLM Frame Segmentation [3.7199696376626457]
  本稿では,自然言語クエリから映像のモーメントとハイライトを検出する新しい手法を提案する。 提案手法は,モーメント検索のためのベースライン(35.28MAP)の上にスコアを付ける。
  論文  参考訳（メタデータ） (2025-12-13T09:11:59Z)
• GPT, But Backwards: Exactly Inverting Language Model Outputs [7.736516533045638]
  本稿では,Sparse One-Hot Discrete Adam (SODA)アルゴリズムを提案する。 実験では、自然言語とランダム入力の両方において、正確な言語モデルの逆変換が可能であることを示す。
  論文  参考訳（メタデータ） (2025-07-02T13:20:30Z)
• Beyond Next Token Probabilities: Learnable, Fast Detection of Hallucinations and Data Contamination on LLM Output Distributions [60.43398881149664]
  LLM出力シグナチャの効率的な符号化を訓練した軽量アテンションベースアーキテクチャであるLOS-Netを紹介する。 非常に低い検出レイテンシを維持しながら、さまざまなベンチマークやLLMで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-03-18T09:04:37Z)
• M-Ped: Multi-Prompt Ensemble Decoding for Large Language Models [12.96619003056978]
  本稿では,大規模言語モデルの生成品質を高めるために設計された,新しいマルチプロンプトアンサンブルデコーディング手法を提案する。 ユニークな入力である$X$を与えられた場合、確率分布を復号し導出するために、バッチモードで$X$のプロンプトの$n$をLLMに送信する。 各トークン予測に対して,この集約された確率を用いて,バッチ内の$n$確率分布を平均化し,トークンを生成することで,アンサンブル確率を算出する。
  論文  参考訳（メタデータ） (2024-12-24T09:06:58Z)
• Accelerating Multimodal Large Language Models by Searching Optimal Vision Token Reduction [62.8375542401319]
  MLLM(Multimodal Large Language Models)は、入力イメージを視覚トークンとしてエンコードし、それらを言語バックボーンに入力する。 画像解像度が大きくなるにつれて、視覚トークンの数は2次的に増加し、膨大な計算コストがかかる。 本稿では,各層を浅層から深層まで保持する最小限の視覚トークンを求めるために,欲求探索アルゴリズム(G-Search)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T18:54:32Z)
• Uncertainty-Guided Likelihood Tree Search [37.25859935454988]
  ツリー探索は、木構造空間を探索するものとして、多くのシーケンシャルな意思決定問題を列挙できるため、計画のための基本的なツールである。 本研究では、報酬関数が経路のログ様関数であるような設定のための不確実性誘導木探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-04T14:08:50Z)
• Can Small Language Models Help Large Language Models Reason Better?: LM-Guided Chain-of-Thought [51.240387516059535]
  タスク推論において,ブラックボックスの大きな (>10B) LMを導くために,軽量 (すなわち 1B) 言語モデル (LM) を利用する新しいフレームワーク LM-Guided CoT を導入する。 1)知識蒸留と2)合理性指向とタスク指向の報酬信号からの強化学習を通してモデルを最適化する。
  論文  参考訳（メタデータ） (2024-04-04T12:46:37Z)
• MAF: Multi-Aspect Feedback for Improving Reasoning in Large Language Models [64.70153487607172]
  言語モデル(LM)は、様々な自然言語タスクにおいて印象的なパフォーマンスを示している。 自然言語の推論に関しては、いまだに幻覚、誤った中間推論ステップの生成、数学的誤りなどの課題に直面している。 近年の研究では、フィードバックによる自己改善によるLMの強化に焦点が当てられている。 本研究では,凍結したLMや外部ツールなど,複数のフィードバックモジュールを統合する反復的改善フレームワークであるMulti-Aspect Feedbackを提案する。
  論文  参考訳（メタデータ） (2023-10-19T02:32:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。