論文の概要: Prompting Complexity: Shortest Prompts for Texts and Behaviors in LLMs
- arxiv url: http://arxiv.org/abs/2607.06145v1
- Date: Tue, 07 Jul 2026 11:12:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.500167
- Title: Prompting Complexity: Shortest Prompts for Texts and Behaviors in LLMs
- Title（参考訳）: プロンプティング複雑性: LLMにおけるテキストと行動のための最短プロンプット
- Abstract要約: 固定命令調整言語モデルに対する複雑性の促進量を定義する。
プログラムは任意のトークン文字列ではなく、可読な可読テキストに制限する。
また、最も短い生成プロンプトと、仕様を満たす出力に到達するための行動的プロンプトの複雑さを比較することで、距離のプロンプトを定義する。
- 参考スコア（独自算出の注目度）: 1.9875440739965626
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we define the quantity of prompting complexity: for a fixed instruction-tuned language model, what is the shortest plausible prompt that makes deterministic decoding produce a target text? It is an LM-relative analogue of resource-bounded Kolmogorov complexity: the prompt is a program, the model interface is the interpreter, and information omitted from the prompt is supplied by the model's weights, training distribution, tokenizer, template, and decoding rule. Unlike classical Kolmogorov complexity, this measure is intentionally non-universal. In the finite-context setting it is computable by enumeration, but there is no model-independent invariance theorem; the same text may be cheap for one model and inaccessible or expensive for another. To keep the search space aligned with prompt engineering, we restrict programs to plausible human-readable texts rather than arbitrary token strings. We extend the exact definition to soft prompting complexity for approximate outputs, yielding a lossy notion of model-relative text compression and a formal target for prompt optimization. We also define prompting distance by comparing shortest generating prompts, and behavioral prompting complexity for reaching any output satisfying a specification. Based on these formulations, we define a research agenda for empirically studying which texts and behaviors are accessible from short plausible prompts under a fixed LM interface.
- Abstract（参考訳）: 本稿では,決定論的復号化を目的とする言語モデルにおいて,決定論的復号化を目的とする最短可算プロンプトについて述べる。
プロンプトはプログラムであり、モデルインターフェースはインタプリタであり、プロンプトから削除された情報はモデルの重み、トレーニング分布、トークン化剤、テンプレート、復号規則によって供給される。
古典的なコルモゴロフ複雑性とは異なり、この測度は意図的にユニバーサルではない。
有限コンテキスト設定では列挙によって計算可能であるが、モデルに依存しない不変性定理は存在しない。
検索空間を即時エンジニアリングに整合させるため、任意のトークン文字列ではなく、可読性のあるテキストに制限する。
近似出力に対するソフトプロンプトの複雑さに正確な定義を拡張し、モデル相対的テキスト圧縮の欠落の概念と、プロンプト最適化のための正式なターゲットを与える。
また、最も短い生成プロンプトと、仕様を満たす出力に到達するための行動的プロンプトの複雑さを比較することで、距離のプロンプトを定義する。
これらの定式化に基づいて、固定されたLMインタフェースの下で、短い可視的なプロンプトからどのテキストや行動がアクセス可能かを実証的に研究するための研究課題を定義する。
関連論文リスト
- Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳（メタデータ） (2026-06-24T15:58:11Z) - Understanding LLM Failures: A Multi-Tape Turing Machine Analysis of Systematic Errors in Language Model Reasoning [0.033842793760651545]
大きな言語モデル(LLM)は、一見自明なタスクで失敗モードを示す。
決定論的マルチテープチューリングマシンを用いたインタラクションの形式化を提案する。
このモデルは、特定のパイプラインステージへの障害モードの正確なローカライズを可能にする。
論文 参考訳（メタデータ） (2026-01-27T16:12:01Z) - Self-Steering Language Models [113.96916935955842]
DisCIPL は "self-steering" 言語モデル (LM) の手法である。
DisCIPLは、Followerモデルの集団によって実行されるタスク固有の推論プログラムを生成する。
我々の研究は、高度に並列化されたモンテカルロ推論戦略の設計空間を開く。
論文 参考訳（メタデータ） (2025-04-09T17:54:22Z) - Critical Thinking: Which Kinds of Complexity Govern Optimal Reasoning Length? [72.70486097967124]
決定論的有限オートマトン(DFAs)を用いたフレームワークの定式化
正しい解を生成する確率が最大になるような推論トークンが最適に存在することを示す。
新たな問題に対する推論トークンの最適個数を予測し、最適でない回答をフィルタリングすることで、一貫した精度の向上が得られる。
論文 参考訳（メタデータ） (2025-04-02T17:45:58Z) - Graph-DPEP: Decomposed Plug and Ensemble Play for Few-Shot Document Relation Extraction with Graph-of-Thoughts Reasoning [34.85741925091139]
Graph-DPEPフレームワークは、自然言語で提示された三重項の説明思想の背景にある。
我々は,サブグラフに埋め込まれた推論的思考を活用することで,型リスト全体の「アンサンブルプレイ」生成を開発する。
論文 参考訳（メタデータ） (2024-11-05T07:12:36Z) - FLARE: Faithful Logic-Aided Reasoning and Exploration [47.46564769245296]
タスク分解を用いて問題空間をトラバースする新しい手法を提案する。
我々はLarge Language Modelsを使ってソリューションを計画し、クエリを事実に軟式化し、論理プログラミングコードを使って述語する。
提案手法は,生成したコードに対する推論プロセスの忠実度を計算し,外部の解法に頼らずにマルチホップ探索のステップを解析する。
論文 参考訳（メタデータ） (2024-10-14T19:39:11Z) - JoPA:Explaining Large Language Model's Generation via Joint Prompt Attribution [41.89180735617241]
LLM(Large Language Models)は複雑なテキスト生成タスクにおいて顕著なパフォーマンスを示す。
生成したコンテンツに対する入力プロンプトの寄与は、まだ人間には明らかでない。
本稿では,JoPA(Joint Prompt Attribution, JoPA)に基づく実例説明フレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-30T18:16:41Z) - Monotonic Paraphrasing Improves Generalization of Language Model Prompting [42.74429247000797]
MonoParaはエンド・ツー・エンドのデコーディング戦略であり、プロンプトや命令を下位のパープレクティリティに言い換える。
いかなる訓練も必要とせず、単調に言い換えられたプロンプトや命令の難易度を下げることができる。
また、乱雑なタスク命令に対するLMの一般化を効果的に改善することが示されている。
論文 参考訳（メタデータ） (2024-03-24T06:49:07Z) - Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。
既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。
複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
論文 参考訳（メタデータ） (2023-09-17T04:18:39Z) - Adapting Language Models to Compress Contexts [71.98287002918941]
トランスフォーマーベースの言語モデル(LM)は強力で広く適用可能なツールであるが、その有用性は有限コンテキストウィンドウによって制限される。
本稿では,事前学習したLMを,長いコンテキストをコンパクトな要約ベクトルに圧縮可能なAutoCompressorに適応させることを提案する。
最大30,720個のトークンのシーケンスでOPTとLlama-2モデルを微調整し、AutoCompressorが長いコンテキストを使ってパープレキシティを向上できることを示す。
論文 参考訳（メタデータ） (2023-05-24T06:42:44Z) - RelationPrompt: Leveraging Prompts to Generate Synthetic Data for
Zero-Shot Relation Triplet Extraction [65.4337085607711]
ゼロショット関係トリプルト抽出(ZeroRTE)のタスク設定について紹介する。
入力文が与えられた後、抽出された各三重項は、トレーニング段階で関係ラベルが見えないヘッドエンティティ、リレーションラベル、テールエンティティから構成される。
本稿では、言語モデルに構造化テキストを生成するよう促すことで、関係例を合成する。
論文 参考訳（メタデータ） (2022-03-17T05:55:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。