論文の概要: What's the plan? Metrics for implicit planning in LLMs and their application to rhyme generation and question answering

• arxiv url: http://arxiv.org/abs/2601.20164v1
• Date: Wed, 28 Jan 2026 01:47:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:06.72056
• Title: What's the plan? Metrics for implicit planning in LLMs and their application to rhyme generation and question answering
• Title（参考訳）: 計画とは何か? LLMにおける暗黙の計画基準と韻律生成と質問応答への応用
• Authors: Jim Maar, Denis Paperno, Callum Stuart McDougall, Neel Nanda,
• Abstract要約: 暗黙的な計画は、以前考えられていたよりも小さなモデルに存在する普遍的なメカニズムであることを示す。 本手法は,言語モデルの暗黙的な計画能力の研究に広く応用できる方法である。
• 参考スコア（独自算出の注目度）: 9.937250908677399
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior work suggests that language models, while trained on next token prediction, show implicit planning behavior: they may select the next token in preparation to a predicted future token, such as a likely rhyming word, as supported by a prior qualitative study of Claude 3.5 Haiku using a cross-layer transcoder. We propose much simpler techniques for assessing implicit planning in language models. With case studies on rhyme poetry generation and question answering, we demonstrate that our methodology easily scales to many models. Across models, we find that the generated rhyme (e.g. "-ight") or answer to a question ("whale") can be manipulated by steering at the end of the preceding line with a vector, affecting the generation of intermediate tokens leading up to the rhyme or answer word. We show that implicit planning is a universal mechanism, present in smaller models than previously thought, starting from 1B parameters. Our methodology offers a widely applicable direct way to study implicit planning abilities of LLMs. More broadly, understanding planning abilities of language models can inform decisions in AI safety and control.
• Abstract（参考訳）: 言語モデルは、次のトークン予測に基づいて訓練されているが、暗黙の計画行動を示すことを示唆している: 彼らは、クロス層トランスコーダを使用してClaude 3.5 Haikuの定性的研究によって支持されるように、予測される将来のトークン(おそらくは韻律語のような)の準備として次のトークンを選択することができる。 言語モデルにおける暗黙の計画を評価するための、ずっとシンプルな手法を提案する。 韻詩生成と質問応答のケーススタディにおいて,本手法が多くのモデルに容易に拡張できることを実証する。 モデル全体で、生成した韻律(eg "-ight")や質問に対する応答("whale")は、前行の終端をベクトルで操ることで操作でき、韻律や解答語につながる中間トークンの生成に影響を及ぼす。 暗黙的な計画は1Bパラメータから始まる、以前考えられていたよりも小さなモデルに存在する普遍的なメカニズムであることを示す。 提案手法はLLMの暗黙的計画能力の研究に広く応用できる方法である。 より広い範囲で、言語モデルの計画能力を理解することは、AIの安全性と制御における決定を知らせることができる。

関連論文リスト

• Detecting and Characterizing Planning in Language Models [1.320426480090921]
  本稿では,半自動アノテーションパイプラインとして計画および運用を行うための形式的かつ因果的基準を提案する。 このパイプラインを,MBPPコード生成ベンチマークと詩生成タスク上で,ベースおよび命令調整されたGemma-2-2Bモデルに適用する。 Gemma-2-2B は即興で同じ詩生成タスクを解くが,MBPP では同様のタスクにまたがって計画と即興を切り替え,さらに連続したトークン予測も行う。
  論文  参考訳（メタデータ） (2025-08-25T14:59:46Z)
• Looking beyond the next token [75.00751370502168]
  トレーニングデータシーケンスの再構成と処理により、モデルが真のデータ生成プロセスをより正確に模倣できるようになる、と我々は主張する。 本手法は, 長期的目標を追加費用なしで自然に生成することを可能にした。
  論文  参考訳（メタデータ） (2025-04-15T16:09:06Z)
• Semformer: Transformer Language Models with Semantic Planning [18.750863564495006]
  次世代の予測は、現在のニューラルネットワークモデルの主要なコンポーネントである。 本稿では,応答のセマンティックプランニングを明示的にモデル化したトランスフォーマー言語モデルのトレーニング手法であるSemformerを紹介する。
  論文  参考訳（メタデータ） (2024-09-17T12:54:34Z)
• Learning to Plan Long-Term for Language Modeling [23.042650737356496]
  今後,多くの文の潜在計画を予測するプランナーを提案する。 複数のプランを一度にサンプリングすることにより、テキスト継続の分布の正確な近似に基づいて言語モデルを条件付けする。
  論文  参考訳（メタデータ） (2024-08-23T21:18:10Z)
• Learning to Plan for Language Modeling from Unlabeled Data [23.042650737356496]
  我々は,自己指導型学習目標を用いて,将来の執筆プロセスを計画するためのモジュールを訓練する。 テキストコンテキストを考えると、この計画モジュールは、クラスタ化されたテキスト埋め込み空間のセントロイドに対応する、将来の抽象的な書き込みアクションを予測することを学習する。
  論文  参考訳（メタデータ） (2024-03-31T09:04:01Z)
• Can Language Beat Numerical Regression? Language-Based Multimodal Trajectory Prediction [23.45902601618188]
  言語モデルは、文脈理解と生成性能において印象的な能力を示してきた。 LMTraj (Language-based Multimodal Trajectory predictor) を提案する。 本稿では,言語に基づくモデルが,歩行者の軌道予測に有効なことを示し,既存の数値ベースの予測手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-27T11:06:44Z)
• Guiding Language Model Reasoning with Planning Tokens [122.43639723387516]
  大規模言語モデル(LLM)は、最近、複雑な推論タスクを実行する能力に対して、かなりの関心を集めている。 より構造的なチェーン・オブ・シークレット・ステップの創出を促す階層的な生成手法を提案する。 提案手法では、トレーニング可能なパラメータ(0.001%)の無視可能な増加が必要であり、完全な微調整か、よりパラメータ効率の良いスキームで適用することができる。
  論文  参考訳（メタデータ） (2023-10-09T13:29:37Z)
• PlaSma: Making Small Language Models Better Procedural Knowledge Models for (Counterfactual) Planning [77.03847056008598]
  PlaSmaは、手続き的な知識と(制約のある)言語計画能力を持つ小さな言語モデルを実現するための、新しい2段階のアプローチである。 我々は,小言語モデルにおけるコモンセンス知識を高めるための記号的手続き的知識蒸留法と,より構造化された正確な推論を容易にする推論時アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-05-31T00:55:40Z)
• Few-shot Subgoal Planning with Language Models [58.11102061150875]
  事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。 サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
  論文  参考訳（メタデータ） (2022-05-28T01:03:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。