論文の概要: Goal Encoding in LLMs
- arxiv url: http://arxiv.org/abs/2611.17297v1
- Date: Thu, 12 Nov 2026 18:55:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.595299
- Title: Goal Encoding in LLMs
- Title(参考訳): LLMにおけるゴールエンコーディング
- Abstract要約: 動作に先行し誘導する内部神経表現が、多くの異なる実行経路を通して実現できるほど柔軟であるかどうかを考察する。
目標探索行動とサブゴールの選択を評価するためのコーディング設定を使用する。
- 参考スコア(独自算出の注目度): 29.030499216101802
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate whether and how LLMs encode goals: internal neural representations that precede and guide action, and that are flexible enough to be realized through many different execution paths. We construct a coding setting with multiple sub-tasks that allows us to evaluate goal-seeking behavior and the selection of sub-goals. In this setting, we localize an encoding of the next sub-goal in the outputs of a sparse set of attention heads. The same heads can be used to decode the LM's future actions in natural language (e.g., "I'm checking if a word is a palindrome"). We verify that this encoding is causal for next action and is plastic: transplanting it into a different environment, e.g., another programming language, triggers the same operation realized with a different sequence of tokens. The LM also sustains the encoding throughout the action's execution, which is puzzling because a transformer LM without recurrence cannot carry a state forward for more tokens than it has layers left. We propose that it does not need to. Under a non-recurrent goal-seeking (NRGS) account, the LM frequently re-reads the goal from the task specification, compares it with the progress visible in the growing context, and pursues what remains. We test the predictions of this account with targeted causal interventions.
- Abstract(参考訳): 我々は、LLMが目標をエンコードするかどうか、どのように検討する: 行動に先行し、誘導する内部神経表現、そして、多くの異なる実行経路を通して実現されるのに十分な柔軟性。
目標探索行動とサブゴールの選択を評価するために,複数のサブタスクを用いたコーディング設定を構築した。
この設定では、注目ヘッドのスパースセットの出力に次のサブゴールのエンコーディングをローカライズする。
同じ頭文字を使って、自然言語におけるLMの将来の動作を復号することができる(例:「単語がパリンドロームかどうかをチェックしている」)。
別のプログラミング言語である別の環境に移植すると、異なるトークン列で実現された同じ操作がトリガーされる。
LMは、繰り返しないトランスフォーマーLMが、残る層よりも多くのトークンを前へ運べないため、ファズリングであるアクションの実行を通してエンコーディングを維持できる。
我々はその必要はないと提案する。
NRGS(Non-Recurrent goal-seeking)のアカウントでは、LMはタスク仕様から頻繁にゴールを読み直し、成長する状況で見える進捗状況と比較し、残りを追求する。
我々は、このアカウントの予測を目的の因果的介入で検証する。
関連論文リスト
- LLM Based Long Code Translation using Identifier Replacement [3.833075202213095]
識別子置換を組み込んだゼロショット符号変換法を提案する。
提案手法は,翻訳中にユーザから取得した長い識別子を一般化されたプレースホルダーに置き換えることで,長文翻訳の効率性と費用対効果を向上させる。
論文 参考訳(メタデータ) (2025-10-10T06:28:15Z) - Zero-Shot Detection of LLM-Generated Code via Approximated Task Conditioning [8.571111167616165]
LLM(Large Language Model)が生成するコードは、セキュリティ、知的財産権、学術的完全性に影響を及ぼす。
ゼロショットLLM生成符号検出における条件付き確率分布の役割について検討する。
与えられたコードスニペットを生成するのに使用される元のタスクを近似する新しいゼロショット検出手法を提案する。
論文 参考訳(メタデータ) (2025-06-06T13:23:37Z) - Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。
加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
論文 参考訳(メタデータ) (2024-04-18T09:17:06Z) - A Data-Driven Representation for Sign Language Production [26.520016084139964]
手話生産は、手話文を自動的に手話の連続配列に変換することを目的としている。
現在の最先端のアプローチは、作業する言語資源の不足に依存しています。
本稿では,連続ポーズ生成問題を離散列生成問題に変換することによって,革新的な解を提案する。
論文 参考訳(メタデータ) (2024-04-17T15:52:38Z) - DECIDER: A Dual-System Rule-Controllable Decoding Framework for Language Generation [57.07295906718989]
制約付き復号法は,事前訓練された大言語(Ms と PLMs)が生成するテキストの意味やスタイルを,推論時に様々なタスクに対して制御することを目的としている。
これらの方法は、しばしば、欲求的かつ明示的にターゲットを選択することによって、もっともらしい連続を導く。
認知二重プロセス理論に着想を得て,新しい復号化フレームワークDECDERを提案する。
論文 参考訳(メタデータ) (2024-03-04T11:49:08Z) - Chain of Code: Reasoning with a Language Model-Augmented Code Emulator [115.16975276693267]
我々は、LMコード駆動推論を改善するシンプルながら驚くほど効果的な拡張であるChain of Codeを提案する。
キーとなるアイデアは、プログラム内のセマンティックなサブタスクを、インタープリタが明示的にキャッチできるフレキシブルな擬似コードとしてフォーマットすることを、LMに促すことである。
論文 参考訳(メタデータ) (2023-12-07T17:51:43Z) - Language Models of Code are Few-Shot Commonsense Learners [106.1531522893209]
自然言語入力が与えられた場合、目標はイベントや推論グラフなどのグラフを生成することだ。
既存のアプローチは、出力グラフをノードとエッジのフラットリストとしてシリアライズする。
コード生成タスクとして構造化コモンセンス推論タスクをフレーム化する場合、事前学習されたコードLMは自然言語のLMよりも構造化コモンセンス推論タスクの方が優れていることを示す。
論文 参考訳(メタデータ) (2022-10-13T16:09:36Z) - Incorporating a Local Translation Mechanism into Non-autoregressive
Translation [28.678752678905244]
非自己回帰翻訳(NAT)モデルに新しい局所自己回帰翻訳機構を導入する。
各目標復号位置について、1つのトークンの代わりに、自己回帰的な方法で短いトークン列を予測する。
我々は、出力部品を1つの最終的な出力シーケンスに整列し、マージする効率的なマージアルゴリズムを設計する。
論文 参考訳(メタデータ) (2020-11-12T00:32:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。