論文の概要: In-Context Learning Amplifies a Latent Symbolic Circuit
- arxiv url: http://arxiv.org/abs/2609.36265v1
- Date: Mon, 28 Sep 2026 20:56:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.012546
- Title: In-Context Learning Amplifies a Latent Symbolic Circuit
- Title（参考訳）: In-Context Learning Amplify a Latent Symbolic Circuit
- Abstract要約: 我々は、3つのモデルファミリーのショット数にまたがる3段階のシンボリック推論回路をトレースする。
モデルが高い精度を達成する前に、検出可能かつ機能的であることが判明した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models can learn abstract rules from just a few in-context examples, but how their internal mechanisms activate as examples accumulate is not well understood. We trace a three-stage symbolic reasoning circuit (abstraction, induction, retrieval) across shot counts in three model families and find it is detectable and functional well before the model achieves high accuracy. Per-head causal contribution grows up to 8x from 1- to 10-shot, and cross-shot activation patching raises accuracy from 1% to 56% at 0-shot and 17% to 88% at 1-shot. Function vectors scaled and injected at 0-shot rescue accuracy up to 86%, largely substituting for the induction stage but depending critically on an intact downstream retrieval stage. The infrastructure for abstract rule-following is present in the weights before any demonstrations; in-context examples, function vectors, and related interventions appear to supply input to the same latent circuit.
- Abstract（参考訳）: 大規模言語モデルは、いくつかの文脈内例から抽象ルールを学ぶことができるが、例が蓄積するにつれてその内部メカニズムがどのように活性化されるかはよく理解されていない。
3つのモデルファミリのショット数にまたがる3段階のシンボリック推論回路(抽出、誘導、検索)をトレースし、モデルが高い精度に達する前に検出可能かつ機能的に機能することを示した。
頭部あたりの因果寄与は1ショットから10ショットに8倍に増加し、クロスショットアクティベーションパッチは0ショットで1%から56%、ワンショットで17%から88%に向上する。
ファンクションベクターは0ショットの救助精度で86%まで拡大・注入され、誘導段階に代わるが、下流の検索段階に大きく依存する。
抽象的な規則追従の基盤は、任意のデモンストレーションの前に重みに存在し、コンテキスト内例、関数ベクトル、および関連する介入は、同じ潜伏回路に入力を供給するように見える。
関連論文リスト
- Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning [55.99621402404222]
人間の注釈のない検証可能な報酬による強化学習は、しばしばゼロRLと呼ばれ、思考の連鎖的推論を引き出すための強力なパラダイムとして現れている。
我々はモデルから高品質な推論行動を引き出すことを目指している。
単純なスケーリングは、可読性、トークンの冗長性、適応的な推論深さの欠如に悩まされることがよくあります。
論文 参考訳（メタデータ） (2026-07-14T06:14:55Z) - From Correlation to Cause: A Five-Stage Methodology for Feature Analysis in Transformer Language Models [0.0]
変換言語モデルにおける因果的特徴分析のための5段階の手法を提案する。
Indirect Object Identification (IOI) タスクを実行するGPT-2のエンド・ツー・エンドを実証する。
論文 参考訳（メタデータ） (2026-05-21T13:25:16Z) - Single-Position Intervention Fails: Distributed Output Templates Drive In-Context Learning [0.0]
大規模な言語モデルがどのようにタスクのアイデンティティを数発のデモからエンコードしているかを理解することは、機械的解釈可能性において中心的なオープンな問題である。
以前の作業では、リニアプローブを使用してタスク表現をローカライズし、特定のレイヤで高い分類精度を報告していた。
正確さを求めることは因果的重要性を予測するのに完全に失敗する。
論文 参考訳（メタデータ） (2026-04-10T14:49:07Z) - Latent Introspection: Models Can Detect Prior Concept Injections [0.11405605998490648]
我々はQwen 32Bモデルでイントロスペクションの潜在能力を明らかにする。
このモデルは、いつ概念が初期の文脈に注入されたかを検出し、どの概念が注入されたかを特定することができる。
論文 参考訳（メタデータ） (2026-02-23T16:39:42Z) - Internalizing LLM Reasoning via Discovery and Replay of Latent Actions [4.830503861275364]
連鎖プロセスの隠れ状態への内部化は、テスト時間計算をスケールするための非常に効率的なパラダイムとして現れている。
動的潜在軌道制御問題として推論強化を再構築するSTIR(Self-Distilled Tools for Internal Reasoning)を提案する。
論文 参考訳（メタデータ） (2026-02-04T08:44:57Z) - Reinforcement Learning for Reasoning in Large Language Models with One Training Example [117.86853102104256]
1つのトレーニング例(1ショットRLVR)を用いた強化学習は,大規模言語モデル(LLM)の算数推論能力の向上に有効であることを示す。
1ショットRLVRにおける興味深い現象として、クロスカテゴリの一般化、自己回帰の頻度の増加、テスト性能の向上の持続などを挙げる。
論文 参考訳（メタデータ） (2025-04-29T09:24:30Z) - SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。
最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。
我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
論文 参考訳（メタデータ） (2025-04-07T02:42:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。