論文の概要: Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study
- arxiv url: http://arxiv.org/abs/2607.04926v1
- Date: Mon, 06 Jul 2026 10:55:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.122023
- Title: Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study
- Title（参考訳）: 入力路形状Few-Shot, not Zero-Shot, Binding in Tiny Transformers: A Fullly-Enumerable Study
- Abstract要約: 情報を構成的に結合するかどうかに関わらず、情報がどのようにトランスフォームに到達するか?
全ての測定は入力空間全体をカバーし(ゼロサンプリング分散)、情報伝達経路は情報整合である(具体的にベイズ天井1.0)。
すべてのコード、マニフェスト、シード単位のログは、正確な再現のためにリリースされます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How does the way information reaches a transformer -- as symbolic tokens, a clean per-factor "oracle" code, or an entangled perceptual vector -- shape whether it binds that information compositionally? We study ~6-10K-parameter transformers on finite factored worlds enumerated exhaustively, so every measurement covers the whole input space (zero sampling variance) and the informative routes are information-matched (exact Bayes ceiling 1.0). We report four findings. (1) Endpoint invariance: on held-out binding queries no informative route reaches converged zero-shot composition -- each ends at or below chance despite a ceiling of 1.0, so within a bounded sweep the failure reflects inductive bias under a lookup-sufficient objective, not missing information. (2) A two-factor account of few-shot binding: sample efficiency is best explained by input-pathway parameter sharing and code readability; a dimension-matched control and a graded readability sweep isolate readability from input dimension, and the clean oracle is not the most sample-efficient readable route. (3) A double dissociation: early in training, distributed -- but not index-like -- codes pass through a transient above-chance phase (tracking code format), while few-shot efficiency tracks pathway sharing. (4) Failure anatomy: symbolic routes lose the answer at the readout; index routes mis-bind (the answer stays decodable, yet an input intervention shows the output tracks the wrong slot); entangled routes inherit their input's readability. The central claim is the two-factor account; the endpoint and anatomy results are diagnostic constraints. All code, manifests, and per-seed logs are released for exact reproduction.
- Abstract（参考訳）: 情報のトランスフォーマーへの到達方法 – シンボルトークンやクリーンな要素単位の“オークル”コード,あるいは角ばった知覚ベクトル – はどうすればよいのでしょう?
有限要素世界における約6-10Kパラメータ変換器を網羅的に検討し、各測定値が入力空間全体をカバーする(ゼロサンプリング分散)とともに、情報経路が情報マッチングされる(ベイズ天井1.0)。
我々は4つの発見を報告した。
1)エンドポイント不変性:ホールドアウトバインディングクエリ上では、情報伝達経路が収束したゼロショット構成に到達しない -- 天井が1.0であるにもかかわらず、それぞれの終了はチャンス以下である。
2) サンプル効率は入力-経路パラメータ共有とコード可読性によって最もよく説明され, 次元整合制御と次数整合可読性は入力次元から可読性を取り除き, クリーンオラクルは最も標本効率の高い可読性経路ではない。
(3) 二重解離(double dissociation): トレーニングの初期、分散(ただしインデックスのようなものではない)コードが過渡的なオーバーチャンスフェーズ(コードフォーマットの追跡)を通過し、少数ショット効率が経路共有をトラックする。
(4) 障害解剖: シンボル的ルートは読み出し時に応答を失う; インデックス的ルートはミスバインドされる(ただし、入力の介入は出力が間違ったスロットを追跡する); 絡み合ったルートは入力の可読性を継承する。
中心的なクレームは2要素のアカウントであり、エンドポイントと解剖学的結果は診断上の制約である。
すべてのコード、マニフェスト、シード単位のログは、正確な再現のためにリリースされます。
関連論文リスト
- Sparse Token Routing in Efficient Transformers [22.49571926071395]
SEWNは、2ストリームトランスフォーマーで、学習ゲートを使用してトークンを軽量またはフル容量の処理によってルーティングする。
ゲートのトークン・インポータンス信号は,パラメータマッチングベースラインに対して無視可能な精度変化を生じさせるが,ゲートのトークン・インポータンス信号は学習方法に大きく依存する。
論文 参考訳（メタデータ） (2026-08-21T00:15:13Z) - Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。
スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
論文 参考訳（メタデータ） (2026-08-10T19:42:01Z) - Grokking Is Conditional and Fragile: A Fully-Tractable, Multi-Seed Study at 12K Parameters [0.0]
グルーキングは単一の結果ではなく、マルチシードレートとして研究する。
この完全に牽引可能な状態グルーキングは条件付き、脆弱な相転移である。
論文 参考訳（メタデータ） (2026-07-06T13:58:31Z) - Legible-by-Construction: Attention and End-to-End Transformers [0.2663471820643486]
トランスのフィードフォワード層は明示的なファジィ集合演算から再構築することができる。
隠れたユニットは言語モデルの品質を犠牲にすることなく、名前付き論理演算子として読み上げられた。
125Mパラメータの5つの特別なアテンション設計において、44から62%の値チャネルが正当性を持つ。
論文 参考訳（メタデータ） (2026-07-05T14:08:59Z) - DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。
適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。
DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
論文 参考訳（メタデータ） (2026-06-30T20:57:51Z) - Explicit Fuzzy Logic in the Feed-Forward Layer: Self-Forgetting Quantifiers Discover Legible Grammatical-Licensing Detectors [0.2663471820643486]
NC-FFNはGELUベースラインのパープレキシティを結び、各ユニットは明示的な論理形式を持つ。
どちらも、シーケンス量子化器の小さなブロックで解決する。
その結果、パラメータニュートラルな言語モデル品質トランスが実現した。
論文 参考訳（メタデータ） (2026-06-30T15:46:27Z) - Attribution via Distributional Paths for Information Revelation [2.707154152696381]
Reveal-IGは、入力空間から構造化されたプローブ分布の空間への経路属性をリフトする。
安定して署名された属性を生成します - 残りの部分で競争力を維持しながら、アトリビューションサインを使用するメトリクスにつながります。
論文 参考訳（メタデータ） (2026-06-02T16:50:28Z) - When Does Complexity Conditioning Help a Frozen Sentence Embedding? A Controlled Study of Per-Sentence and Pair-Level Difficulty Adaptation [0.0]
一般的な直感では、文の埋め込みは入力の難易度に適応すべきである。
本研究では, 表面ベースの文間複雑性が, フリーズベースライン誤差とほとんど関係がないことを示す。
ホールドアウトクロスエンコーダ困難信号でゲートされた小さなペアレベル残差は、一貫した利得を得る。
論文 参考訳（メタデータ） (2026-06-02T07:04:58Z) - From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。
本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
論文 参考訳（メタデータ） (2026-05-21T04:54:55Z) - Finding Transformer Circuits with Edge Pruning [71.12127707678961]
自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。
本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。
その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
論文 参考訳（メタデータ） (2024-06-24T16:40:54Z) - Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析
本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。
我々の手法は、最先端の手法をクリアマージンで上回る。
論文 参考訳（メタデータ） (2023-07-16T16:32:14Z) - FastLR: Non-Autoregressive Lipreading Model with Integrate-and-Fire [74.04394069262108]
我々は,全てのターゲットトークンを同時に生成する非自己回帰(NAR)リップリーダーモデルであるFastLRを提案する。
FastLRは最先端のリップリーダーモデルと比較して10.97$times$のスピードアップを実現している。
論文 参考訳（メタデータ） (2020-08-06T08:28:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。