論文の概要: Planning or Improvisation? Stress-Testing the Poetry Planning Site on Open Models and Open Cross-Layer Transcoders
- arxiv url: http://arxiv.org/abs/2609.18440v1
- Date: Wed, 16 Sep 2026 10:30:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.756079
- Title: Planning or Improvisation? Stress-Testing the Poetry Planning Site on Open Models and Open Cross-Layer Transcoders
- Title(参考訳): プランニングか改善か? オープンモデルとオープンクロスレイヤトランスコーダ上での詩プランニングサイトをストレステストする
- Abstract要約: クロード3.5 俳句計画:線が書かれる前の新線で候補韻文の特徴が活動している。
我々は図13の形状を再現するが、その機構は再現しない。
- 参考スコア(独自算出の注目度): 0.7310043452300737
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lindsey et al. (2025) report that Claude 3.5 Haiku plans rhymes: features for candidate rhyme words are active on the newline before a line is written, and a suppress-and-inject intervention redirects the line only when applied there (their Figure 13). We test how far this generalizes on seven cells crossing four open models (0.6B to 2.6B parameters) with six open cross-layer transcoders (CLTs), on one consumer GPU, decomposing the claim into position specificity (C1), newline site identity (C2), and a newline-resident plan (C3). This is a stress test rather than a faithful reproduction: attribution graphs are unavailable for these CLTs, so features are found bottom-up from decoder vectors. C1 generalizes, in every cell and in all 247 of 444 prompt-by-inject pairs with a detectable effect, but the effective position is the final prompt token, adjacent to emission, and only two cells reach behaviorally meaningful probabilities. C2 and C3 are not recovered by any probe: a census of every active feature finds no rhyme-anticipating enrichment at the newline, and steering the newline while the model composes the whole line, over 36 runs and 8,640 sampled lines, shows why. That intervention is strong but one token long, making the injected word the first word of the composed line in 703 of 720 samples and leaving the rhyme six words later untouched. A final test drops the transcoder entirely: patching the newline's whole residual, at every layer, from a minimal-pair poem whose third line ends on a different rhyme moves the rhyme in 11 of 1,260 composed lines against 4 at baseline, with a design resolving 1.4%. We read this as a boundary condition rather than a refutation: at this scale and with these transcoders, the causal site is emission-adjacent. We reproduce Figure 13's shape, not its mechanism. Code and data are public (code: github.com/PCfVW/poetry-planning-site).
- Abstract(参考訳): Lindsey et al (2025) はClude 3.5 Haiku plan rhymes: Feature for candidate rhyme words are active on the newline before a line before a line, and a suppress-and-inject intervention is redirects the line only when here (the Figure 13) と報告している。
これは、オープンモデル(0.6Bから2.6Bパラメータ)と6つのオープンクロスレイヤートランスコーダ(CLT)を交差する7つのセルと、1つのコンシューマGPUで、クレームを位置特異性(C1)、新ラインサイトID(C2)、新ラインレジデントプラン(C3)に分解する。
これは忠実な再現ではなくストレステストであり、帰属グラフはこれらのCLTでは利用できないので、デコーダベクトルからボトムアップが見つかる。
C1は、全ての細胞と444のプロンプト・バイ・インジェクション・ペアの247個全てにおいて、検出可能な効果で一般化するが、有効な位置は、放出に隣接した最後のプロンプトトークンであり、2つの細胞のみが行動に意味のある確率に達する。
C2 と C3 は、どのプローブでも回収されない: 全てのアクティブな特徴の国勢調査では、ニューラインでリズム予測の豊かさは見つからず、モデルが全ラインを構成している間に、36回のランと8,640回のサンプルラインがその理由を示している。
この介入は強いが、1つのトークンが長く、インジェクトされた単語は720のサンプルのうち703行の最初の単語となり、後に韻文の6つの単語は触れられなくなった。
最後のテストでは、すべてのレイヤにおいて、新ラインの全残をパッチする3行目が異なる韻律で終わる最小のペアの詩から、1260行目のうち11行目がベースラインで4行目とされ、デザインが1.4%であるように、トランスコーダを完全に落としている。
このスケールとトランスコーダでは、因果的部位は排ガスに隣接している。
我々は図13の形状を再現するが、その機構は再現しない。
コードとデータは公開されています(コード: github.com/PCfVW/poetry-planning-site)。
関連論文リスト
- Can Scene Text Recognition Read Rare Compositions? [1.7844382164707184]
6つの標準ベンチマークにおいて、シーンテキスト認識は89-97%正確であると報告され、その問題が飽和として広く扱われている。
私たちは代替の読書を提示する。
同じテスト画像が、基準コーパスに対して、接地的単語の規則性と文字n-gramの新規性によって共同で成層されると、結果の5x5グリッドのレアワードxレアトリグラムコーナーでの精度は、q3/q3センタより10〜18pt下方に低下する。
論文 参考訳(メタデータ) (2026-09-01T07:16:42Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳(メタデータ) (2026-07-17T17:41:16Z) - Line-Anchored Feedback Cuts Token Costs and Improves Correctness in AI Code Editing [0.0]
生成トークンは、生成AI(GAI)コード編集のコスト、レイテンシ、エネルギの直接的なドライバである。
フィードバックの形式は3つすべてに対してレバーであることを示す。
ラインアンコールされたフィードバックは、より強力なモデルに費やされるコストを削減し、より弱いモデルで得られるコストを改善する。
論文 参考訳(メタデータ) (2026-07-14T12:40:27Z) - Reading Order Inference for Complex Document Layouts [0.784573461502689]
本稿では,非モデル化されたテキスト・アズ・ア・レポートの精度を評価する手法を提案する。
非正方形・非正方形テキストの標準Grossainariaレイアウトと比較した。
論文 参考訳(メタデータ) (2026-07-01T14:52:00Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳(メタデータ) (2026-06-29T06:39:03Z) - Output Vector Editing for Memorization Mitigation in Large Language Models [68.30351930772788]
大規模な言語モデルは、トレーニングデータからシーケンスを記憶し、再現し、プライバシ、著作権、セキュリティリスクを生み出す。
既存のニューロンレベルの緩和方法は、ニューロンの活性化をゼロにすることで編集を等しくするが、活性化はニューロンが関与するかどうかのみを制御する。
記憶継続に責任を負うニューロンの小さな集合を探索する制約最適化編集である出力ベクトル編集を提案する。
論文 参考訳(メタデータ) (2026-06-17T07:29:18Z) - Surflo: Consistent 3D Surface Flow Model with Global State [57.57234680235885]
Surfloは、方向付けられた3次元表面点を、ノイズからフローマッチングを通じて独立して表面へ輸送することでデコードする。
独立なポイント単位の復号化に固有の局所的不整合を抑制するために、光度勾配を注入することにより、推定時間誘導項が近傍の点と相関する。
Surfloは、サーフェスメトリクスのフィードフォワードベースラインにマッチし、数百のビューを必要とする最適化ベースのメソッドよりも桁違いに高速に動作し、グローバルなラテントと任意の解像度のデコーディングを組み合わせた唯一のフィードフォワードアプローチである。
論文 参考訳(メタデータ) (2026-06-11T17:48:38Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳(メタデータ) (2026-06-02T06:51:15Z) - Where's the Plan? Locating Latent Planning in Language Models with Lightweight Mechanistic Interventions [0.0]
前方通過時に構造的に制約された未来のトークンの内部表現が形成される言語モデルにおける計画的サイト形成について検討する。
Qwen3, Gemma-3, Llama-3の2つの軽量な手法(線形探索とアクティベーションパッチ)を10以上のスケールで適用する。
我々はGemma-3-27Bハンドオフを2段階の経路パッチで5つの注意点にローカライズする。
論文 参考訳(メタデータ) (2026-05-08T16:44:21Z) - Perturbation Dose Responses in Recursive LLM Loops: Raw Switching, Stochastic Floors, and Persistent Escape under Append, Replace, and Dialog Updates [0.0]
我々は、他のどこかで落ち着いたループを動かすのに、注入されたテキストがどれだけ必要か、そしてそれが継続するかどうかを調査する。
12,000文字の尾クリップの下では、目的地とコヒーレントな持続性台地が16%近く、ソースとバスンの脱出は36%近くで400。
4段階のファルシフィケーション・バッテリは、高線量のデスティネーションコヒーレントディップを有限水平、エンドポイント定義感度の特徴として再キャストする。
論文 参考訳(メタデータ) (2026-05-04T05:16:43Z) - PlueckerNet: Learn to Register 3D Line Reconstructions [57.20244406275875]
本稿では,ユークリッド空間における2つの部分重畳された3次元線再構成の問題をニューラルネットワークで解く手法を提案する。
室内および屋外の両方のデータセットを用いた実験により,本手法の登録精度(回転と翻訳)は,ベースラインを著しく上回ることがわかった。
論文 参考訳(メタデータ) (2020-12-02T11:31:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。