論文の概要: TraceRelay: Attention-Aligned Recurrence over Rolling Traces
- arxiv url: http://arxiv.org/abs/2610.11743v1
- Date: Thu, 08 Oct 2026 11:34:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.982032
- Title: TraceRelay: Attention-Aligned Recurrence over Rolling Traces
- Title（参考訳）: TraceRelay: ローリングトレースに対する注意調整された再帰
- Abstract要約: TraceRelayは、低次元のトレースのローリングシーケンス上に永続的な表現を分散する、注目に合ったリカレントアーキテクチャである。
等間隔リピートによる36個の小型モデル実行, 境界ダイク閉鎖型予測, 因果モストフリーク生成について検討した。
- 参考スコア（独自算出の注目度）: 3.0459410574367314
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present TraceRelay, an attention-aligned recurrent architecture that distributes persistent representations over a rolling sequence of low-dimensional traces. Local right looking attention forms increments from lower-layer representations; delivery is delayed until all attended inputs are in the causal past. A fixed additive phase recurrence accumulates the delayed increments, and left-looking attention reads the resulting residual augmented stream. A stride-wise prefix sum supports parallel prefill and bounded-buffer continuation. We study 36 small-model runs on Equal Repeats, bounded Dyck closing-type prediction, and causal Most-Freq generation, using three seeds per setting. At trained length 256, Equal Repeats models with recurrent phase inheritance reach 98.81-99.69% accuracy versus 50.73-51.63% for separately trained variants without inheritance, despite the latter receiving more updates. Accuracy drops sharply at lengths beyond the training range. At the longest evaluated lengths, models with more dimensions in the middle layer's recurrent traces perform better on Dyck (76.34% versus 55.49% close accuracy at length 4096), whereas models with fewer trace dimensions perform better on five-symbol Most-Freq (70.74% versus 55.60% exact generation at length 1024). These contrasting cases motivate further study of how the size of recurrent representations should be chosen for different tasks, without establishing a general rule across tasks or model configurations.
- Abstract（参考訳）: 我々は、低次元トレースのローリングシーケンス上に永続的な表現を分散する、アテンションアライン・リカレントアーキテクチャであるTraceRelayを提案する。
ローカル右見注意は下位層表現からの増分を形成し、全ての入力が因果過去に入るまで配信は遅れる。
固定加算位相繰り返しは遅延したインクリメントを蓄積し、左の注意は、結果として生じる後続の増分ストリームを読み取る。
stride-wiseプレフィックスの和は、並列プリフィルとバウンドバッファ継続をサポートする。
本研究は,36個の小型モデルがEqual Repeats,Bunded Dyck Close-type Prediction,およびCousal Most-Freq Generationで実行され,各セッティングあたりの3つの種を用いた。
Equal Repeats は 256 のトレーニング期間で 98.81-99.69% の精度を達成した。
トレーニング範囲を超えて、正確さは急激に低下します。
最長評価された長さでは、中間層のリカレントトレースがより多くの次元を持つモデルの方がDyck(76.34%対55.49%の精度で4096)より優れているが、5つのシンボルであるMost-Freq(70.74%対55.60%の精度で1024)より少ないモデルの方が優れている。
これらの対照的なケースは、タスクやモデル構成にまたがる一般的なルールを確立することなく、異なるタスクに対して繰り返し表現のサイズをどのように選ぶべきかについて、さらなる研究を動機付けている。
関連論文リスト
- Towards Better Exploration in Sequential Test-Time Scaling [44.159903234602496]
テストタイムのスケーリングは、推論に計算を追加することで、言語モデルの推論を改善する。
パラレルメソッドは、モデルから独立した回答を繰り返しサンプリングし、モデルが1回の試行で解決しそうにない問題に対して、スケールが不十分である。
我々は、新しいアイデアにアクセスするために、以前の回答に基づいてシーケンシャルな手法が構築されていることを示すが、これまでのところ、並列スケーリングによって見いだされた以上の回答には到達していない。
論文 参考訳（メタデータ） (2026-09-30T12:39:00Z) - One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。
また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。
Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
論文 参考訳（メタデータ） (2026-09-20T14:54:35Z) - ThinkRetrieve: Retrieval-Augmented Reasoning Traces for Test-Time Scaling [60.48279351544583]
ThinkRetrieveは大規模な推論モデルのためのテスト時間スケーリングフレームワークである。
それぞれの中間ステップで関連する例を検索し、思考トレースに直接注入する。
標準的なテスト時間スケーリングよりも精度が一貫して向上する。
論文 参考訳（メタデータ） (2026-08-11T13:58:07Z) - SketchMamba: A Lightweight State-Space Model for Joint Progressive Sketch Classification and Stroke Auto-Completion [0.0]
既存のベクトルスケッチモデルは、認識と生成を別のタスクとして扱う。
スケッチマンバ(SketchMamba)は、任意の部分的な接頭辞からスケッチを連続的に分類し、その継続を同時に生成する単一因果配列モデルである。
論文 参考訳（メタデータ） (2026-07-26T10:05:23Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - When Reasoning Traces Become Performative: Step-Level Evidence that Chain-of-Thought Is an Imperfect Oversight Channel [5.106950500256654]
CoT(Chain-of- Thought)トレースは、言語モデルの能力向上とモデルの振る舞いの監査にますます利用されている。
我々は、この仮定を、回答コミットプロキシを中心に構築されたステップレベルのDect-Classify-Compareフレームワークでテストする。
9つのモデルと7つの推論ベンチマーク、潜在コミットメント、明示的な回答到着は平均61.9%のステップで一致している。
論文 参考訳（メタデータ） (2026-05-12T08:24:47Z) - Scaling Test-Time Compute for Agentic Coding [126.72747643609274]
本稿では,ロールアウト軌跡のコンパクトな表現に基づくエージェントコーディングのためのテスト時間スケーリングフレームワークを提案する。
当社のフレームワークは,各ロールアウトを,その健全な仮説,進捗,障害モードを保存する構造的な要約に変換する。
提案手法は,SWE-Bench Verified および Terminal-Bench v2.0 におけるフロンティア符号化エージェントの性能を一貫して改善する。
論文 参考訳（メタデータ） (2026-04-16T17:39:33Z) - Output Scaling: YingLong-Delayed Chain of Thought in a Large Pretrained Time Series Forecasting Model [55.25659103706409]
このフレームワークは,設計した基盤モデルであるYingLongの最先端性能を実現する。
YingLongは、マスク付きトークンリカバリによってトレーニングされた非因果的双方向アテンションエンコーダのみのトランスフォーマーである。
我々は、6Mから3Mパラメータの4つの基礎モデルをリリースし、ゼロショットタスクにおいて優れた結果を示す。
論文 参考訳（メタデータ） (2025-05-20T14:31:06Z) - S-GRPO: Early Exit via Reinforcement Learning in Reasoning Models [2.9925837108958864]
テスト時間スケーリングは、大規模な言語モデルコミュニティに活発な研究対象として現れます。
最近の研究では、推論モデル(Qwen3でさえも過度の思考冗長性を示すことが示されている。
本稿では,新たな強化学習パラダイムであるS-GRPO(Serial-Group Decaying-Reward Policy Optimization)を紹介する。
論文 参考訳（メタデータ） (2025-05-12T15:50:44Z) - Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic
Parsing [55.97957664897004]
seq2seq、非自動回帰的、タスク指向を構築するための効果的なレシピは、3つのステップで発話とセマンティックフレームをマッピングする。
これらのモデルは通常、長さ予測によってボトルネックとなる。
本研究では,デコードタスクをテキスト生成からスパン予測へシフトさせる非自己回帰手法を提案する。
論文 参考訳（メタデータ） (2021-04-15T07:02:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。