論文の概要: Placement Is Free, Composition Is Not: The Latin Square as a Provably-Balanced Construction for Heterogeneous Sequence-Mixer Stacks

• arxiv url: http://arxiv.org/abs/2609.20269v1
• Date: Wed, 29 Jul 2026 06:39:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.650149
• Title: Placement Is Free, Composition Is Not: The Latin Square as a Provably-Balanced Construction for Heterogeneous Sequence-Mixer Stacks
• Title（参考訳）: 配置は無料、構成は無料:不均質な配列とミクサーのスタックのための、おそらくベーシックな構造としてのラテンスクエア
• Abstract要約: Aether-7B-5Attnは,49層の配列混合機構を持つ実験用混合モデルである。 それぞれのメカニズムが各行や列に正確に1回現れるため、設計は深さをまたいだ露出のバランスが保証される。 性能は, 特定の置換ではなく, 奥行きに分布する不均一な組成に大きく依存することを示す。
• 参考スコア（独自算出の注目度）: 2.1763040274946337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since GPT, most Transformers have repeated the same attention mechanism at every layer. Yet this design is largely a convention rather than a tested conclusion. When multiple sequence mixers are combined in one stack, improvements may arise from mechanism choice, placement, or both, making causal attribution difficult. We introduce Aether-7B-5Attn, a 6.59B-parameter mixture-of-experts model ($\approx$2.98B active) whose 49 layers contain seven sequence-mixing mechanisms arranged as a $7\times7$ Latin square. Because each mechanism appears exactly once in every row and column, the design guarantees balanced exposure across depth while eliminating placement confounds. To evaluate this principle, we build a parameter-matched proxy with four mechanisms arranged as a $4\times4$ Latin square over sixteen layers, matched to 700.9M parameters and trained with eight seeds per arm. The results reveal a clear dissociation. Rearranging a distributed heterogeneous stack into a balanced periodic cycle changes validation loss by only 0.16\%, indicating that exact placement has little effect. In contrast, clustering the same mechanisms into contiguous depth bands incurs a 0.59\% penalty, while replacing the heterogeneous stack with a homogeneous one incurs a 1.68\% penalty. These results indicate that performance depends primarily on heterogeneous composition distributed across depth rather than on any particular permutation. We confirm this finding at 2.16$\times$ larger scale (1.514B parameters), where the homogeneous-stack penalty increases to 2.63\% and removing the SSM-family mechanism produces a 3.20\% degradation. We further report per-mechanism cost profiles, English and Korean evaluations, and a causal-safety audit of all 49 layers. We release model weights, training recipes, training code, logs, and architecture source code.
• Abstract（参考訳）: GPT以降、ほとんどのトランスフォーマーは同じ注意機構を各層で繰り返してきた。 しかし、この設計はテストされた結論よりもむしろ慣例である。 複数のシークエンスミキサーを1つのスタックに組み合わせると、メカニズムの選択、配置、あるいはその両方から改善が生まれ、因果帰属が困難になる。 Aether-7B-5Attn, 6.59B-parameter Mixed-of-experts model (\approx$2.98B active) は, 49層が7つの配列混合機構を7つのラテン正方形に配置したものである。 それぞれの機構が各行や列に正確に1回現れるため、配置ミスを排除しつつ、深さをまたいだ露出のバランスが保証される。 この原理を評価するために、我々は16層に4\times4$ラテン正方形を配置したパラメータマッチングプロキシを構築し、700.9Mパラメータに適合し、腕1本につき8つのシードで訓練した。 その結果、明らかな解離が明らかになった。 分散ヘテロジニアススタックをバランスの取れた周期サイクルに配置すると、バリデーション損失はわずか 0.16 % に変化し、正確な配置にはほとんど効果がないことを示す。 対照的に、同じ機構を連続的な深さバンドにクラスタリングすると、0.59\%のペナルティが生じるが、同質のペナルティは1.68\%のペナルティとなる。 これらの結果から, 性能は特定の置換ではなく, 深さに分散した不均一な組成に依存することが示唆された。 我々はこの発見を2.16$\times$大スケール(1.514Bパラメータ)で確認し、同種スタックのペナルティは2.63\%に増加し、SSMファミリー機構を除去すると3.20\%の劣化が生じる。 さらに, 機械的コストプロファイル, 英語と韓国語の評価, 49層すべてに対する因果安全監査について報告する。 モデルのウェイト、レシピのトレーニング、コードのトレーニング、ログ、アーキテクチャのソースコードをリリースしています。

関連論文リスト

• Bilevel Coordinated Reflection: A Game-Theoretic Approach to Multi-Agent LLM Systems [40.47928908205563]
  マルチエージェントLLMシステムは、一般的にオーケストレータを使用して、労働者のチームのためにタスクを分解し、テキストリフレクションによって改善する。 強い実証結果にもかかわらず、これらのシステムには調整、メモリ改善、外部検証の役割の統一的な説明が欠けている。 我々は,評価のための信頼ゲーティングと,断片的な静止環境に対する保証の再集計を行う。 実験では、これらのオブジェクトを環境条件付きメトリクスでインスタンス化し、予測調整法則とドリフト法則をテストする。
  論文  参考訳（メタデータ） (2026-09-02T15:50:10Z)
• Nonlocality-induced critical-length hierarchy from non-Hermitian competition [48.9823527611878]
  2つの連結鎖からなる短距離系において、競合は臨界長法則$N_csimln D$に導かれる。 ここでは、長距離ホッピングがこの臨界挙動を根本的に再編成し、異なるスケーリング法則の階層を生成することを示す。 この結果は,プログラム可能なトポ誘電回路,フォトニック格子,デジタル量子シミュレータでテスト可能なプラットフォーム非依存のフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-08-03T18:00:18Z)
• Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness [45.148328075418156]
  デプロイされた注文エージェントは、階層の固定された分類に分解される。 純粋なスイートは、ロックされたスライス単位のベースラインに対して、すべての変更でCIで動作する。 制御されたレグレッションインジェクションにより、安全でない7つの層に一度に1つの層を分解し、検証する。
  論文  参考訳（メタデータ） (2026-06-10T05:55:13Z)
• When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation [9.055086193088083]
  10大言語モデルによって駆動されるチェーン・オブ・シンクとReActエージェントに経験的現象を記述した。 平均的な摂動は、同等の厳しさのプレゼンテーション摂動よりも、最終的な答えを頻繁に変更する。
  論文  参考訳（メタデータ） (2026-05-25T15:57:11Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Not Just RLHF: Why Alignment Alone Won't Fix Multi-Agent Sycophancy [0.7212939068975618]
  事前訓練されたベースモデルは、インストラクトの変種と同じ置換パターンを示し、インストラクトよりも高い収率を平均化する。 このウィンドウの上のパッチは、クリーンにプレッシャーされたP(正しい)ギャップの96%を復元する。 2つの凝縮活性化空間介入は、新しいサイコファンシー回路を活性化するのではなく、圧力がクリーンな推論特性を抑制することを示している。
  論文  参考訳（メタデータ） (2026-05-13T04:45:08Z)
• Clustered Switchback Designs for Experimentation Under Spatio-temporal Interference [44.644520116360106]
  我々は, 平均治療効果 (GATE) を推定し, 全単位を常に治療やコントロールに曝露した平均結果の差を推定した。 そこで我々は,単位をクラスタにグループ化し,時間ステップをブロックにグループ化する,クラスタ化されたスイッチバック設計を提案する。 良好なクラスタリングを許容するグラフに対して, トラッピングされたHorvitz-Thompson推定器が$tilde O(1/NT)$平均二乗誤差(MSE)を達成することを示す。 我々の結果は、citethu2022switchback、ugander2013graph、citetleung2022rateの結果を同時に一般化する。
  論文  参考訳（メタデータ） (2023-12-25T01:00:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。