論文の概要: Cracks in the Foundation: Seemingly Minor Architectural Choices Impact Long Context Extension

• arxiv url: http://arxiv.org/abs/2608.10296v1
• Date: Mon, 10 Aug 2026 23:03:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.835424
• Title: Cracks in the Foundation: Seemingly Minor Architectural Choices Impact Long Context Extension
• Title（参考訳）: 財団のひび割れ - 最小限のアーキテクチャ選択が長期的コンテキスト拡張に影響を及ぼす
• Abstract要約: 我々は,高密度変圧器のパラダイムにおける構造変化が精度に限られた影響を及ぼすことを示した。 長いコンテキスト設定ではそうではないことを実証します。
• 参考スコア（独自算出の注目度）: 96.85790389598556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One might imagine that architectural variations within the dense transformer paradigm have a limited effect on accuracy. However, we demonstrate that this is not the case in the long context setting. Specifically, we show that a set of four minor architectural decisions --- all made by at least one of the Olmo, Llama, and Qwen dense model families --- have a compoundingly negative effect on long context extensibility. Any one of these choices alone has a minor impact on long context performance, but combining three or more can drop the performance downstream by up to 47%. Furthermore, these differences are not detectable from short-context loss or validation datasets. We show that much of the variation in long context ability across model families is driven by these architectural features and detectable from applying context extension early in pretraining. We demonstrate this with controlled ablations that hold data, tokenizer, and extension recipe fixed while varying normalization, GQA, pretraining context length, and sliding window attention. After over 170,000 GPU hours of training, we release the resulting set of models as OlmPool, a set of 26 comparable 7B models with checkpoints before and after long-context extension. This pool includes several architectures that outperform the Llama 3 architecture on long context extensibility. In an analysis of our ablation models, we identify patterns in attention sink behavior and attention distributions across context that are attributable to specific architectural differences.
• Abstract（参考訳）: 密度の強い変圧器のパラダイムにおけるアーキテクチャの変化は、精度に限られた影響を及ぼすと想像できるかもしれない。 しかし、長い文脈ではそうではないことを実証する。 具体的には、Olmo、Llama、およびQwenの高密度モデルファミリの少なくとも1つによってなされる4つの小さなアーキテクチャ上の決定の集合が、長期の文脈拡張性に対して複合的に負の効果を持つことを示す。 いずれの選択肢も、長いコンテキストのパフォーマンスに小さな影響を与えますが、3つ以上の組み合わせによって、パフォーマンスを最大47%下げることができます。 さらに、これらの違いは、短いコンテキスト損失や検証データセットから検出できない。 モデルファミリ間の長いコンテキスト能力の変動の多くは、これらのアーキテクチャ的特徴によって引き起こされ、事前学習の早い段階でコンテキスト拡張を適用することが検出可能であることを示す。 我々は、正規化、GQA、事前学習コンテキスト長、スライディングウィンドウアテンションを変化させながら、データ、トークン化、拡張レシピを保持できる制御されたアブリゲーションでこれを実証する。 トレーニングに170,000時間以上を費やした後に、得られたモデルのセットをOlmPoolとしてリリースしました。 このプールには、Llama 3アーキテクチャの長期拡張性を上回るいくつかのアーキテクチャが含まれている。 アブレーションモデルの解析において、特定のアーキテクチャの違いに起因する注意シンクの挙動と注意分布のパターンを同定する。

関連論文リスト

• The Illusion of Robustness: Aggregate Accuracy Hides Prediction Flips under Task-Irrelevant Context [76.36635039699112]
  大規模言語モデル(LLM)は、タスク入力に長く、部分的には関係のないコンテキストが伴うような、コンテキストに富んだ環境にますますデプロイされる。 現状のモデルはしばしば、集合レベルでのタスク非関連コンテキストに対して頑健に見える。 しかし、この集合安定性は、指数当たりの不安定性を著しくマスクする。
  論文  参考訳（メタデータ） (2026-07-14T17:01:12Z)
• DeepGaze3.5-VL: Modeling Scanpaths via Autoregressive Token Prediction [21.818459524136376]
  DeepGaze3.5-VLは、複数のデータセットにまたがる新たな最先端技術を確立し、MIT1003上で2.18ビットの情報ゲイン(IG)を実現し、DeepGaze IIIよりも46%改善した。 我々の生成フレームワークは、直接的行動介入のための強力な計算ツールとして機能し、生体内での動作が実験的に困難または不可能な、制御されたシリカ内シミュレーションを可能にします。
  論文  参考訳（メタデータ） (2026-07-02T12:25:45Z)
• DARTS-GT: Differentiable Architecture Search for Graph Transformers with Quantifiable Instance-Specific Interpretability Analysis [0.0]
  グラフトランスフォーマー(GT)は、グラフ構造化データのための強力なアーキテクチャとして登場したが、厳密な設計と定量化可能性の欠如により制約を受け続けている。 我々は、因果アブレーションによるGTの定量的解釈可能性フレームワークを開発した。 実験によると、DARTS-GTは4つのデータセットで最先端の再設計を実現し、他のデータセットとの競争は継続している。 我々の解釈可能性分析は、視覚的注意力の回復と因果的重要性が必ずしも相関しているわけではないことを示し、広く使われている可視化アプローチが実際に重要なコンポーネントを見逃すことを示唆している。
  論文  参考訳（メタデータ） (2025-10-16T06:15:42Z)
• Towards Long Context Hallucination Detection [49.195854802543714]
  大規模言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示している。 それらは文脈の幻覚に傾向があり、与えられた文脈に不一致または矛盾した情報を生成する。 本稿では,BERTのような事前学習したエンコーダモデルを用いて,長期のコンテキストを処理し,文脈の幻覚を効果的に検出するアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-04-28T03:47:05Z)
• Is Temporal Prompting All We Need For Limited Labeled Action Recognition? [11.47868206641396]
  コアCLIPアーキテクチャを変更することなく、時間的視覚的プロンプトを利用して時間的適応を行うCLIPの適応であるTP-CLIPを提案する。 TP-CLIPはCLIPアーキテクチャに効率的に統合され、ビデオデータに事前トレーニングされた機能を活用する。
  論文  参考訳（メタデータ） (2025-04-02T16:50:28Z)
• In-Context Learning with Long-Context Models: An In-Depth Exploration [92.16922648612807]
  大規模なラベル空間を持つ多くのデータセットでは、数千のデモでパフォーマンスが向上し続けています。 長文ICLは有効なツールであり,デモセットのエンコーディングに長文を必要としない可能性があることを示す。
  論文  参考訳（メタデータ） (2024-04-30T21:06:52Z)
• Is attention required for ICL? Exploring the Relationship Between Model Architecture and In-Context Learning Ability [39.42414275888214]
  そこで本研究では,テキスト内学習タスクのスイート間で因果言語モデリングが可能な13のモデルを評価する。 検討されたアーキテクチャはすべて、以前文書化されたよりも幅広い条件下でコンテキスト内学習を行うことができる。 いくつかの注意すべき代替手段は、トランスフォーマーよりもコンテキスト内学習者と競合することがある。
  論文  参考訳（メタデータ） (2023-10-12T05:43:06Z)
• Learning to Decompose: Hypothetical Question Decomposition Based on Comparable Texts [65.84370471189676]
  本研究は,分解型変圧器の大規模中間訓練について,比較テキストから遠ざかって検討する。 このような中間的事前学習により、多様なタスクのための堅牢な分解ベースモデルの開発がより実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-30T15:38:03Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)
• Segmentation of Macular Edema Datasets with Small Residual 3D U-Net Architectures [5.881334886616738]
  本稿では, 深部畳み込み型ニューラルネットワークの黄斑浮腫セグメンテーション問題への応用について検討する。 一般的な信念とは対照的に、このアプリケーション設定内のニューラルアーキテクチャは、大量のトレーニングサンプルを必要とせずに、目に見えないテストイメージ上での人間レベルのパフォーマンスに近いパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2020-05-10T15:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。