論文の概要: Can Language Models Learn While They Think? Testing Gradient Adaptation Across Architectures

• arxiv url: http://arxiv.org/abs/2610.33025v1
• Date: Sat, 10 Oct 2026 17:32:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:06:26.141775
• Title: Can Language Models Learn While They Think? Testing Gradient Adaptation Across Architectures
• Title（参考訳）: 言語モデルは思考しながら学ぶことができるか? アーキテクチャ間のグラディエント適応をテストする
• Abstract要約: 動的評価(Dynamic Evaluation)として知られる、読み上げているテキストのグラデーションステップを言語モデルにとらせれば、その損失は減少する。 本稿では,ハイブリッドリニアアテンションアーキテクチャ,拡散言語モデル,標準長文ベンチマークの更新について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Letting a language model take gradient steps on the text it is reading, known as dynamic evaluation, lowers its loss on the rest of the document. Its behaviour on hybrid linear-attention architectures, on diffusion language models, and on standard long-context benchmarks has not been measured. We measure it. With one SGD step per 128-token chunk on the MLP output projections of the last quarter of blocks, no training, and a 2k-token window, softmax-attention models (Qwen3-1.7B, Qwen3-4B, Gemma-4-E4B) lose 5-8% of their next-token loss over a document and outperform the same frozen model given the full 32k-token context. Hybrid Gated-DeltaNet models (Qwen3.5-4B, Qwen3.8-27B) gain under 1% at every learning rate: the linear-attention blocks already perform the adaptation. The mechanism transfers to masked-diffusion models with a larger effect, 8% on Nemotron-Diffusion-8B and 17-20% on DiffusionGemma-26B, once the rate is lowered and updates are clipped. Across RULER, BABILong, LongBench-v2, SCOTUS, HotpotQA, MuSiQue, ContractNLI and citation completion, at 100 or more items on two model sizes, weights updated on the full document recover none of the accuracy lost to context truncation: the adaptation is style and vocabulary, not retrieval. Writing facts with the next-token loss stores the prompt format rather than the fact (30% recall under chat prompting against 80% in context) and costs 36-38 GSM8K points at every dose. Writing a conclusion as behaviour instead, by distilling the model's own conclusion-conditioned judgments into a low-rank adapter, reaches the in-context ceiling (0.83 and 0.88 against 0.84 and 0.88 on 100 games) with GSM8K unchanged, and the conclusion can come from an inquiry loop that found it by asking information-gain questions.
• Abstract（参考訳）: 動的評価(Dynamic Evaluation)として知られる、読み上げているテキストのグラデーションステップを言語モデルにすることで、ドキュメントの残りの部分の損失を減少させる。 ハイブリッド線形アテンションアーキテクチャ、拡散言語モデル、標準長文ベンチマークにおけるその挙動は測定されていない。 私たちはそれを測定します。 ブロックの最後の4分の1のMLP出力プロジェクション上の1つのSGDステップ、トレーニングなし、2kのウィンドウ、ソフトマックスアテンションモデル(Qwen3-1.7B、Qwen3-4B、Gemma-4-E4B)は、ドキュメント上の次のトーケン損失の5-8%を失い、32kのトーケンコンテキストで与えられた同じフリーズモデルを上回る。 ハイブリッドGated-DeltaNetモデル(Qwen3.5-4B、Qwen3.8-27B)は学習速度毎に1%以下になる。 この機構は、より大きな効果で、ネモトロン拡散8Bが8%、拡散ゲルマ26Bが17-20%のマスク拡散モデルに転移し、速度が低下し、更新が切断される。 RULER, BABILong, LongBench-v2, SCOTUS, HotpotQA, MuSiQue, ContractNLI および citation completion の2つのモデルサイズに関する100以上の項目において、フルドキュメントで更新された重みは、コンテキストトランケーションに失われる正確さを回復する: 適応はスタイルと語彙であり、検索ではない。 次回の損失で事実を書くことは、事実よりもプロンプトフォーマットを記憶する(チャット中の30%のリコールは、コンテキストの80%に対して促される)。 その代わりに、モデル自身の結論条件の判断を低ランクのアダプタに蒸留することで、GSM8Kを変更せずに、GSM8Kでコンテキスト内天井(0.83と0.88対0.84と0.88対100ゲーム)に到達する。

関連論文リスト

• Loopholing All the Way: Language Modeling with pure Self-Conditioning [54.97073429458703]
  最近の拡散言語モデル(DLM)は、自己定義(SC)またはループホリング(Loopholing)を使用してパフォーマンスを改善する。 提案するLAW (Loopholing All the Way'') は,各ステップにまたがるデノイザの予測の下で,期待される埋め込みを伝搬する。 Sudokuでは、LAWは以前の離散および連続拡散モデルより優れています。 Mazeでは、LAWは2から64 NFEが最も正確である。
  論文  参考訳（メタデータ） (2026-10-21T17:25:08Z)
• INTACT: Inducing Latent Reasoning on a Frozen Backbone [26.167089852503242]
  凍結したバックボーンモデルにおいて、小さな外部エンコーダを用いて遅延推論を誘導する。 IntACTはこのエンコーダを蒸留により訓練し、記述された推論ステップの効果を再現する。 また、問題ごとのエンドツーエンドのレイテンシをLlama-3.2-3Bで19%削減し、3Bスケールと8Bスケールで評価された遅延推論ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-10-14T04:35:34Z)
• Self-Generated Feedback Destabilizes Test-Time Training: A Causal Decomposition of Long-Horizon Adaptation [55.54635884641362]
  テストタイムトレーニングは、モデルが推論中に重みに情報を格納することを可能にする。 各更新では、次のトレーニング例を生成するモデルも変更される。 生成されたテキストの更新を保持する128Kのトーケンストリームは、独立した人文テキストの予測を悪化させる。
  論文  参考訳（メタデータ） (2026-10-04T09:21:14Z)
• DScale: Scaling Block-Diffusion Speculative Decoding with Adaptive Verification [23.045325370450257]
  ブロック拡散投機的復号法は、検証パディング、拒否された候補、可変接頭辞と固定形グラフの不整合に悩まされる。 私たちはDScaleを紹介し、ドラフトアアーキテクチャ、ウェイト、および完全なドラフトの長さを保存します。
  論文  参考訳（メタデータ） (2026-09-29T13:17:43Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Kathleen Writes: Autoregressive Generation and Data Scaling Without Attention [0.0]
  我々は, 事前学習をせずに, 450-700Kパラメータの分類に基づく強いベースラインと, バイトレベルのアテンションフリーアーキテクチャを一致させることができることを示した。 我々は「テキストのように読む」ための非パラメトリックなゲーム抵抗楽器FORM DISTANCEを紹介する。 また,4つのアーキテクチャ追加が役に立たないことを報告し,その5分の1のパラメータで,学習テーブルのトップ1の精度の94%に達する計算辞書を作成した。
  論文  参考訳（メタデータ） (2026-08-05T10:44:26Z)
• Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models [0.0]
  2つの実験は、保持された汚染のない合成コーパス上の3つの因子全てを横断する。 実験1では,規則数Nが10から160に増加するにつれて,命令追従減衰を測定する。 実験2では, 2k-to-512k-tokenのコンテキストラグ上での精度, 虚偽の前提条件, ファクトファクトファクトファクチャリングの測定を行った。
  論文  参考訳（メタデータ） (2026-07-21T16:31:35Z)
• CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression [77.41779716950387]
  本稿では,2チャンネル評価プロトコルであるCavewomanについて述べる。 我々は5つのデータセットの8つのモデルを5つの還元レベルで評価し、両方のチャネルは同じ項目で測定した。
  論文  参考訳（メタデータ） (2026-06-23T02:56:48Z)
• SomaliBench Eval: Measuring English-to-Somali Refusal Gaps in Open-Weight Language Models [0.0]
  SomaliBench v0。 4つのモデルすべてに対して、大きな英語とソマリアの拒絶ギャップが見つかる。 3つのモデルにおいて、支配的なソマリアの非拒絶モードは、有害なコンプライアンスに恵まれず、不明確な出力である。
  論文  参考訳（メタデータ） (2026-05-25T04:45:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。