論文の概要: One Model, Two Paths: Balancing Single-Pass and Looped Performance in Language Models

• arxiv url: http://arxiv.org/abs/2610.33517v1
• Date: Sat, 24 Oct 2026 07:50:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.351236
• Title: One Model, Two Paths: Balancing Single-Pass and Looped Performance in Language Models
• Title（参考訳）: 1つのモデル、2つのパス:言語モデルにおける単一パスとループ性能のバランス
• Abstract要約: 事前訓練されたモデルは、シングルパスとループ推論の両方をサポートするように適応できる。 両出力の重み付き損失を用いた共同トレーニング戦略について検討し,凍結モデルによる指導を行った。
• 参考スコア（独自算出の注目度）: 7.173291377356816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Repeating Transformer layers can improve language-model performance without adding parameters. A pretrained model can be adapted to support both single-pass and looped inference by reusing middle-layer weights for additional computation. Because both paths share weights, training to improve looped predictions can degrade single-pass quality. We study joint training strategies using weighted losses on both outputs, with guidance from the frozen original model. Joint supervision substantially reduces single-pass degradation compared to looped-only training, while preserving looped gains over ordinary continued training. Most of this benefit comes from adjusting the single-pass loss weight, with guidance from the frozen original model further improving the looped output. With validation-selected weights, our method preserves single-pass quality within a predefined tolerance of ordinary continued training while improving looped predictions.
• Abstract（参考訳）: Transformerレイヤの繰り返しは、パラメータを追加することなく言語モデルのパフォーマンスを改善することができる。 事前訓練されたモデルは、追加計算のために中間層重みを再利用することで、シングルパスとループ推論の両方をサポートするように適応することができる。 どちらの経路も重みを共有しているため、ループ予測を改善するトレーニングはシングルパスの品質を低下させる可能性がある。 両出力の重み付き損失を用いた共同トレーニング戦略について検討し,凍結モデルによる指導を行った。 共同指導は、通常の継続訓練よりもループドゲインを保ちながら、ループドオンリートレーニングに比べてシングルパス劣化を著しく低減する。 この利点のほとんどはシングルパス損失重量の調整によるものであり、凍結されたオリジナルのモデルからのガイダンスによりループ出力がさらに改善されている。 検証選択重みでは、ループ予測を改善しつつ、通常の継続訓練の既定許容範囲内でシングルパス品質を保っている。

関連論文リスト

• Getting Your Guidance Weights Right in diffusion and flow-matching posterior sampling [9.936647565054427]
  プラグ・アンド・プレイ法(Plug-and-Play method)とも呼ばれる無訓練後サンプリング法は、逆問題を解決するために事前訓練された非条件拡散またはフローマッチングモデルを利用する。 これらのガイダンスの重み付けを自動的に調整するための、シンプルで原則化されたオフライン戦略を導入します。 提案手法は後部サンプリングを改良し,拡散法およびフローマッチング法にまたがる最先端の再構成性能を実現する。
  論文  参考訳（メタデータ） (2026-10-02T16:01:38Z)
• SALD: Self-Referenced Advantage Learning for Diffusion Models [17.97255330547036]
  同じモデルを用いて,2つの雑音レベルにおける各画像キャプチャペアの評価を行う,自己参照型トレーニングフレームワークSALDを紹介する。 すべてのコンポーネントは1組のモデルパラメータを共有しており、トレーニングや推論中に外部の教師ネットワークも追加のトレーニング可能なパラメータも必要とせず、推論手順の変更も不要である。
  論文  参考訳（メタデータ） (2026-10-01T11:37:37Z)
• Balancing Stability and Plasticity in Sequentially Trained Early-Exiting Neural Networks [11.704570155438887]
  早期に出現するニューラルネットワークは、中間分類器で入力を出力することで適応推論を可能にする。 モデルの異なるレベルで動作する2つの代替手法を提案する。 標準ベンチマークの実験は、我々のアプローチが早期終了性能を一貫して改善していることを示している。
  論文  参考訳（メタデータ） (2026-05-06T18:36:32Z)
• Prior Constraints-based Reward Model Training for Aligning Large Language Models [58.33118716810208]
  本稿では,この問題を解決するために,事前制約に基づくリワードモデル(PCRM)のトレーニング手法を提案する。 PCRMは、前回の制約、特に各比較ペアの出力間の長さ比とコサイン類似性を、最適化の規模を調節しスコアマージンを制御するための報酬モデルトレーニングに組み入れている。 実験結果から,PCRMは報酬スコアのスケーリングを効果的に抑制することによりアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-01T07:49:11Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。