論文の概要: BatchParScale: Sparse Batch-Mixing for Sequence Models

• arxiv url: http://arxiv.org/abs/2610.25254v1
• Date: Sun, 18 Oct 2026 13:14:40 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:05:17.581064
• Title: BatchParScale: Sparse Batch-Mixing for Sequence Models
• Title（参考訳）: BatchParScale:シーケンスモデルのためのスパースバッチミキシング
• Abstract要約: BatchParScaleは、並列ストリームが小さな通信位置を通して情報を交換することを可能にする。 我々は,BatchParScaleを新しい並列ニードル・イン・ア・ヘイスタック検索ベンチマークで評価し,事前学習,微調整,協調的マルチエージェント強化学習を行った。
• 参考スコア（独自算出の注目度）: 11.09559407806515
• License:
• Abstract: Recent test-time scaling methods improve model performance by increasing inference-time compute. One practical form of this is parallel scaling, where a model samples multiple independent reasoning streams and aggregates their answers using methods like voting, reranking, or verification. While effective, this approach leaves the streams uncoordinated, and a discovery made in one rollout cannot influence any other. Multi-Sequence Verifiers jointly score candidate answers after generation, but the reasoning streams remain independent during inference. ParScale takes a step toward model-internal parallel scaling by learning to aggregate multiple forward passes, but its streams still do not exchange information while processing a sequence. We introduce BatchParScale, an attention mechanism that allows parallel streams to exchange information through a small set of communication positions. We evaluate BatchParScale on a new Parallel Needle-in-a-Haystack retrieval benchmark and in pretraining, fine-tuning, and cooperative multi-agent reinforcement learning. Across these settings, BatchParScale outperforms ParScale on language-model loss and remains competitive on coordination-sensitive MARL tasks. Masked pretraining runs beat an unmasked single-sequence baseline despite local sequence corruption, and LoRA fine-tuning shows the mechanism can be added to a pretrained Transformer. At the same time, fact retrieval performance for pretrained and finetuned BatchParScale models remains unclear.
• Abstract（参考訳）: 最近のテスト時間スケーリング手法は、推論時間計算を増やしてモデル性能を向上させる。 モデルが複数の独立した推論ストリームをサンプリングし、投票、再ランク付け、検証といった手法を使って回答を集約する。 このアプローチは効果があるが、ストリームは非コーディネートされ、ひとつのロールアウトで発見された発見は他の何にも影響しない。 マルチシーケンス検証器は生成後に候補回答を共同でスコアするが、推論中は推論ストリームは独立したままである。 ParScaleは、複数のフォワードパスを集約することを学ぶことによって、モデル内部の並列スケーリングに向かって一歩前進するが、そのストリームは、シーケンス処理中に情報を交換しない。 BatchParScaleは、並列ストリームが小さな通信位置を通して情報を交換できるアテンションメカニズムである。 我々は,BatchParScaleを新しい並列ニードル・イン・ア・ヘイスタック検索ベンチマークで評価し,事前学習,微調整,協調的マルチエージェント強化学習を行った。 これらの設定全体で、BatchParScaleは言語モデル損失でParScaleより優れており、調整に敏感なMARLタスクでは競争力がある。 仮設プレトレーニングランは、局所的なシーケンスの破損にもかかわらず、未成熟の単一シーケンスベースラインを破り、LoRAの微調整は、事前トレーニングされたトランスフォーマーにメカニズムを追加することができることを示している。 同時に、事前訓練および微調整されたBatchParScaleモデルのファクト検索性能も未定である。

関連論文リスト

• Controlled Decoding Attacks on Black-Box LLMs [68.46062477706256]
  Methodは、繰り返しサンプリングとアシスタント-継続を可能にする、テキストのみの継続インターフェイスを通じてジェイルブレイクを行うためのフレームワークである。 Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、配布の再構築と修正をいつ行うかを決定する。 Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
  論文  参考訳（メタデータ） (2026-09-29T07:58:49Z)
• Distilling Sequential Computation in Transformer Language Models [27.155933358949213]
  Transformer言語モデルでは、トークン単位のシーケンスを自動回帰的に処理する。 入力トークンのスパンを崩壊表現に置き換えることで逐次計算を蒸留する手法を提案する。
  論文  参考訳（メタデータ） (2026-09-23T02:02:57Z)
• Manifold Projection and Iterative Autoencoder Refinement for Masked Language Modeling [1.3254304182988284]
  Transformerベースの言語モデルでは、注意がコンテキストミキシングの主要なメカニズムである。 私たちは、低ランクのオートエンコーダから同じボトルネック特性を得る代替手段を構築します。 我々のアーキテクチャは、C4で事前訓練された場合、約1.9倍のFLOPで注目され、パラメータマッチングされたBERTベースラインで評価される。
  論文  参考訳（メタデータ） (2026-09-09T14:33:05Z)
• Mean-Field Parallel Decoding for Discrete Diffusion Language Models [47.086589631406035]
  並列更新をコーディネートするトレーニングフリーなデコードフレームワークを導入する。 変動緩和は、矛盾する同時コミットを抑制する単純な固定点更新をもたらす。 推論とコード生成ベンチマークの実験では、品質とレイテンシのトレードオフが一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-06-14T13:17:58Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [55.12082817901671]
  我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。 以上の結果から,MaPeTはベースラインやコンペティターと同一のモデル設定で比較して,ImageNet上での競合性能を実証した。
  論文  参考訳（メタデータ） (2023-06-12T18:12:19Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• Parameter Decoupling Strategy for Semi-supervised 3D Left Atrium Segmentation [0.0]
  本稿では,パラメータ分離戦略に基づく半教師付きセグメンテーションモデルを提案する。 提案手法は,Atrial Challengeデータセット上での最先端の半教師付き手法と競合する結果を得た。
  論文  参考訳（メタデータ） (2021-09-20T14:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。