論文の概要: Learning When Not to Listen: Selective Anti-Interference Pretraining for Language Models

• arxiv url: http://arxiv.org/abs/2609.27925v1
• Date: Sat, 22 Aug 2026 04:14:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.012975
• Title: Learning When Not to Listen: Selective Anti-Interference Pretraining for Language Models
• Title（参考訳）: 聴くべきでないときの学習: 言語モデルに対する選択的アンチ・インターセプション・プレトレーニング
• Abstract要約: 言語モデルは、無関係な先行テキストで過度に条件付けすることができる。 この干渉は、特に長い、満ちた、または散発的に重いコンテキストにおいて連続している。 本稿では,選択的プレフィックス・アンチ・インターフェレンス・レギュラライゼーション(SPAR)を提案する。
• 参考スコア（独自算出の注目度）: 18.388803347596795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models can over-condition on irrelevant preceding text: predictions already supported by local context may still change when distant, unrelated prefix tokens are perturbed. This interference is especially consequential in long, packed, or distractor-heavy contexts, where useful evidence and irrelevant spans coexist. We propose Selective Prefix Anti-Interference Regularization (SPAR), a pretraining objective for selective anti-interference. SPAR runs the original sequence and a corrupt-prefix input in which only the far prefix is changed, then uses a short-context sufficiency gate and a gated KL objective to stabilize locally supported suffix predictions. The gate operationalizes a model-based estimate of whether the far prefix supplies additional information about the target token. Mechanism analyses show that the gate identifies locally sufficient tokens and sharply reduces prefix sensitivity on gate-selected suffix tokens. In continued training on pretrained base models, SPAR improves RULER across Qwen2.5-0.5B, Qwen2.5-3B, Llama-3.2-1B, Llama-3.1-8B, and GPT2-XL under equal counted training compute; pretraining experiments further show gains on both RULER and NoLiMa. These results show that selective anti-interference is an effective objective-level signal for robust context use.
• Abstract（参考訳）: 言語モデルは、無関係な先行するテキストで過度に条件付けできる: ローカルコンテキストですでにサポートされている予測は、遠く、無関係な接頭辞トークンが摂動したときにも変わる可能性がある。 この干渉は特に、有用な証拠や無関係な証拠が共存する、長い、満ちた、または気を散らす重大な文脈において連続している。 本稿では,選択的プレフィックス・アンチ・インターフェレンス・レギュラライゼーション(SPAR)を提案する。 SPARは、元のシーケンスと、遠い接頭辞だけを変更した不正なプレフィックス入力を実行し、その後、短文の接尾辞ゲートとゲートKLの目的を用いて、局所的にサポートされている接尾辞予測を安定化させる。 ゲートは、遠接頭辞がターゲットトークンに関する追加情報を提供するか否かをモデルベースで推定する。 メカニズム解析により,ゲートが十分なトークンを局所的に識別し,ゲート選択した接頭辞の接頭辞感度を著しく低下させることが示された。 事前訓練されたベースモデルのトレーニングの継続において、SPARはRULERをQwen2.5-0.5B、Qwen2.5-3B、Llama-3.2-1B、Llama-3.1-8B、GPT2-XLに改良した。 これらの結果から, 選択的反干渉は, 強健な文脈利用に有効な客観的信号であることがわかった。

関連論文リスト

• Reducing Pretraining-Generation Mismatch in Diffusion Language Models [40.976447974457734]
  自動回帰言語モデルは、トレーニングと使用を整合させる: クリーンプロンプトの生成条件とトレーニングは、クリーン左のコンテキストから将来のトークンを予測する。 我々は,ARプレフィックスと非シフト接尾辞を併用した事前学習目的であるPCD(Prefix-Conditioned Diffusion)を提案する。
  論文  参考訳（メタデータ） (2026-08-10T10:52:20Z)
• Beyond Uniform Forgetting: A Study of Sequential Direct Preference Optimization Across Preference Settings [11.551054698858266]
  4つの選好設定における逐次直接選好最適化について検討する。 シーケンシャルなDPOは単一の忘れパターンを生成しない。 メカニカル診断では、Stage2グラデーションとアダプタの更新は、すべての設定で以前の目的とほぼ直交している。
  論文  参考訳（メタデータ） (2026-06-18T03:20:41Z)
• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• A Pre-Training Analogue of Grokking in Language Models: Tracing Delayed Grammatical Generalization [11.118638230247951]
  ニューラルネットワークがトレーニングデータに適合してから長期にわたって一般化する現象であるGrokkingは、多くのエポック上で教師付き設定で研究されている。 LLMプレトレーニング中にグラッキングのようなダイナミクスを研究できる露光ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-29T18:04:52Z)
• Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models [52.78477729846771]
  本稿では,COAST(Contrastive Adaptive Semantic Token Pruning)について紹介する。 COASTはトークン予算をまたいだ強力なプルーニングベースラインを一貫して上回り、複数のLVLMファミリをまたいだ一般化を実現している。
  論文  参考訳（メタデータ） (2026-05-10T09:07:04Z)
• Gap-K%: Measuring Top-1 Prediction Gap for Detecting Pretraining Data [6.612630497074871]
  Gap-K%はLarge Language Models (LLMs) の最適化力学に基づく新しい事前学習データ検出法である これを受けてGap-K%は、トップ-1予測トークンとターゲットトークンのログ確率ギャップを利用して、局所相関とトークンレベルの変動を捉えるスライディングウィンドウ戦略を取り入れた。 WikiMIAとMIMIRベンチマークの実験は、Gap-K%が最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2026-01-16T07:29:36Z)
• An Analysis and Mitigation of the Reversal Curse [70.13419502543915]
  最近の研究は、大型言語モデル(LLM)で注目すべき現象を観測している。 逆の呪文は、$a$と$b$の2つのエンティティを扱う場合、LLMは$aRb$,'という形式でシーケンスを処理するのに優れるが、$bR-1a$'を処理する場合の課題に直面することである。
  論文  参考訳（メタデータ） (2023-11-13T17:01:12Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。