論文の概要: A Better Start for Language Models: Domain-Conditional Position Offsets

• arxiv url: http://arxiv.org/abs/2607.18302v1
• Date: Fri, 17 Jul 2026 02:12:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.171924
• Title: A Better Start for Language Models: Domain-Conditional Position Offsets
• Title（参考訳）: 言語モデルのより良いスタート:ドメイン・コンディショナルな位置オフセット
• Abstract要約: オフセットは、およそ100のドキュメントで数分でトレーニングし、シーケンス状態を追加せずにドメイン間を切り替え、測定可能な遅延オーバーヘッドがない。 チューニングされたLoRAは低いパープレキシティに達するが、2～3桁のパラメータとアクティブな低ランクウェイトパスを使用し、ソフトプロンプトはシーケンス位置を付加する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive language models are least accurate at the beginning of a sequence, where little context forces reliance on a generic pretraining prior. We show that this cold-start penalty is domain dependent and reduce it with a domain-conditional position offset: a single learned vector added to the embedding activation at the first sequence positions while all model weights remain frozen. The offset trains in minutes on roughly one hundred documents, switches between domains without added sequence state, and has no measurable latency overhead. Across eight Mamba, GPT-NeoX, and Llama models spanning 410M to 8B parameters, it reduces held-out in-domain perplexity by up to 27%; the effect persists at 70B, and one position captures most of the benefit. A matched, converged direct logit-bias correction reaches at most only 7.9% and leaves later-token loss unchanged, showing that the offset propagates through model state rather than merely recalibrating the output prior. A tuned LoRA reaches lower perplexity but uses two to three orders of magnitude more parameters and an active low-rank weight path, while soft prompts add sequence positions. With wrong-domain controls, offsets improve retrieval reranking and domain classification when decisions depend on early in-domain tokens, For the few-shot reasoning whose signal occurs later, the results maintains unchanged. Position-aware prefill application also help generation tasks, whereas naive application at every cached decoding step causes repetition. The offset is therefore not the strongest adapter, but a lightweight, hot switchable tool for short in-domain scoring and calibration.
• Abstract（参考訳）: 自己回帰型言語モデルはシーケンスの開始時点では最小限の正確さであり、そこでは、ほとんどコンテキストが前の一般的な事前学習に依存しない。 この冷戦開始時のペナルティはドメイン依存であり、ドメイン条件のオフセットで減少することを示す: モデル重みはすべて凍結しながら、第1のシーケンス位置での埋め込み活性化に付加された1つの学習ベクトル。 オフセットは、およそ100のドキュメントで数分でトレーニングされ、シーケンス状態を追加せずにドメイン間を切り替える。 8つのMamba、GPT-NeoX、Llamaモデルのうち410Mから8Bのパラメータにまたがるモデルで、ドメイン内のコンプレックスを最大27%削減する。 一致した直接ロジットバイアス補正は、最大で7.9%に達し、後続の損失は変化せず、オフセットが単に出力を単に再調整するのではなく、モデル状態を介して伝播することを示す。 チューニングされたLoRAは低いパープレキシティに達するが、2～3桁のパラメータとアクティブな低ランクウェイトパスを使用し、ソフトプロンプトはシーケンス位置を付加する。 誤ったドメイン制御では、オフセットは、早期ドメイントークンに依存する場合の検索リランクとドメイン分類を改善する。 位置認識型プリフィルアプリケーションは生成タスクにも役立ち、キャッシュされたデコードステップ毎にネイティブなアプリケーションは繰り返し発生する。 そのため、オフセットは最強のアダプタではなく、ドメイン内スコアリングとキャリブレーションを短くするための軽量でホットな交換可能なツールである。

関連論文リスト

• One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
  同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。 トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。 OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
  論文  参考訳（メタデータ） (2026-09-06T08:32:59Z)
• LoCA: Forward-Only LLM Tuning after One-Shot Calibration with Local Credit Assignment [12.282686233879012]
  LoCA(Local Credit Assignment)は、小シフト適応のための2段階の方法である。 1つのプローブの後方通過は、最終予測誤差から局所的な隠れ状態補正まで、各変圧器ブロックのローランクマップに適合する。 したがって、LoCAはグローバルクレジットの割り当てを1つのキャリブレーションに減らし、後続のフォワードオンリーチューニングを可能にする。
  論文  参考訳（メタデータ） (2026-08-04T02:06:43Z)
• Learning Not to Optimize: Physics-Informed Action-Space Reshaping for Intent-Based Network Control [50.46501177871741]
  LNOQRD は小物候補を75.9% で削減し、90.8% でニアオラクルのカバレッジを維持している。 実験の結果、LNOQRDは実用性と意図の満足度が最も高く、かつ、法律違反が最低で、世代後レイテンシが低いことがわかった。
  論文  参考訳（メタデータ） (2026-08-02T00:27:01Z)
• LARA: Lightweight Adapters in the Residual Stream for Composable Adaptation and Alignment [0.0]
  LARAは重量ではなく、凍ったモデルの残留流で作動する。 適応は凍結した基底と残留物であるため、LARAは推論で適用されるスケールを露出し、ベースと適応した振る舞いをスムーズに補間する。
  論文  参考訳（メタデータ） (2026-07-25T11:04:42Z)
• LESS Is More: Mutual-Stability Sampling for Diffusion Language Models [23.94639050546374]
  拡散大言語モデル (dLLMs) は自己回帰デコードに代わる有望な代替手段を提供する。 我々は、トークンのコミットメントをオンライン停止問題として扱う、トレーニング不要でモデルに依存しない適応型サンプリングであるtextscLESSを提示する。 textscLESSは、固定予算デコードよりも72.1%のリバースステップを減らしながら、強力なトレーニングなし適応型サンプリング器よりも平均精度を向上する。
  論文  参考訳（メタデータ） (2026-06-15T16:15:45Z)
• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• TALAN: Task-Aligned Latent Adaptation Networks for Targeted Post-Training of Large Language Models [8.47008876232157]
  本稿では, TALAN (Task-Aligned Latent Adaptation Networks) を導入する。 TALANはアクティブシーケンスを潜在メモリに圧縮し、トークンレベルの摂動にリミックスし、制御された残留更新を通じて書き戻す。 4つのQwen3ファミリーのバックボーンと4つのSTEM/コードベンチマークで、TALANは一致したLoRAとDoRAベースラインを改善している。
  論文  参考訳（メタデータ） (2026-06-05T04:34:50Z)
• DEFLECT: Delay-Robust Execution via Flow-matching Likelihood-Estimated Counterfactual Tuning for VLA Policies [12.248643831532663]
  DEFLECTは、非同期VLA制御の使用可能な遅延エンベロープを大幅に拡張し、高遅延状態(5-7制御ステップ)で+6.4の成功率を、最も長い遅延時間で実スケールVLAに移行すると+4.6とした。
  論文  参考訳（メタデータ） (2026-05-19T03:14:11Z)
• IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring [9.250460219785188]
  IGU-LoRAは、階層内統合勾配(IG)の感度を計算し、それらをランク割り当てのための階層レベルスコアに集約する適応ランクLoRAである。 IGU-LoRAは、一致したパラメータ予算でPEFTベースラインを一貫して上回り、下流の精度とロバスト性を改善している。
  論文  参考訳（メタデータ） (2026-03-14T06:45:54Z)
• HyperFlow: Gradient-Free Emulation of Few-Shot Fine-Tuning [20.308785668386424]
  計算勾配を使わずに勾配降下をエミュレートし,効率的なテスト時間適応を実現する手法を提案する。 具体的には、通常の微分方程式(ODE)のオイラー離散化として勾配降下を定式化し、タスク条件ドリフトを予測するために補助ネットワークを訓練する。 適応は単純な数値積分に還元され、補助ネットワークのわずかな前方通過しか必要としない。
  論文  参考訳（メタデータ） (2025-04-21T03:04:38Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Divide to Adapt: Mitigating Confirmation Bias for Domain Adaptation of Black-Box Predictors [94.78389703894042]
  ドメイン適応(Domain Adaptation of Black-box Predictor、DABP)は、ソースドメインでトレーニングされたブラックボックス予測器によって管理されるラベルなしのターゲットドメイン上のモデルを学習することを目的としている。 ソースドメインデータと予測パラメータの両方にアクセスする必要はないため、標準ドメイン適応におけるデータのプライバシとポータビリティの問題に対処する。 本稿では,知識蒸留と雑音ラベル学習を一貫した枠組みに組み込む新しい手法BETAを提案する。
  論文  参考訳（メタデータ） (2022-05-28T16:00:44Z)
• Continual Test-Time Domain Adaptation [94.51284735268597]
  テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2022-03-25T11:42:02Z)
• Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing [55.97957664897004]
  seq2seq、非自動回帰的、タスク指向を構築するための効果的なレシピは、3つのステップで発話とセマンティックフレームをマッピングする。 これらのモデルは通常、長さ予測によってボトルネックとなる。 本研究では,デコードタスクをテキスト生成からスパン予測へシフトさせる非自己回帰手法を提案する。
  論文  参考訳（メタデータ） (2021-04-15T07:02:35Z)
• ADOM: Accelerated Decentralized Optimization Method for Time-Varying Networks [124.33353902111939]
  本稿では,時間変動ネットワーク上の滑らかかつ強凸分散最適化のための高速化手法である adom を提案する。 ネットワーク構造のみに依存する一定の要因まで、その通信は加速されたNesterovメソッドのそれと同じです。
  論文  参考訳（メタデータ） (2021-02-18T09:37:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。