論文の概要: ORBIT: Preserving Foundational Language Capabilities in GenRetrieval via Origin-Regulated Merging

• arxiv url: http://arxiv.org/abs/2605.12419v1
• Date: Tue, 12 May 2026 17:14:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:57.045109
• Title: ORBIT: Preserving Foundational Language Capabilities in GenRetrieval via Origin-Regulated Merging
• Title（参考訳）: ORBIT: Origin-Regulated MergingによるGenRetrievalの基本言語機能保護
• Authors: Neha Verma, Nikhil Mehta, Shao-Chuan Wang, Naijing Zhang, Alicia Tsai, Li Wei, Lukasz Heldt, Lichan Hong, Ed Chi, Xinyang Yi,
• Abstract要約: この研究は、ジェネレーティブ検索(GenRetrieval)タスクのコンテキストにおいて、この課題を調査し、対処する。 モデル重みの微調整と初期モデル重み間の距離を積極的に追跡する新しい手法であるORBITを提案する。 この結果から,ORBITは継続学習ベースラインと関連する正規化手法の両方に優れた性能を保ちながら,テキストと検索性能を保っていることがわかった。
• 参考スコア（独自算出の注目度）: 8.22128651637123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the rapid advancements in large language model (LLM) development, fine-tuning them for specific tasks often results in the catastrophic forgetting of their general, language-based reasoning abilities. This work investigates and addresses this challenge in the context of the Generative Retrieval (GenRetrieval) task. During GenRetrieval fine-tuning, we find this forgetting occurs rapidly and correlates with the distance between the fine-tuned and original model parameters. Given these observations, we propose ORBIT, a novel approach that actively tracks the distance between fine-tuned and initial model weights, and uses a weight averaging strategy to constrain model drift during GenRetrieval fine-tuning when this inter-model distance exceeds a maximum threshold. Our results show that ORBIT retains substantial text and retrieval performance by outperforming both common continual learning baselines and related regularization methods that also employ weight averaging.
• Abstract（参考訳）: 大規模言語モデル(LLM)の開発が急速に進んでいるにもかかわらず、特定のタスクを微調整すると、言語に基づく推論能力が壊滅的に忘れてしまうことがしばしばある。 この研究は、ジェネレーティブ検索(GenRetrieval)タスクのコンテキストにおいて、この課題を調査し、対処する。 GenRetrievalファインチューニング中、この忘れ込みは急速に発生し、微調整されたモデルパラメータと元のモデルパラメータの間の距離と相関する。 そこで本研究では, モデル間距離が最大しきい値を超える場合, モデルドリフトの抑制に重み付け法を用いて, モデル間距離が最大しきい値を超える場合に, モデルドリフトを拘束する手法であるORBITを提案する。 以上の結果から,ORBITは,重み付けを併用した共通学習ベースラインと関連する正規化手法を両立させることにより,かなりのテキストと検索性能を保っていることが明らかとなった。

関連論文リスト

• Retrieval Mechanisms Surpass Long-Context Scaling in Time Series Forecasting [7.107287309294005]
  Time Series Foundation Models (TSFM) は、自然言語処理から長いコンテキストパラダイムを借用している。 ドメインでは、遠方の歴史は信号ではなく単に高周波ノイズであることが多い。 この作業は、連続したコンテキストアーキテクチャの実行によって、この前提が実際に成り立つかどうかをテストする。
  論文  参考訳（メタデータ） (2026-05-06T12:15:05Z)
• SelfAug: Mitigating Catastrophic Forgetting in Retrieval-Augmented Generation via Distribution Self-Alignment [49.86376148975563]
  大規模言語モデル(LLM)は、様々なタスクを理解し実行する能力を通じて自然言語処理に革命をもたらした。 教師付き微調整、特にRetrieval-Augmented Generation (RAG)のシナリオでは、しばしば破滅的な忘れが生じる。 本稿では,モデルのセマンティック分布を保存するために,入力シーケンスロジットをアライメントする自己分布アライメント手法であるSelfAugを提案する。
  論文  参考訳（メタデータ） (2025-09-04T06:50:47Z)
• Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [52.3707788779464]
  我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。 ARC-JSDは、追加の微調整、勾配計算、サロゲートモデリングなしで、重要な文脈文の効率的かつ正確な識別を可能にする。 TyDi QA, Hotpot QA, Musique など,様々なスケールの命令調整 LLM を用いたRAG ベンチマークの評価により,精度が向上し,計算効率が向上した。
  論文  参考訳（メタデータ） (2025-05-22T09:04:03Z)
• DBR: Divergence-Based Regularization for Debiasing Natural Language Understanding Models [50.54264918467997]
  プレトレーニング言語モデル(PLM)は、様々な自然言語処理タスクにおいて印象的な結果を得た。 近年の研究では、これらのモデルが言語を真に理解するのではなく、表面的な特徴やショートカットに依存していることが明らかになっている。 本稿では,このショートカット学習行動を軽減するために,ダイバージェンスに基づく正規化(DBR)を提案する。
  論文  参考訳（メタデータ） (2025-02-25T16:44:10Z)
• Sequencing Matters: A Generate-Retrieve-Generate Model for Building Conversational Agents [9.191944519634111]
  Georgetown InfoSense GroupはTREC iKAT 2023の課題を解決するために活動している。 提案手法は, 各カット数, 総合成功率において, nDCG において高い性能を示した。 我々のソリューションは、初期回答にLarge Language Models (LLMs) を用いること、BM25による回答基盤、ロジスティック回帰による通過品質フィルタリング、LLMによる回答生成である。
  論文  参考訳（メタデータ） (2023-11-16T02:37:58Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• Non-Autoregressive Text Generation with Pre-trained Language Models [40.50508206201288]
  BERTはNAGモデルのバックボーンとして利用でき、性能を大幅に向上できることを示す。 バニラNAGモデルの2つの共通問題を緩和するメカニズムを考案する。 本稿では,出力長を事前に推定できる新しいデコード戦略である ratio-first を提案する。
  論文  参考訳（メタデータ） (2021-02-16T15:30:33Z)
• Residual Energy-Based Models for Text Generation [47.53354656462756]
  トークンではなくシーケンスレベルで動作する非正規化エネルギーベースモデル(EBM)について検討する。 まず,事前訓練した局所正規化言語モデルの残差を抽出し,ノイズコントラスト推定を用いて訓練する。 2つの大規模言語モデリングデータセットに対する実験により,残余のEMMは局所正規化ベースラインよりも低いパープレキシティが得られることが示された。
  論文  参考訳（メタデータ） (2020-04-22T23:19:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。