論文の概要: Online Domain-aware LLM Decoding for Continual Domain Evolution

• arxiv url: http://arxiv.org/abs/2602.08088v1
• Date: Sun, 08 Feb 2026 19:13:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.977137
• Title: Online Domain-aware LLM Decoding for Continual Domain Evolution
• Title（参考訳）: 連続的ドメイン進化のためのオンラインドメイン対応LLMデコーディング
• Authors: Mohammad Abu-Shaira, Weishi Shi,
• Abstract要約: ドメイン知識は、新しい規則、製品、サービス、相互作用パターンを通じて継続的に進化します。 コンセプトドリフトと呼ばれるこの現象を無視することは、モデルの予測精度を著しく低下させる。 オンラインドメイン認識デコーディングフレームワーク(ODD)は、ベースLLMとプレフィックスツリーとの確率レベル融合を実行する。
• 参考スコア（独自算出の注目度）: 7.146027549101716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLMs are typically fine-tuned offline on domain-specific data, assuming a static domain. In practice, domain knowledge evolves continuously through new regulations, products, services, and interaction patterns. Retraining or fine-tuning LLMs for every new instance is computationally infeasible. Additionally, real-world environments also exhibit temporal dynamics with shifting data distributions. Disregarding this phenomenon, commonly referred to as concept drift, can significantly diminish a model's predictive accuracy. This mismatch between evolving domains and static adaptation pipelines highlights the need for efficient, real-time adaptation without costly retraining. In response, we introduce Online Domain-aware Decoding framework (ODD). ODD performs probability-level fusion between a base LLM and a prefix-tree prior, guided by adaptive confidence modulation using disagreement and continuity signals. Empirical evaluation under diverse drift scenarios demonstrates that ODD consistently surpasses LLM-Greedy and LLM-Temp Scaled across all syntactic and semantic NLG metrics. It yields an absolute ROUGE-L gain of 0.065 and a 13.6% relative improvement in Cosine Similarity over the best baseline. These results demonstrate ODD 's robustness to evolving lexical and contextual patterns, making it suitable for dynamic LLM applications.
• Abstract（参考訳）: LLMは通常、静的ドメインを仮定して、ドメイン固有のデータに対して微調整される。 実際には、ドメイン知識は新しい規則、製品、サービス、相互作用パターンを通じて継続的に進化します。 新しいインスタンスごとに、リトレーニングや微調整のLLMは、計算不可能である。 さらに、実世界の環境は、シフトするデータ分布を伴う時間的ダイナミクスも示します。 コンセプトドリフトと呼ばれるこの現象を無視することは、モデルの予測精度を著しく低下させる。 この進化しているドメインと静的適応パイプラインのミスマッチは、コストのかかる再トレーニングなしに、効率的でリアルタイムな適応の必要性を強調します。 これに対して,オンラインドメイン認識デコーディングフレームワーク(ODD)を紹介する。 ODDは、不一致信号と連続信号を用いた適応的信頼変調により導かれるベースLLMとプレフィックスツリーとの確率レベル融合を行う。 多様なドリフトシナリオ下での実証的な評価は、ODDがすべての構文的および意味的NLGメトリクスにわたってLLM-GreedyとLLM-Temp Scaledを一貫して上回っていることを示している。 絶対ROUGE-Lは0.065で、コサイン類似度は13.6%向上した。 これらの結果から,ORD の語彙および文脈パターンの進化に対する堅牢性を示し,動的 LLM アプリケーションに適したものとなった。

関連論文リスト

• Self-Training with Dynamic Weighting for Robust Gradual Domain Adaptation [11.973153070989289]
  動的重み付き自己学習法(STDW)を提案する。 STDWは、GDA(Gradual Domain Adaptation)における堅牢性向上を目指す 本手法では,トレーニング中のソースとターゲットドメインの損失寄与を適応的にバランスする動的重み付け機構を導入する。
  論文  参考訳（メタデータ） (2025-10-13T06:13:23Z)
• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• Bohdi: Heterogeneous LLM Fusion with Automatic Data Exploration [23.490100458553812]
  Bohdiは、合成データのみのヘテロジニアスなLarge Language Model(LLM)融合フレームワークである。 知識ドメインを階層木構造にまとめることで、Bohdiは自動ドメイン探索とマルチドメインデータ生成を可能にします。 Bohdiは、既存のベースラインを複数のLLMで大幅に上回っている。
  論文  参考訳（メタデータ） (2025-06-04T17:01:38Z)
• When can isotropy help adapt LLMs' next word prediction to numerical domains? [53.98633183204453]
  文脈埋め込み空間におけるLLM埋め込みの等方性は表現の基盤構造を保存することが示されている。 実験により、数値データとモデルアーキテクチャの異なる特性が等方性に異なる影響があることが示されている。
  論文  参考訳（メタデータ） (2025-05-22T05:10:34Z)
• Let Synthetic Data Shine: Domain Reassembly and Soft-Fusion for Single Domain Generalization [68.41367635546183]
  単一ドメインの一般化は、単一のソースからのデータを使用して、さまざまなシナリオで一貫したパフォーマンスでモデルをトレーニングすることを目的としている。 モデル一般化を改善するために合成データを活用した学習フレームワークDRSFを提案する。
  論文  参考訳（メタデータ） (2025-03-17T18:08:03Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• GDO:Gradual Domain Osmosis [5.620015188968398]
  本稿では,GDA(Gradual Domain Adaptation)において,ソースドメインからターゲットドメインへのスムーズな知識マイグレーションの問題を解決することを目的とした,Gradual Domain Osmosisと呼ばれる新しい手法を提案する。 従来のGradual Domain Adaptationメソッドは、中間ドメインの導入と自己学習戦略によってドメインバイアスを軽減するが、多くの場合、中間ドメインにおける非効率的な知識マイグレーションや欠落データといった課題に直面している。
  論文  参考訳（メタデータ） (2025-01-31T14:25:45Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without Full Large Language Model [22.870512676002463]
  本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。 これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。 以上の結果から,CRaShとOFTの有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-10-24T03:08:58Z)
• ePointDA: An End-to-End Simulation-to-Real Domain Adaptation Framework for LiDAR Point Cloud Segmentation [111.56730703473411]
  LiDARデータ上でディープニューラルネットワーク(DNN)をトレーニングするには、大規模なポイントワイドアノテーションが必要である。 シミュレーション・トゥ・リアル・ドメイン適応(SRDA)は、DNNを無制限の合成データと自動生成されたラベルで訓練する。 ePointDAは、自己教師付きドロップアウトノイズレンダリング、統計不変および空間適応型特徴アライメント、転送可能なセグメンテーション学習の3つのモジュールで構成されている。
  論文  参考訳（メタデータ） (2020-09-07T23:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。