論文の概要: IKnow: Instruction-Knowledge-Aware Continual Pretraining for Effective Domain Adaptation

• arxiv url: http://arxiv.org/abs/2510.20377v1
• Date: Thu, 23 Oct 2025 09:21:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:17.725628
• Title: IKnow: Instruction-Knowledge-Aware Continual Pretraining for Effective Domain Adaptation
• Title（参考訳）: IKnow: 効果的なドメイン適応のための指導学習型継続事前学習
• Authors: Tianyi Zhang, Florian Mai, Lucie Flek,
• Abstract要約: 継続的な事前トレーニングは、未ラベルのテスト時間データのみを使用して、大きな言語モデルを新しいドメインに適応することを約束する。 Instruction-Knowledge-Aware Continual Adaptation (IKnow)を提案する。
• 参考スコア（独自算出の注目度）: 15.45024578676697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual pretraining promises to adapt large language models (LLMs) to new domains using only unlabeled test-time data, but naively applying standard self-supervised objectives to instruction-tuned models is known to degrade their instruction-following capability and semantic representations. Existing fixes assume access to the original base model or rely on knowledge from an external domain-specific database - both of which pose a realistic barrier in settings where the base model weights are withheld for safety reasons or reliable external corpora are unavailable. In this work, we propose Instruction-Knowledge-Aware Continual Adaptation (IKnow), a simple and general framework that formulates novel self-supervised objectives in the instruction-response dialogue format. Rather than depend- ing on external resources, IKnow leverages domain knowledge embedded within the text itself and learns to encode it at a deeper semantic level.
• Abstract（参考訳）: 継続事前トレーニングは、ラベルのないテストタイムデータのみを使用して、新しいドメインに大規模言語モデル(LLM)を適用することを約束するが、命令調整されたモデルに標準の自己教師対象を適用することによって、命令追従能力と意味表現を低下させることが知られている。 既存の修正では、元のベースモデルへのアクセスを前提とするか、あるいは外部ドメイン固有のデータベースからの知識に依存している。 本研究では,インストラクション・知識・認識型継続適応(Instruction-Knowledge-Aware Continual Adaptation, IKnow)を提案する。 外部リソースに依存するのではなく、IKnowはテキスト自体に埋め込まれたドメイン知識を活用して、より深いセマンティックレベルでそれをエンコードすることを学ぶ。

関連論文リスト

• Consistency-Aware Editing for Entity-level Unlearning in Language Models [53.522931419965424]
  本稿では,エンティティレベルのアンラーニングのための新しい一貫性対応編集(CAE)フレームワークを提案する。 CAEは、その属性、関係、および敵のパラフレーズを含む、ターゲットエンティティに関連する多様なプロンプトの集合を集約する。 次に、一貫性レギュレータによってガイドされる低ランクの更新を共同で学習し、プロンプトをまたいだ編集方向を調整する。
  論文  参考訳（メタデータ） (2025-12-19T15:18:07Z)
• STEAM: A Semantic-Level Knowledge Editing Framework for Large Language Models [10.320062273796331]
  大規模言語モデルは、大規模な事前訓練中に取得した膨大な事実知識を格納する。 知識編集は、完全に再トレーニングすることなく、時代遅れまたは誤った事実を更新するための有望なソリューションとして登場した。 モデルの知識構造に更新された知識を統合する意味レベルの知識編集フレームワークであるtextscSteamを提案する。
  論文  参考訳（メタデータ） (2025-10-12T01:25:13Z)
• Pre-Forgettable Models: Prompt Learning as a Native Mechanism for Unlearning [9.512928441517811]
  ファンデーションモデルは、様々なモダリティやタスクにまたがる堅牢で伝達可能な表現を可能にすることによって、マルチメディア分析を変革してきた。 リトレーニング、アクティベーション編集、蒸留を含む従来の未学習のアプローチは、しばしば高価で脆弱で、リアルタイムまたは継続的な進化するシステムに不適である。 本稿では,知識の獲得と除去を1つの学習段階内に統一する,プロンプトベースの学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-05T13:28:04Z)
• Answer When Needed, Forget When Not: Language Models Pretend to Forget via In-Context Knowledge Unlearning [26.861562920084264]
  大規模言語モデル(LLM)は様々な領域にまたがって適用される。 文脈内知識アンラーニング」という新しい手法を提案する。 本手法は,無関係な知識の80%を保持しながら,最大95%の精度を忘れることが可能である。
  論文  参考訳（メタデータ） (2024-10-01T04:13:25Z)
• Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [63.48785461956983]
  継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
  論文  参考訳（メタデータ） (2024-08-02T07:51:44Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.40798352740857]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Adapting to Distribution Shift by Visual Domain Prompt Generation [34.19066857066073]
  いくつかのラベルのないデータを使って、テスト時にモデルを適応し、分散シフトに対処する。 ソースドメインから移行可能な知識を学ぶための知識銀行を構築します。 提案手法は,WILDSやDomainNetを含む5つの大規模ベンチマークにおいて,従来よりも優れている。
  論文  参考訳（メタデータ） (2024-05-05T02:44:04Z)
• Towards Better Generalization in Open-Domain Question Answering by Mitigating Context Memorization [67.92796510359595]
  Open-Domain Question Answering (OpenQA)は、外部の大規模知識コーパスで事実質問に答えることを目的としている。 OpenQAモデルが完全に新しい知識ドメインにどの程度うまく移行できるかは、まだ不明である。 コーパス不変チューニング(CIT: Corpus-Invariant Tuning)は,記憶過剰な知識の軽減を目的とした,シンプルで効果的なトレーニング戦略である。
  論文  参考訳（メタデータ） (2024-04-02T05:44:50Z)
• Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
  本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。 特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。 このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
  論文  参考訳（メタデータ） (2022-07-18T18:41:36Z)
• Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis [96.53859361560505]
  Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。 事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。 我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
  論文  参考訳（メタデータ） (2021-10-26T04:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。