論文の概要: Task-Oriented Rank Adaptation for Continual Learning in Text Classification

• arxiv url: http://arxiv.org/abs/2610.01702v1
• Date: Thu, 01 Oct 2026 13:49:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.157519
• Title: Task-Oriented Rank Adaptation for Continual Learning in Text Classification
• Title（参考訳）: テキスト分類における連続学習のためのタスク指向ランク適応
• Abstract要約: Task-Oriented Rank Adaptation (TORA)は、シーケンシャルテキスト分類システムにおける動的アダプタルーティングのための幾何学的ルーティングフレームワークである。 15の多様なテキスト分類ベンチマークで評価され、TORAは有害なルーティング決定を一貫して避けている。 TORAは、シーケンシャルテキスト分類システムにおける動的アダプタルーティングのためのシンプルで効果的なアプローチを提供する。
• 参考スコア（独自算出の注目度）: 2.682297327288078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning (CL) in text classification faces two critical challenges: catastrophic forgetting and negative transfer across sequential tasks. Parameter-Efficient Fine-Tuning (PEFT) methods such as LoRA enable efficient adaptation by learning low-rank updates of the model parameters. However, these compact representations are normally trained in isolation, limiting their reuse across related tasks. We introduce Task-Oriented Rank Adaptation (TORA), a geometric routing framework that leverages the low-rank structure of LoRA adapters to decide whether to transfer knowledge from the most compatible expert (Boosting) or isolate the new task (Shielding) based on structural similarity. Evaluated across 15 diverse text classification benchmarks, TORA consistently avoids harmful routing decisions: compatible tasks exceed their isolated performance while reducing training time, and structurally distant tasks are protected from interference with no loss in accuracy. With a single geometric threshold and no reliance on task identities or predefined sequences, TORA provides a simple and effective approach for dynamic adapter routing in sequential text classification systems.
• Abstract（参考訳）: テキスト分類における連続学習(CL)は、2つの重要な課題に直面している。 LoRAのようなパラメータ効率の良い細調整(PEFT)手法は、モデルパラメータの低ランク更新を学習することで、効率的な適応を可能にする。 しかしながら、これらのコンパクト表現は通常独立して訓練され、関連するタスク間の再利用を制限する。 本稿では、LoRAアダプタの低ランク構造を利用して、最も互換性のある専門家(Boosting)から知識を伝達するか、あるいは構造的類似性に基づいて新しいタスク(Shielding)を分離するかを決定する幾何学的ルーティングフレームワークであるTask-Oriented Rank Adaptation(TORA)を紹介する。 互換性のあるタスクは、トレーニング時間を短縮しながら、独立したパフォーマンスを超え、構造的に離れたタスクは、精度を損なうことなく干渉から保護される。 単一の幾何学的しきい値を持ち、タスクのアイデンティティや事前定義されたシーケンスに依存しないTORAは、シーケンシャルテキスト分類システムにおける動的アダプタルーティングのためのシンプルで効果的なアプローチを提供する。

関連論文リスト

• ChainLoRA: Geometry-Preserving Task Vector Merging for Continual Learning in LLMs [47.47506424027992]
  ChainLoRAは、連鎖更新タスクベクトル幾何学に基づいて構築されたリプレイフリー連続マージフレームワークである。 実験の結果,ChainLoRAは評価されたリプレイフリー手法の中で最先端の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2026-09-30T16:43:34Z)
• One Adapter, Many Tasks: Task-Conditioned Feature Transformations for Continual Learning [45.405420567098155]
  textbfFACET: task-conditioned textbfFetextbfAture transformation with textbfConditiontextbfEd feature consistextbfTency。 本手法は,トレーニング可能なパラメータとGFLOPを著しく少なくし,優れた性能を実現する。
  論文  参考訳（メタデータ） (2026-08-31T17:03:45Z)
• Automated Instruction Revision (AIR): A Structured Comparison of Task Adaptation Strategies for LLM [0.0]
  本稿では,大規模言語モデルを下流タスクに適用するためのルール推論手法であるAutomated Instruction Revision(AIR)について検討する。 我々はAIRを、迅速な最適化、検索に基づく手法、微調整を含む適応戦略の広い視野に配置する。 知識注入や構造化抽出,ラベルリマッピング,論理的推論など,さまざまなタスク要件に重点を置くように設計された多様なベンチマークスイートに対して,これらのアプローチを比較した。
  論文  参考訳（メタデータ） (2026-04-10T15:28:05Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Teaching Prompts to Coordinate: Hierarchical Layer-Grouped Prompt Tuning for Continual Learning [69.17264556340244]
  連続学習のための階層型階層型プロンプトチューニング手法を提案する。 i) 同じグループの層がほぼ同じプロンプトを共有し、位置符号化によって調整される。 単一のタスク固有のルートプロンプトを使用して、各レイヤグループのサブプロンプトを生成する。
  論文  参考訳（メタデータ） (2025-11-15T08:15:51Z)
• Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence [131.41894248194995]
  タスク認識方式でアダプタを初期化する新しい手法であるコンテキスト指向分解適応(CorDA)を提案する。 本手法は,タスク認識により,知識保存モード (KPM) と命令レビューモード (IPM) の2つのオプション適応モードを実現する。
  論文  参考訳（メタデータ） (2025-06-16T07:55:14Z)
• TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
  本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。 タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。 視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2025-06-12T05:25:35Z)
• Dynamic Integration of Task-Specific Adapters for Class Incremental Learning [32.124078616314144]
  非典型的なクラス インクリメンタルラーニング (NECIL) では、モデルがスクラッチからリトレーニングしたり、古いタスク インクリメンタルを格納したりすることなく、新しいクラスを継続的に取得できる。 本稿では,タスク特化アダプタ統合(TSAI)とパッチレベルモデルアライメントという,タスク特化アダプタの動的統合(DIA)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-23T13:01:33Z)
• E2-AEN: End-to-End Incremental Learning with Adaptively Expandable Network [57.87240860624937]
  本稿では,E2-AENという,エンドツーエンドのトレーニング可能な適応拡張可能なネットワークを提案する。 以前のタスクの精度を落とさずに、新しいタスクのための軽量な構造を動的に生成する。 E2-AENはコストを削減し、あらゆるフィードフォワードアーキテクチャをエンドツーエンドで構築できる。
  論文  参考訳（メタデータ） (2022-07-14T09:04:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。