論文の概要: OSDTW: Optimal Shared Depth and Task Weighting for Long-Tailed Recognition

• arxiv url: http://arxiv.org/abs/2605.24969v1
• Date: Sun, 24 May 2026 09:48:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.552774
• Title: OSDTW: Optimal Shared Depth and Task Weighting for Long-Tailed Recognition
• Title（参考訳）: OSDTW:長期音声認識のための最適共有深さとタスクウェイト
• Authors: Chang Chu, Qingyue Zhang, Shao-Lun Huang, Junxiong Zheng,
• Abstract要約: 長い尾の認識は、絶え間なく頭尾のトレードオフに悩まされる。 本稿では,従来の単一ラベル認識問題をヘッドタスクとテールタスクに分割する,基本的タスク分割フレームワークを提案する。 結果のKullback-Leibler分散に基づく一般化誤差は、加法定数までのタスクワイズ項の和として記述できることを示す。
• 参考スコア（独自算出の注目度）: 12.869661291857843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-tailed recognition suffers from a persistent head--tail trade-off: improving tail performance often degrades head accuracy and can increase training instability. Despite strong empirical results from re-weighting, decoupled training, and multi-expert methods, key design choices about representation sharing between head and tail classes and supervision weighting across class groups remain largely heuristic. In this work, we propose OSDTW, a principled task-decomposition framework that partitions the original single-label recognition problem into a head task and a tail task, implemented with a shared encoder and task-specific decoders. To handle the mutual exclusivity and statistical dependence between the two label groups, we introduce a factorized model and show that the resulting Kullback--Leibler divergence-based generalization error can be written as the sum of task-wise terms up to an additive constant, yielding a well-defined task-wise objective. We further develop a three-stage training pipeline: independent task training to estimate task-wise optima and the Fisher information matrix, weighted joint training to learn a shared encoder, and branch assembly to construct the final decoupled model. Under a block-diagonal Fisher approximation, we derive a computable second-order expansion of the expected generalization error, decomposing it into encoder variance, encoder bias, and decoder variance. This bias--variance decomposition provides a computable proxy to select the shared depth and task weights, enabling efficient hyper-parameter search. Experiments on standard long-tailed benchmarks demonstrate the effectiveness of the proposed approach over strong baselines.
• Abstract（参考訳）: 尾性能の改善は、しばしば頭部の精度を低下させ、訓練の不安定性を高める。 再重み付け、疎結合トレーニング、マルチエキスパート手法による強い経験的結果にもかかわらず、頭と尾のクラス間の表現共有とクラスグループ間の監督重み付けに関する重要な設計選択は、大半がヒューリスティックなままである。 そこで本研究では,従来の単一ラベル認識問題を,共有エンコーダとタスク固有デコーダで実装したヘッドタスクとテールタスクに分割する,基本的タスク分解フレームワークOSDTWを提案する。 2つのラベル群間の相互排他性と統計的依存を扱うために、分解モデルを導入し、結果のクルバック-リーバー分岐に基づく一般化誤差を、加法定数までのタスクワイズ項の和として記述し、適切に定義されたタスクワイズ目的を与えることを示す。 さらに,タスクワイズ最適とフィッシャー情報行列を推定するための独立したタスクトレーニング,共有エンコーダを学習するための重み付き共同訓練,最終的な疎結合モデルを構築するための分岐組立という3段階のトレーニングパイプラインを開発する。 ブロック対角フィッシャー近似の下では、期待される一般化誤差の計算可能な2次展開を導出し、それをエンコーダ分散、エンコーダバイアス、デコーダ分散に分解する。 このバイアス分散分解は、共有深度とタスクウェイトを選択するための計算可能なプロキシを提供し、効率的なハイパーパラメータ探索を可能にする。 標準長尾ベンチマークの実験では、強いベースラインに対する提案手法の有効性が示されている。

関連論文リスト

• Variational Task Vector Composition [53.476598858325985]
  本稿では,構成係数を潜在変数とみなし,ベイズ推定フレームワークで推定する変動タスクベクトル合成を提案する。 タスクベクトルにおける構造的冗長性の観測に動機付けられ,空間性を促進するスパイク・アンド・スラブ前処理を導入する。 本研究では, 構成係数を不確実性と重要度の両方に基づいてフィルタすることにより, 制御可能な後部構造を構築するゲートサンプリング機構を開発した。
  論文  参考訳（メタデータ） (2025-09-21T02:46:02Z)
• AdaRank: Adaptive Rank Pruning for Enhanced Model Merging [23.649762835129167]
  モデルマージは、独立して微調整されたモデルを統合されたフレームワークに統合するための有望なアプローチとして現れている。 AdaRankは、タスクベクトルの最も有用な特異な方向を適応的に選択し、複数のモデルをマージする新しいモデルマージフレームワークである。 AdaRankは、さまざまなバックボーンとタスク数で一貫して最先端のパフォーマンスを実現し、微調整されたモデル間のパフォーマンスギャップを1%近く削減している。
  論文  参考訳（メタデータ） (2025-03-28T06:49:06Z)
• Open Domain Generalization with a Single Network by Regularization Exploiting Pre-trained Features [37.518025833882334]
  Open Domain Generalization(ODG)は、分散シフトとカテゴリシフトを扱うため、困難なタスクである。 これまでの作業では複数のソース特化ネットワークを使用しており、コストが高い。 本稿では,単一ネットワークのみを用いてODGを処理できる手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:22:10Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
  我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。 そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
  論文  参考訳（メタデータ） (2023-04-04T03:48:56Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)
• Robust Learning Through Cross-Task Consistency [92.42534246652062]
  クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。 クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
  論文  参考訳（メタデータ） (2020-06-07T09:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。