論文の概要: ProML: Progressive Multi-label Learning
- arxiv url: http://arxiv.org/abs/2610.15614v1
- Date: Sun, 11 Oct 2026 13:37:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 17:34:36.409683
- Title: ProML: Progressive Multi-label Learning
- Title(参考訳): ProML: プログレッシブなマルチラベル学習
- Abstract要約: マルチラベル学習は通常、ラベルフィッティング、相関モデル、構造正則化の合同最適化を通じてモデル構築を追求する。
本稿では,予測学習から直接ラベル付けを分離するプログレッシブ・マルチラベル学習フレームワークを提案する。
ProMLは適合項の優良曲率を減らし、安定した学習率範囲を拡大し、制御可能な忠実度規則化トレードオフを提供する。
- 参考スコア(独自算出の注目度): 33.58172773901233
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-label learning typically pursues model construction through the joint optimization of label fitting, correlation modeling, and structural regularization. While empirically effective, such a coupled paradigm imposes multiple learning objectives on a single predictive parameter matrix, forcing it to simultaneously fit observed labels and encode structural priors. This coupling may induce ill-conditioned optimization geometry, increase hyper-parameter sensitivity, and complicate capacity control. To address the these issues, this paper proposes a Progressive Multi-Label Learning (ProML) framework, which decouples direct label fitting from predictor learning via the introduction of an auxiliary predictive variable. This auxiliary variable admits a closed-form solution, yielding an equivalent profiled objective in which the supervised fitting term is scaled by a trade-off parameter. This result provides a unified view of ProML and conventional coupled learning, with the latter recovered as a limiting case. We theoretically analyze the optimization geometry of ProML and show that, under quadratic positive semidefinite structural regularization, ProML attenuates the dominant curvature of the fitting term, enlarges the stable learning rate range, and provides a controllable fidelity-regularization trade-off. Further, we instantiate the ProML for multi-label feature selection task by integrating global-local label priors and row-sparse regularization. Extensive experiments and controlled optimization analyses on 12 benchmark datasets empirically corroborate the theoretical analysis and demonstrate the robust and competitive performance of the proposed method.
- Abstract(参考訳): マルチラベル学習は通常、ラベルフィッティング、相関モデル、構造正則化の合同最適化を通じてモデル構築を追求する。
経験的効果はあるものの、そのような結合パラダイムは単一の予測パラメータ行列に複数の学習目標を課し、観測されたラベルを同時に適合させ、構造的事前を符号化する。
この結合は、不条件最適化の幾何を誘導し、ハイパーパラメータ感度を高め、キャパシティ制御を複雑にする。
これらの課題に対処するために,予測変数の導入により直接ラベル付けを予測学習から切り離すプログレッシブ・マルチラベル学習(ProML)フレームワークを提案する。
この補助変数は閉形式解を認め、教師付きフィッティング項をトレードオフパラメータでスケールする等価なプロファイル目的を与える。
この結果は、ProMLと従来の複合学習の統一的なビューを提供し、後者は制限ケースとして復元される。
理論的にProMLの最適化幾何を解析し、二次正の半定値構造正則化の下では、ProMLは適合項の優位な曲率を減らし、安定した学習率範囲を拡大し、制御可能な忠実度規則化トレードオフを提供することを示す。
さらに、グローバルなローカルラベルと行スパース正規化を統合することで、マルチラベル特徴選択タスクのProMLをインスタンス化する。
12のベンチマークデータセットに対する大規模な実験と制御された最適化分析は、理論的解析を実証的に相関させ、提案手法の堅牢かつ競争的な性能を実証する。
関連論文リスト
- Calibrated Disambiguation for Partial Multi-label Learning [31.18506738254231]
部分的マルチラベル学習(PML)は、無関係なラベルに過剰アノテートされたデータセット上の分類器をトレーニングすることを目的としている。
既存の手法は、非適応重み付け関数に基づいており、最適重み付けに関する理論的ガイダンスが欠如している。
これらの問題を克服するために、PML-CDと呼ばれる校正型曖昧化モデルが提案されている。
パスカルVOC, MS-COCO, NUS-WIDE, CUBで行った実験により, 本手法が既存のPML法より優れていることを確認した。
論文 参考訳(メタデータ) (2026-10-13T03:04:04Z) - Be Your Own Teacher: Steering Protein Language Models via Unsupervised Reward Optimization [85.4863852505905]
タンパク質言語モデル(PLM)の教師なし報酬最適化を導入する。
我々の重要な洞察は、本質的なモデルの不確実性とタンパク質表現モデルによって誘導される意味的整合性を組み合わせたタスク非依存報酬は、ベースモデルと温度レギュレーションの制御可能性指標と強い相関を示すことである。
我々のフレームワークは、ラベル付けされた好みや実験的なフィードバックが不足したり、利用できないような環境で、制御可能な生体分子設計へのスケーラブルな経路を提供する。
論文 参考訳(メタデータ) (2026-06-17T11:42:01Z) - Principled Algorithms for Optimizing Generalized Metrics in Multi-Label Learning [42.67092904252001]
我々は,経験的ユーティリティ最大化フレームワーク内で,幅広い種類の一般化メトリクスを最適化するための原理的学習アルゴリズムを開発した。
我々の重要な貢献は、$H$一貫性境界を証明可能なマルチラベル学習のための新しいサロゲート損失関数の設計である。
本結果は,一般マルチラベル計量最適化における理論的厳密性と実用性の両方を提供する。
論文 参考訳(メタデータ) (2026-05-27T17:23:58Z) - New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework [52.69678300445233]
fine-tuning Large Language Models (LLMs) は通常、すべてのモデルパラメータを更新するフルきめ細やかな調整を必要とする。
PEFT(Efficient Fine-Tuning)は、パラメータの小さなサブセットを調整する。
ゼロ次最適化法と1次最適化法を組み合わせて,LLMとPEFTモジュールを共同で更新するハイブリッドファインチューニング手法を提案する。
論文 参考訳(メタデータ) (2026-04-10T22:39:38Z) - A Generalized Adaptive Joint Learning Framework for High-Dimensional Time-Varying Models [0.8594140167290097]
本稿では,機能的変数選択と構造的変化点検出を同時に行うための正規化フレームワークであるAdaptive Joint Learning (AJL)を紹介する。
この分析は、疾患進行の同期相転移を明らかにし、時間変化の予測マーカーの相同的なセットを同定する。
論文 参考訳(メタデータ) (2026-01-08T02:07:49Z) - Deep Unfolding: Recent Developments, Theory, and Design Guidelines [99.63555420898554]
この記事では、最適化アルゴリズムを構造化されたトレーニング可能なMLアーキテクチャに変換するフレームワークであるDeep Unfoldingのチュートリアルスタイルの概要を提供する。
推論と学習のための最適化の基礎を概観し、深層展開のための4つの代表的な設計パラダイムを導入し、その反復的な性質から生じる特有なトレーニングスキームについて議論する。
論文 参考訳(メタデータ) (2025-12-03T13:16:35Z) - Tuning-Free Structured Sparse Recovery of Multiple Measurement Vectors using Implicit Regularization [13.378211527081582]
複数の測定ベクトルにおけるスパース信号を復元するためのチューニング不要なフレームワークを提案する。
最適化力学は「モメンタムのような」効果を示し、真のサポートにおける行のノルムは他のものよりも著しく速く成長することを示した。
論文 参考訳(メタデータ) (2025-12-03T02:53:11Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳(メタデータ) (2025-05-21T07:16:44Z) - Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。
我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。
車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
論文 参考訳(メタデータ) (2024-07-24T12:00:30Z) - Graph-Structured Speculative Decoding [52.94367724136063]
投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。
本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。
我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
論文 参考訳(メタデータ) (2024-07-23T06:21:24Z) - Partial sequence labeling with structured Gaussian Processes [8.239028141030621]
部分列ラベリングのための構造付きガウス過程を提案する。
予測の不確実性を符号化し、モデル選択やハイパーパラメータ学習に余分な労力を要しない。
いくつかのシーケンスラベリングタスクで評価を行い,実験結果から提案手法の有効性が示された。
論文 参考訳(メタデータ) (2022-09-20T00:56:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。