論文の概要: Corroborative Learning: Mutual Enhancement through Task-Response Reconstruction
- arxiv url: http://arxiv.org/abs/2610.41222v1
- Date: Fri, 30 Oct 2026 04:00:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.611176
- Title: Corroborative Learning: Mutual Enhancement through Task-Response Reconstruction
- Title(参考訳): 協調学習:タスク・レスポンス・コンストラクションによる相互強化
- Abstract要約: パターン分析では、同じタスクのために独立して訓練されたモデルは、しばしばアーキテクチャ、データ、最適化の違いを通じて補完的な機能を開発する。
ほとんどの方法は、ターゲットとコラボレータ間の予測、関係、表現の違いを減らして転送を確立する。
これにより、知識交換の差異を減らし、相補性を保つという構造的なトレードオフが生じます。
本稿では,タスク駆動型応答を生成するCorroborative Learning (CL)を提案する。
- 参考スコア(独自算出の注目度): 7.114147186146332
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In pattern analysis, models trained independently for the same task often develop complementary capabilities through differences in architecture, data, and optimization. Exploiting complementarity while retaining independent deployment is central to collaborative learning. Most methods establish transfer by reducing differences in predictions, relations, or representations between target and collaborator, although these differences also underlie complementarity. This creates a structural trade-off between reducing differences for knowledge exchange and preserving them for complementarity. We therefore propose Corroborative Learning (CL). Each model forms task-driven responses, with cross-group support from its collaborator. Source-excluded reconstruction of response increments from collaborator representations separates fitting and evaluation across disjoint groups and selectively constrains directions by cross-group reconstructability. The process requires no direct output or feature matching or additional inference dependency. Furthermore, with linear reconstruction and fixed collaborator representations, the loss equals a positive semidefinite directional regularizer, constraining less reconstructable directions more strongly. Signal and noise conditions characterize when directional shrinkage reduces response-estimation error. Across six language tasks, 24 models, and 36 pairs, CL improves over capacity-matched independent adaptation on every task, with positive gains across most directed model combinations. Pairwise comparisons show broad advantages over transfer and mutual-learning methods and different gains from complementarity across collaboration rules. Low-label language and vision results support cross-domain applicability. Task-relevant differences can support mutual enhancement without eliminating disagreement.
- Abstract(参考訳): パターン分析では、同じタスクのために独立して訓練されたモデルは、しばしばアーキテクチャ、データ、最適化の違いを通じて補完的な機能を開発する。
独立したデプロイメントを維持しながら相補性を展開することは、共同学習の中心である。
ほとんどの手法は、予測、関係、ターゲットとコラボレータ間の表現の差を減らして転送を確立するが、これらの差も相補性に欠ける。
これにより、知識交換の差異を減らし、相補性を保つという構造的なトレードオフが生じます。
そこで我々は,Corroborative Learning (CL)を提案する。
各モデルはタスク駆動応答を形成し、共同作業者からのクロスグループサポートを提供する。
協力者表現からの応答インクリメントのソース除いた再構成は、不連結群間の適合と評価を分離し、群間再構成可能性によって選択的に方向を制約する。
プロセスは直接出力や特徴マッチング、追加の推論依存を必要としない。
さらに、線形再構成と固定されたコラボレータ表現では、損失は正の半定方向正則化器と等しく、より再建可能な方向を強く制限する。
信号と雑音条件は、方向縮小が応答推定誤差を減少させるときに特徴付けられる。
6つの言語タスク、24のモデル、36のペアにまたがって、CLはすべてのタスクにキャパシティにマッチした独立適応を改善し、ほとんどのモデルの組み合わせに対して肯定的な利益を得る。
ペアワイズ比較は、移動と相互学習法よりも幅広い利点を示し、協調ルール間の相補性から異なる利得を示している。
低ラベル言語とビジョンはドメイン間の適用性をサポートする。
タスク関連の違いは、不一致を排除せずに相互強化をサポートすることができる。
関連論文リスト
- Stackelberg Coupling of Online Representation Learning and Reinforcement Learning [45.70357546589222]
SCORERは,表現とQラーニングを階層型ゲームにおける2つの戦略エージェントとみなす,価値に基づくRLのためのフレームワークである。
提案するSCORERフレームワークは, 2時間スケールのアルゴリズムで解を近似する二段階最適化問題に導かれる。
論文 参考訳(メタデータ) (2025-08-10T18:36:54Z) - Divergent Ensemble Networks: Enhancing Uncertainty Estimation with Shared Representations and Independent Branching [0.9963916732353794]
Divergent Ensemble Network (DEN)は、共有表現学習と独立分岐を組み合わせた新しいアーキテクチャである。
DENは共有入力層を使用して、すべてのブランチに共通する特徴をキャプチャし、続いて、アンサンブルを形成する独立したトレーニング可能な層を分離する。
この共有分岐構造は、アンサンブルの多様性を維持しながらパラメータの冗長性を低減し、効率的でスケーラブルな学習を可能にする。
論文 参考訳(メタデータ) (2024-12-02T06:52:45Z) - REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
正の対を識別する学習尺度を新たに提案する。
検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。
本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
論文 参考訳(メタデータ) (2023-11-01T13:44:45Z) - Combining Reconstruction and Contrastive Methods for Multimodal Representations in RL [16.792949555151978]
再構成や対照的な損失を用いた自己教師型表現の学習は、画像ベース・マルチモーダル強化学習(RL)の性能とサンプルの複雑さを向上させる
ここでは、異なる自己教師付き損失関数は、基礎となるセンサのモジュラリティの情報密度によって異なる利点と制限を有する。
コントラスト的再構成集約表現学習(CoRAL)を提案する。このフレームワークは,各センサのモダリティに対して,最も適切な自己管理的損失を選択することができる。
論文 参考訳(メタデータ) (2023-02-10T15:57:20Z) - R\'enyiCL: Contrastive Representation Learning with Skew R\'enyi
Divergence [78.15455360335925]
我々はR'enyiCLという新しい頑健なコントラスト学習手法を提案する。
我々の手法は R'enyi divergence の変動的下界の上に構築されている。
我々は,R'enyi の対照的な学習目的が,自然に強い負のサンプリングと簡単な正のサンプリングを同時に行うことを示す。
論文 参考訳(メタデータ) (2022-08-12T13:37:05Z) - HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction [63.64877263289319]
非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。
本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。
2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
論文 参考訳(メタデータ) (2022-05-04T17:56:48Z) - Return-Based Contrastive Representation Learning for Reinforcement
Learning [126.7440353288838]
そこで本研究では,学習表現に異なる戻り値を持つ状態-動作ペアを判別させる新しい補助タスクを提案する。
アルゴリズムはatariゲームやdeepmindコントロールスイートの複雑なタスクのベースラインを上回っています。
論文 参考訳(メタデータ) (2021-02-22T13:04:18Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。