論文の概要: Optimal Multitask Representations Under a Rate Constraint: An Information Bottleneck Analysis

• arxiv url: http://arxiv.org/abs/2610.30493v1
• Date: Wed, 21 Oct 2026 22:18:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.167969
• Title: Optimal Multitask Representations Under a Rate Constraint: An Information Bottleneck Analysis
• Title（参考訳）: レート制約下における最適マルチタスク表現:情報ボトルネック解析
• Abstract要約: 不完全な情報の保持をモデル化するための相互情報制約を用いてマルチタスク情報のボトルネックを定式化する。 ガウスの入力やタスクについて、最適な表現を特徴付けるとともに、弱いタスク・アラインなスペシャリストが低いレートでリコンストラクション・ジェネラリストに勝るが、高いレートで敗れることを示す。 また,各固定ガウス予測対象が最適割り当て優先度の反転によって引き起こされる相対的後悔を任意に発生させるタスクファミリを構築した。
• 参考スコア（独自算出の注目度）: 19.15149570311282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Which pretraining objective yields the best representation for downstream tasks under an information budget? We formalize this problem as a multitask information bottleneck, using a mutual information constraint to model incomplete information retention. For Gaussian inputs and tasks, we characterize optimal representations and show that a weakly task-aligned specialist can outperform a reconstruction generalist at low rates but lose at high rates. We also construct task families for which every fixed Gaussian prediction objective incurs arbitrarily large relative regret, driven by reversals in optimal allocation priorities. Conversely, the average task information matrix defines an objective with a uniform relative-regret bound controlled by maximum task SNR. CelebA and dSprites experiments illustrate that compression can change which pretraining objective performs best, and even task-aware training can reverse which downstream task is better preserved as rate increases.
• Abstract（参考訳）: 情報予算の下で、どの事前学習目標が下流タスクに最適な表現をもたらすか? 不完全な情報の保持をモデル化するための相互情報制約を用いて,この問題をマルチタスク情報ボトルネックとして定式化する。 ガウスの入力やタスクについて、最適な表現を特徴付けるとともに、弱いタスク・アラインなスペシャリストが低いレートでリコンストラクションジェネリストを上回り、高いレートで敗れることを示す。 また,各固定ガウス予測対象が最適割り当て優先度の反転によって引き起こされる相対的後悔を任意に発生させるタスクファミリを構築した。 逆に、平均タスク情報行列は、最大タスクSNRによって制御される一様相対回帰境界を持つ目的を定義する。 CelebA と dSprites の実験では、プレトレーニング対象が最善を尽くす圧縮が変化し、タスク認識トレーニングでさえ、速度が上がるにつれて下流タスクがより保存されやすいかを逆転させることができる。

関連論文リスト

• Zero-Shot Off-Policy Learning [9.729890516322781]
  オフ政治学習法は、事前の相互作用の固定されたデータセットから直接最適なポリシーを導き出そうとする。 本研究では, 定常密度比に対する後継対策の理論的関連を見出すことにより, ゼロショット環境での政治外問題に対処する。 提案アルゴリズムは最適な重要度サンプリング比を推定し,任意のタスクに対して最適なポリシで定常分布補正を効果的に行う。
  論文  参考訳（メタデータ） (2026-02-02T11:06:31Z)
• Task Priors: Enhancing Model Evaluation by Considering the Entire Space of Downstream Tasks [18.705966042259405]
  このような厳格な評価プロトコルは、AI研究においてサイレントボトルネックを生み出している、と我々は主張する。 このビューでは、すべてのダウンストリームタスクのセットに対してモデルのパフォーマンスを評価することができる。
  論文  参考訳（メタデータ） (2025-07-14T02:53:14Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)
• APS: Active Pretraining with Successor Features [96.24533716878055]
  非エントロピーと後継指標であるHansenFastを再解釈して組み合わせることで、難解な相互情報を効率的に最適化できることを示す。 提案手法は,非エントロピーを用いて環境を探索し,探索したデータを効率的に活用して動作を学習する。
  論文  参考訳（メタデータ） (2021-08-31T16:30:35Z)
• Auxiliary Task Update Decomposition: The Good, The Bad and The Neutral [18.387162887917164]
  補助的タスク勾配のきめ細かい操作を行うモデルに依存しないフレームワークを定式化する。 そこで本研究では,タスクの損失を軽減・ダメージ・回避する方向に補助的な更新を分解することを提案する。 テキストと画像の分類タスクのアウト・オブ・ディストリビューションデータを活用する場合,我々のアプローチは一貫して,強靭で広く使用されているベースラインよりも優れています。
  論文  参考訳（メタデータ） (2021-08-25T17:09:48Z)
• The Common Intuition to Transfer Learning Can Win or Lose: Case Studies for Linear Regression [26.5147705530439]
  本稿では,学習対象パラメータと学習対象パラメータとの距離を正規化した線形回帰最適化として,対象タスクへの伝達学習アプローチを定義する。 十分関連するタスクに対して、最適に調整された転送学習手法が最適に調整されたリッジ回帰法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-09T18:46:01Z)
• Auxiliary Task Reweighting for Minimum-data Learning [118.69683270159108]
  教師付き学習は大量のトレーニングデータを必要とし、ラベル付きデータが不足しているアプリケーションを制限する。 データ不足を補う1つの方法は、補助的なタスクを利用して、メインタスクに対する追加の監視を提供することである。 そこで本研究では,主タスクにおけるデータ要求を減らし,補助タスクを自動的に重み付けする手法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T08:45:37Z)
• An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction [84.49035467829819]
  我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。 我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
  論文  参考訳（メタデータ） (2020-05-01T23:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。