論文の概要: Fast Line Search for Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2110.00874v1
• Date: Sat, 2 Oct 2021 21:02:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-06 09:14:46.037612
• Title: Fast Line Search for Multi-Task Learning
• Title（参考訳）: マルチタスク学習のための高速ライン探索
• Authors: Andrey Filatov and Daniil Merkulov
• Abstract要約: マルチタスク学習における行探索アルゴリズムの新しいアイデアを提案する。 この考え方は、ステップサイズを見つけるためにパラメータ空間の代わりに潜在表現空間を使用することである。 本稿では,MNIST,CIFAR-10,Cityscapesタスクの学習速度を一定とする古典的バックトラック法と勾配法を比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Multi-task learning is a powerful method for solving several tasks jointly by learning robust representation. Optimization of the multi-task learning model is a more complex task than a single-task due to task conflict. Based on theoretical results, convergence to the optimal point is guaranteed when step size is chosen through line search. But, usually, line search for the step size is not the best choice due to the large computational time overhead. We propose a novel idea for line search algorithms in multi-task learning. The idea is to use latent representation space instead of parameter space for finding step size. We examined this idea with backtracking line search. We compare this fast backtracking algorithm with classical backtracking and gradient methods with a constant learning rate on MNIST, CIFAR-10, Cityscapes tasks. The systematic empirical study showed that the proposed method leads to more accurate and fast solution, than the traditional backtracking approach and keep competitive computational time and performance compared to the constant learning rate method.
• Abstract（参考訳）: マルチタスク学習はロバスト表現を学習することで複数のタスクを協調的に解決する強力な方法である。 マルチタスク学習モデルの最適化は、タスクの競合によるシングルタスクよりも複雑なタスクである。 理論的結果に基づいて、行探索によってステップサイズを選択すると、最適点への収束が保証される。 しかし、通常、ステップサイズのライン検索は、計算時間のオーバーヘッドが大きいため、最善の選択ではない。 マルチタスク学習における線探索アルゴリズムの新しいアイデアを提案する。 そのアイデアは、ステップサイズを見つけるためにパラメータ空間の代わりに潜在表現空間を使用することである。 我々はこのアイデアをバックトラックラインサーチを用いて検討した。 本手法は,MNIST,CIFAR-10,Cityscapesタスク上での学習率と,古典的バックトラック法と勾配法を比較した。 系統的な実証実験により,提案手法は従来のバックトラック手法よりも正確で高速な解法となり,一定の学習率法に比べて計算時間と性能の競争力を維持することがわかった。

関連論文リスト

• Learning Dual-arm Object Rearrangement for Cartesian Robots [28.329845378085054]
  この研究は、カルテシアンロボットの現実的な産業シナリオから抽象化されたデュアルアームオブジェクト再構成問題に焦点を当てる。 この問題の目標は、すべてのオブジェクトをソースからターゲットに、総完了時間最小で転送することである。 我々は、累積タスク実行時間を最小化し、両腕協調効率を最大化するための効果的なオブジェクト・ツー・アームタスク割り当て戦略を開発する。
  論文  参考訳（メタデータ） (2024-02-21T09:13:08Z)
• Tree-of-Mixed-Thought: Combining Fast and Slow Thinking for Multi-hop Visual Reasoning [16.495754104540605]
  大規模言語モデル(LLM)は、視覚的推論のような複雑な推論タスクのためのコードライクな計画を生成することができる。 ワンストップ推論 (fast) とツリー・オブ・シント (slow) を統合した階層型計画探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-18T16:21:40Z)
• Multitask Learning with No Regret: from Improved Confidence Bounds to Active Learning [79.07658065326592]
  推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。 タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。 本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-03T13:08:09Z)
• NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision Research [96.53307645791179]
  我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。 分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。 NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
  論文  参考訳（メタデータ） (2022-11-15T18:57:46Z)
• CrossBeam: Learning to Search in Bottom-Up Program Synthesis [51.37514793318815]
  ボトムアップ合成のためのハンズオン検索ポリシーを学習するためのニューラルネットワークのトレーニングを提案する。 私たちのアプローチは、CrossBeamと呼ばれ、ニューラルモデルを使用して、以前に探索されたプログラムを新しいプログラムに組み合わせる方法を選択します。 我々はCrossBeamが効率的に検索することを学び、最先端技術と比較してプログラム空間のより小さな部分を探索する。
  論文  参考訳（メタデータ） (2022-03-20T04:41:05Z)
• In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
  本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。 標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
  論文  参考訳（メタデータ） (2022-01-11T18:44:17Z)
• Leveraging Experience in Lazy Search [37.75223642505171]
  遅延グラフ探索アルゴリズムは、エッジ評価が計算ボトルネックとなる動き計画問題の解法において効率的である。 我々は,この問題を探索問題の状態に関するマルコフ決定過程 (MDP) として定式化する。 我々は,訓練中にMDPを解くことができる分子セレクタを計算可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-10T00:46:44Z)
• Efficient Active Search for Combinatorial Optimization Problems [1.6543719822033436]
  能動探索により、学習したモデルが、トレーニング中に見られたものよりもはるかに大きいインスタンスを効果的に解決できることが示される。 提案手法は、与えられたモデルの探索性能を大幅に向上する簡単な方法を提供し、ルーティング問題に対する最先端の機械学習手法より優れている。
  論文  参考訳（メタデータ） (2021-06-09T15:08:03Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Linear Mode Connectivity in Multitask and Continual Learning [46.98656798573886]
  マルチタスクと連続解が同様に接続されているかを検討する。 マルチタスク・ソリューションとして振る舞うために、逐次学習されたミニマを制約する効果的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-09T10:53:25Z)
• Meta-learning with Stochastic Linear Bandits [120.43000970418939]
  我々は、よく知られたOFULアルゴリズムの正規化バージョンを実装するバンディットアルゴリズムのクラスを考える。 我々は,タスク数の増加とタスク分散の分散が小さくなると,タスクを個別に学習する上で,我々の戦略が大きな優位性を持つことを理論的および実験的に示す。
  論文  参考訳（メタデータ） (2020-05-18T08:41:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。