論文の概要: Visually Grounded Continual Language Learning with Selective Specialization

• arxiv url: http://arxiv.org/abs/2310.15571v1
• Date: Tue, 24 Oct 2023 07:35:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 20:10:00.489242
• Title: Visually Grounded Continual Language Learning with Selective Specialization
• Title（参考訳）: 選択特殊化による視覚的接地連続言語学習
• Authors: Kyra Ahrens, Lennart Bengtson, Jae Hee Lee, Stefan Wermter
• Abstract要約: 視覚的に行動する人工エージェントの望ましい特徴は、言語インフォームドタスクの連続を継続的に学習することである。 選択的特殊化(Selective specialization)、すなわち、各タスクを専門とするモデルコンポーネントの選択は、このトレードオフを管理するための戦略である。
• 参考スコア（独自算出の注目度）: 17.31203979844975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A desirable trait of an artificial agent acting in the visual world is to continually learn a sequence of language-informed tasks while striking a balance between sufficiently specializing in each task and building a generalized knowledge for transfer. Selective specialization, i.e., a careful selection of model components to specialize in each task, is a strategy to provide control over this trade-off. However, the design of selection strategies requires insights on the role of each model component in learning rather specialized or generalizable representations, which poses a gap in current research. Thus, our aim with this work is to provide an extensive analysis of selection strategies for visually grounded continual language learning. Due to the lack of suitable benchmarks for this purpose, we introduce two novel diagnostic datasets that provide enough control and flexibility for a thorough model analysis. We assess various heuristics for module specialization strategies as well as quantifiable measures for two different types of model architectures. Finally, we design conceptually simple approaches based on our analysis that outperform common continual learning baselines. Our results demonstrate the need for further efforts towards better aligning continual learning algorithms with the learning behaviors of individual model parts.
• Abstract（参考訳）: 視覚に作用する人工エージェントの望ましい特性は、各タスクに十分な専門化と、伝達のための一般的な知識の構築のバランスを保ちながら、言語に変形したタスクのシーケンスを継続的に学習することである。 選択的特殊化(Selective specialization)、すなわち各タスクを専門とするモデルコンポーネントの選択は、このトレードオフを管理するための戦略である。 しかしながら、選択戦略の設計には、より専門的で一般化可能な表現の学習において、各モデルコンポーネントの役割についての洞察が必要である。 そこで本研究の目的は,視覚下連続言語学習のための選択戦略を広範囲に分析することである。 この目的に適したベンチマークがないため、徹底したモデル分析に十分な制御と柔軟性を提供する2つの新しい診断データセットを導入する。 モジュールの特殊化戦略および2種類のモデルアーキテクチャの定量化のための様々なヒューリスティックスを評価する。 最後に,共通の連続学習ベースラインを上回る分析に基づいて,概念的に単純なアプローチをデザインする。 本研究は,連続学習アルゴリズムと個別モデル部品の学習行動の連携を改善するためのさらなる取り組みの必要性を示す。

関連論文リスト

• Towards a Unified View of Preference Learning for Large Language Models: A Survey [88.66719962576005]
  大きな言語モデル(LLM)は、非常に強力な能力を示す。 成功するための重要な要因の1つは、LLMの出力を人間の好みに合わせることである。 選好学習のすべての戦略を、モデル、データ、フィードバック、アルゴリズムの4つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-09-04T15:11:55Z)
• Examining Changes in Internal Representations of Continual Learning Models Through Tensor Decomposition [5.01338577379149]
  連続学習(CL)は、逐次学習にまたがる過去の知識の統合を目的としたいくつかの手法の開発を加速させた。 CLモデルのための表現に基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-06T07:52:44Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• Forging Multiple Training Objectives for Pre-trained Language Models via Meta-Learning [97.28779163988833]
  複数の事前学習目標が単一目的言語モデリングの理解能力の欠如を埋める。 メタラーニングに基づく新しい適応型サンプリングシステムであるtextitMOMETAS を提案し,任意の事前学習対象に対して潜時サンプリングパターンを学習する。
  論文  参考訳（メタデータ） (2022-10-19T04:38:26Z)
• Towards a General Pre-training Framework for Adaptive Learning in MOOCs [37.570119583573955]
  異種学習要素を適切に活用した,データ観測と学習スタイル分析に基づく統合フレームワークを提案する。 授業の構造やテキスト,知識は,学生の非逐次学習行動に本質的に整合性があり,モデリングに有用であることがわかった。
  論文  参考訳（メタデータ） (2022-07-18T13:18:39Z)
• Learning to Generalize Compositionally by Transferring Across Semantic Parsing Tasks [37.66114618645146]
  本研究では,ある構成課題から別の構成課題への移動学習を容易にする学習表現について検討する。 本手法を3つの全く異なるデータセットを用いて意味解析に適用する。 本手法は,対象タスクのテストセット上でのベースラインに対する合成一般化を著しく改善する。
  論文  参考訳（メタデータ） (2021-11-09T09:10:21Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)
• Provable Representation Learning for Imitation Learning via Bi-level Optimization [60.059520774789654]
  現代の学習システムにおける一般的な戦略は、多くのタスクに有用な表現を学ぶことである。 我々は,複数の専門家の軌道が利用できるマルコフ決定過程(MDP)の模倣学習環境において,この戦略を研究する。 このフレームワークは,行動のクローン化と観察-アローンの模倣学習設定のためにインスタンス化する。
  論文  参考訳（メタデータ） (2020-02-24T21:03:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。