論文の概要: Evolutionary Neural Architecture Search for Transformer in Knowledge Tracing

• arxiv url: http://arxiv.org/abs/2310.01180v1
• Date: Mon, 2 Oct 2023 13:19:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 21:53:06.422635
• Title: Evolutionary Neural Architecture Search for Transformer in Knowledge Tracing
• Title（参考訳）: ナレッジトレースにおけるトランスフォーマーの進化的ニューラルアーキテクチャ探索
• Authors: Shangshang Yang, Xiaoshan Yu, Ye Tian, Xueming Yan, Haiping Ma, and Xingyi Zhang
• Abstract要約: 本稿では,入力特徴選択を自動化する進化的ニューラルアーキテクチャ探索手法を提案し,ローカル・グローバル・コンテキスト・モデリングのバランシングを実現するためにどの操作を適用すべきかを自動決定する。 2つの最大かつ最も困難な教育データセットの実験結果は、提案手法によって発見されたアーキテクチャの有効性を実証している。
• 参考スコア（独自算出の注目度）: 8.779571123401185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge tracing (KT) aims to trace students' knowledge states by predicting whether students answer correctly on exercises. Despite the excellent performance of existing Transformer-based KT approaches, they are criticized for the manually selected input features for fusion and the defect of single global context modelling to directly capture students' forgetting behavior in KT, when the related records are distant from the current record in terms of time. To address the issues, this paper first considers adding convolution operations to the Transformer to enhance its local context modelling ability used for students' forgetting behavior, then proposes an evolutionary neural architecture search approach to automate the input feature selection and automatically determine where to apply which operation for achieving the balancing of the local/global context modelling. In the search space, the original global path containing the attention module in Transformer is replaced with the sum of a global path and a local path that could contain different convolutions, and the selection of input features is also considered. To search the best architecture, we employ an effective evolutionary algorithm to explore the search space and also suggest a search space reduction strategy to accelerate the convergence of the algorithm. Experimental results on the two largest and most challenging education datasets demonstrate the effectiveness of the architecture found by the proposed approach.
• Abstract（参考訳）: 知識追跡(KT)は、学生が演習で正しく答えるかどうかを予測することによって、学生の知識状態を追跡することを目的としている。 既存の Transformer ベースの KT アプローチの優れた性能にもかかわらず,統合のための手作業で選択した入力機能と,KT における学生の忘れ行動を直接キャプチャする単一グローバルコンテキストモデリングの欠陥は,関連レコードが現在の記録から遠い場合の問題点として批判されている。 そこで本稿では,まず,生徒の忘れ行動に使用する局所的コンテキストモデリング能力を高めるために,変換器に畳み込み操作を追加することを検討するとともに,入力特徴選択を自動化する進化的ニューラルネットワーク探索手法を提案し,局所的コンテキストモデリングのバランスを達成するためにどの操作を適用すべきかを自動決定する。 探索空間では、変換器にアテンションモジュールを含む元のグローバルパスを、異なる畳み込みを含むグローバルパスと局所パスの和に置き換え、入力特徴の選択も考慮される。 最適なアーキテクチャを探索するために,効率的な進化的アルゴリズムを用いて探索空間を探索し,アルゴリズムの収束を加速するための探索空間削減戦略を提案する。 2つの最大かつ最も困難な教育データセットの実験結果は、提案手法によって発見されたアーキテクチャの有効性を示す。

関連論文リスト

• Learning Where to Look: Self-supervised Viewpoint Selection for Active Localization using Geometrical Information [68.10033984296247]
  本稿では, 位置決めの精度を高めるために, 視点選択の重要性を強調し, アクティブな位置決め領域について検討する。 私たちのコントリビューションは、リアルタイム操作用に設計されたシンプルなアーキテクチャ、自己教師付きデータトレーニング方法、および実世界のロボティクスアプリケーションに適した計画フレームワークにマップを一貫して統合する能力による、データ駆動型アプローチの使用に関するものです。
  論文  参考訳（メタデータ） (2024-07-22T12:32:09Z)
• GASE: Graph Attention Sampling with Edges Fusion for Solving Vehicle Routing Problems [6.084414764415137]
  車両のルーティング問題を解決するためにEdges Fusionフレームワークを用いた適応型グラフ注意サンプリングを提案する。 提案手法は,既存の手法を2.08%-6.23%上回り,より強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-05-21T03:33:07Z)
• ECToNAS: Evolutionary Cross-Topology Neural Architecture Search [0.0]
  ECToNASは、コスト効率のよい進化的クロストポロジーニューラルアーキテクチャ探索アルゴリズムである。 トレーニングとトポロジの最適化を融合して,軽量でリソースフレンドリなプロセスにします。
  論文  参考訳（メタデータ） (2024-03-08T07:36:46Z)
• Transferability Metrics for Object Detection [0.0]
  Transfer Learningは、既存のトレーニング済みモデルを最大限に活用して、限られたデータシナリオで新しいタスクのパフォーマンスを向上させることを目的としている。 我々は、ROI-Align と TLogME を用いて、転送可能性のメトリクスをオブジェクト検出に拡張する。 我々は,TLogMEが転送性能とロバストな相関を示し,局所的およびグローバルなレベルの特性で他の転送可能性指標より優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-27T08:49:31Z)
• Tightly Coupled Learning Strategy for Weakly Supervised Hierarchical Place Recognition [0.09558392439655011]
  本稿では,三重項モデルを学習するための密結合学習(TCL)戦略を提案する。 グローバルデクリプタとローカルデクリプタを組み合わせて、共同最適化を行う。 我々の軽量統一モデルは、いくつかの最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2022-02-14T03:20:39Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• Navigating the Kaleidoscope of COVID-19 Misinformation Using Deep Learning [0.76146285961466]
  対象ドメインの局所的コンテキストとグローバル的コンテキストの両方をキャプチャする効果的なモデルを提案する。 i) 深層トランスフォーマーをベースとした事前学習モデルでは, 混合ドメイン変換学習が有効であり, 局所的な文脈を捉えるのが得意であり, 一般化が不十分である。 浅いネットワークベースのドメイン固有モデルと畳み込みニューラルネットワークの組み合わせは、階層的な方法でターゲットデータから局所的およびグローバル的コンテキストを直接抽出し、より一般化可能なソリューションを提供する。
  論文  参考訳（メタデータ） (2021-09-19T15:49:25Z)
• GLiT: Neural Architecture Search for Global and Local Image Transformer [114.8051035856023]
  画像認識のためのトランスフォーマーアーキテクチャを改良するために,最初のニューラルアーキテクチャサーチ(NAS)手法を提案する。 画像分類では,ResNetファミリーやベースラインのViTよりも,より差別的で効率的なトランスフォーマー変種を見つけることができる。
  論文  参考訳（メタデータ） (2021-07-07T00:48:09Z)
• Localized active learning of Gaussian process state space models [63.97366815968177]
  多くの共通制御アプリケーションにおいて、優れた性能を達成するためには、グローバルに正確なモデルを必要としない。 本稿では,状態-作用空間の有界部分集合上の正確なモデルを得ることを目的としたガウス過程状態空間モデルに対する能動的学習戦略を提案する。 モデル予測制御を用いることで、探索中に収集した情報を統合し、探索戦略を適応的に改善する。
  論文  参考訳（メタデータ） (2020-05-04T05:35:02Z)
• Pairwise Similarity Knowledge Transfer for Weakly Supervised Object Localization [53.99850033746663]
  弱教師付き画像ラベルを持つ対象クラスにおける局所化モデル学習の問題点について検討する。 本研究では,対象関数のみの学習は知識伝達の弱い形態であると主張する。 COCOおよびILSVRC 2013検出データセットの実験では、ペアワイズ類似度関数を含むことにより、ローカライズモデルの性能が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2020-03-18T17:53:33Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。