論文の概要: Learning by Self-Explanation, with Application to Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2012.12899v2
• Date: Thu, 11 Mar 2021 01:05:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 03:08:02.823998
• Title: Learning by Self-Explanation, with Application to Neural Architecture Search
• Title（参考訳）: 自己説明による学習とニューラルアーキテクチャ探索への応用
• Authors: Ramtin Hosseini, Pengtao Xie
• Abstract要約: 自己説明による学習(LeaSE)と呼ばれる新しい機械学習手法を提案する。 提案手法では,予測結果の作り方について客観モデルに明確に説明することにより,その学習能力を向上させる。 CIFAR-100、CIFAR-10、ImageNetのニューラルネットワーク探索にLeaSEを適用します。
• 参考スコア（独自算出の注目度）: 12.317568257671427
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning by self-explanation is an effective learning technique in human learning, where students explain a learned topic to themselves for deepening their understanding of this topic. It is interesting to investigate whether this explanation-driven learning methodology broadly used by humans is helpful for improving machine learning as well. Based on this inspiration, we propose a novel machine learning method called learning by self-explanation (LeaSE). In our approach, an explainer model improves its learning ability by trying to clearly explain to an audience model regarding how a prediction outcome is made. LeaSE is formulated as a four-level optimization problem involving a sequence of four learning stages which are conducted end-to-end in a unified framework: 1) explainer learns; 2) explainer explains; 3) audience learns; 4) explainer re-learns based on the performance of the audience. We develop an efficient algorithm to solve the LeaSE problem. We apply LeaSE for neural architecture search on CIFAR-100, CIFAR-10, and ImageNet. Experimental results strongly demonstrate the effectiveness of our method.
• Abstract（参考訳）: 自己説明による学習は人間の学習において効果的な学習手法であり、学生は学習トピックを自分自身に説明し、このトピックに対する理解を深める。 この説明駆動学習手法が、人間が広範に利用することで、機械学習も改善できるかどうかを調べることは興味深い。 このインスピレーションに基づいて,自己説明による学習(LeaSE)と呼ばれる新しい機械学習手法を提案する。 提案手法では,予測結果の作り方について客観モデルに明確に説明することにより,その学習能力を向上させる。 LeaSEは,1) 説明者による学習,2) 説明者による説明,3) 聴衆による学習,4) 聴衆のパフォーマンスに基づく説明者による再学習,という4段階の学習段階からなる4段階の最適化問題として定式化されている。 我々はLeaSE問題を解くための効率的なアルゴリズムを開発した。 CIFAR-100, CIFAR-10, ImageNet上でのニューラルネットワーク探索にLeaSEを適用した。 実験結果は,本手法の有効性を強く示している。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• Exploring Effective Factors for Improving Visual In-Context Learning [56.14208975380607]
  In-Context Learning(ICL)は、いくつかのデモ(別名プロンプト)を通じて新しいタスクを理解し、モデルをチューニングせずに新しい入力を予測することである。 本稿では,視覚的文脈学習の推論性能に直接的な影響を及ぼす要因として,迅速な選択と迅速な融合があげられる。 視覚的インコンテキスト学習のためのシンプルなフレームワークプロンプトSelFを提案する。
  論文  参考訳（メタデータ） (2023-04-10T17:59:04Z)
• Teaching Algorithmic Reasoning via In-context Learning [45.45116247046013]
  本研究では,大規模言語モデル (LLM) に対して,文脈内学習によりアルゴリズム推論を教えることができることを示す。 我々は,様々な算術的および定量的推論タスクに対するアプローチを評価する。 最良ベースラインと比較して,約10x,9x,5x,2xの誤差低減を実現した。
  論文  参考訳（メタデータ） (2022-11-15T06:12:28Z)
• Implicit Offline Reinforcement Learning via Supervised Learning [83.8241505499762]
  監視学習によるオフライン強化学習(RL)は、さまざまな専門レベルのポリシーによって収集されたデータセットからロボットスキルを学ぶための、シンプルで効果的な方法である。 我々は、暗黙的なモデルが返却情報を利用して、固定されたデータセットからロボットスキルを取得するために、明示的なアルゴリズムにマッチするか、あるいは性能を向上するかを示す。
  論文  参考訳（メタデータ） (2022-10-21T21:59:42Z)
• Learning from Mistakes -- A Framework for Neural Architecture Search [13.722450738258015]
  LFM(Learning From Mistakes)と呼ばれる新しい機械学習手法を提案する。 LFMは、リビジョン中の誤りにもっと集中することで学習者の学習能力を向上させる。 CIFAR-10, CIFAR-100, Imagenet 上でのニューラルネットワーク探索に LFM フレームワークを適用した。
  論文  参考訳（メタデータ） (2021-11-11T18:04:07Z)
• Interleaving Learning, with Application to Neural Architecture Search [12.317568257671427]
  インターリーブ学習(IL)と呼ばれる新しい機械学習フレームワークを提案する。 私たちのフレームワークでは、一連のモデルが相互に連携してデータエンコーダを学習します。 CIFAR-10, CIFAR-100, ImageNetの画像分類にインターリービング学習を適用した。
  論文  参考訳（メタデータ） (2021-03-12T00:54:22Z)
• Learning by Teaching, with Application to Neural Architecture Search [10.426533624387305]
  学習による学習(LBT)と呼ばれる新しいMLフレームワークを提案する。 lbtでは、教師モデルが生徒モデルにうまく学ぶように教えることで自己改善する。 バリデーションデータセットで生徒がどのように振る舞うかに基づいて、教師はモデルを再学習し、生徒が優れたバリデーション性能に達するまで再指導する。
  論文  参考訳（メタデータ） (2021-03-11T23:50:38Z)
• Small-Group Learning, with Application to Neural Architecture Search [17.86826990290058]
  人間の学習では、学生の小さなグループが同じ学習目標に向かって協力し、そこでトピックに対する理解を仲間に表現し、アイデアを比較し、互いにトラブルシュートを手助けします。 本稿では,新しいMLフレームワークであるSGL(Small-group Learning)を開発することにより,機械学習モデルを改善するために,この人的学習手法を借用できるかどうかを検討することを目的とする。 sglは、3つの学習段階からなる多レベル最適化フレームワークとして定式化されている: 各学習者は独立してモデルを訓練し、このモデルを使って擬似ラベルを実行する。
  論文  参考訳（メタデータ） (2020-12-23T05:56:47Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Explainable Active Learning (XAL): An Empirical Study of How Local Explanations Impact Annotator Experience [76.9910678786031]
  本稿では、最近急増している説明可能なAI(XAI)のテクニックをアクティブラーニング環境に導入することにより、説明可能なアクティブラーニング(XAL)の新たなパラダイムを提案する。 本研究は,機械教育のインタフェースとしてのAI説明の利点として,信頼度校正を支援し,リッチな形式の教示フィードバックを可能にすること,モデル判断と認知作業負荷による潜在的な欠点を克服する効果を示す。
  論文  参考訳（メタデータ） (2020-01-24T22:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。