論文の概要: Cost-effective Interactive Attention Learning with Neural Attention Processes

• arxiv url: http://arxiv.org/abs/2006.05419v1
• Date: Tue, 9 Jun 2020 17:36:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 14:38:16.686285
• Title: Cost-effective Interactive Attention Learning with Neural Attention Processes
• Title（参考訳）: ニューラルアテンションプロセスを用いた費用対効果インタラクティブアテンション学習
• Authors: Jay Heo, Junhyeon Park, Hyewon Jeong, Kwang Joon Kim, Juho Lee, Eunho Yang, Sung Ju Hwang
• Abstract要約: 対話型注意学習(Interactive Attention Learning, IAL)と呼ばれる対話型学習フレームワークを提案する。 IALは、人間のアノテーションが不足しているため、過度に適合する傾向がある。 我々は,サンプル効率のよい注意機構と,コスト効率のよいインスタンスと機能の再ランクアルゴリズムを提案することで,これらの課題に対処する。
• 参考スコア（独自算出の注目度）: 79.8115563067513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel interactive learning framework which we refer to as Interactive Attention Learning (IAL), in which the human supervisors interactively manipulate the allocated attentions, to correct the model's behavior by updating the attention-generating network. However, such a model is prone to overfitting due to scarcity of human annotations, and requires costly retraining. Moreover, it is almost infeasible for the human annotators to examine attentions on tons of instances and features. We tackle these challenges by proposing a sample-efficient attention mechanism and a cost-effective reranking algorithm for instances and features. First, we propose Neural Attention Process (NAP), which is an attention generator that can update its behavior by incorporating new attention-level supervisions without any retraining. Secondly, we propose an algorithm which prioritizes the instances and the features by their negative impacts, such that the model can yield large improvements with minimal human feedback. We validate IAL on various time-series datasets from multiple domains (healthcare, real-estate, and computer vision) on which it significantly outperforms baselines with conventional attention mechanisms, or without cost-effective reranking, with substantially less retraining and human-model interaction cost.
• Abstract（参考訳）: 本稿では,人間監督者が対象の注意を対話的に操作する対話型注意学習(ial)と呼ばれる新しい対話型学習フレームワークを提案し,注意生成ネットワークの更新によるモデルの行動の修正を行う。 しかし、このようなモデルは人的アノテーションの不足により過度に適合しがちであり、コストのかかる再訓練が必要となる。 また,人間のアノテータが大量の事例や特徴に注意を向けることはほとんど不可能である。 これらの課題に対して,サンプル効率のよい注意機構と,コスト効率のよいインスタンスと機能の再ランクアルゴリズムを提案する。 まず,ニューラルアテンションプロセス(NAP, Neural Attention Process)を提案する。 第2に、モデルが人間からのフィードバックを最小限に抑えて大きな改善をもたらすことができるように、負の影響によってインスタンスと特徴を優先順位付けするアルゴリズムを提案する。 複数のドメイン(医療、不動産、コンピュータビジョン)の時系列データセットにおいて、従来の注意機構によりベースラインを大幅に上回っているか、あるいはコスト効率の低い再ランクで、トレーニングや人-モデルの相互作用コストを大幅に低減している。

関連論文リスト

• Understanding Human Activity with Uncertainty Measure for Novelty in Graph Convolutional Networks [2.223052975765005]
  本稿では,テンポラルフュージョングラフ畳み込みネットワークについて紹介する。 これは、アクティビティストリーム内の個々のアクションの境界推定が不十分であることを是正することを目的としている。 また、時間次元における過分割の問題も緩和する。
  論文  参考訳（メタデータ） (2024-10-10T13:44:18Z)
• A Primal-Dual Framework for Transformers and Neural Networks [52.814467832108875]
  自己注意は、シーケンスモデリングタスクにおけるトランスフォーマーの顕著な成功の鍵である。 自己アテンションは、支持ベクトル回帰問題から導かれる支持ベクトル展開に対応することを示す。 Batch Normalized Attention (Attention-BN) と Scaled Head (Attention-SH) の2つの新しい注意点を提案する。
  論文  参考訳（メタデータ） (2024-06-19T19:11:22Z)
• Learning from Observer Gaze:Zero-Shot Attention Prediction Oriented by Human-Object Interaction Recognition [13.956664101032006]
  まず,740種類の相互作用カテゴリの530,000個の固定点を含む,IGという新しい視線固定データセットを収集した。 次に、ゼロショットインタラクション指向の注意予測タスクZeroIAを紹介し、トレーニング中に遭遇しないインタラクションに対する視覚的手がかりを予測するモデルに挑戦する。 第3に、人間観測者の認知過程をエミュレートしてZeroIA問題に取り組むための対話型注意モデルIAを提案する。
  論文  参考訳（メタデータ） (2024-05-16T09:34:57Z)
• Efficient Human-in-the-loop System for Guiding DNNs Attention [25.501443892795614]
  本稿では,ユーザが指定した領域に対して,分類器の注意を対話的に誘導する,効率的なHuman-in-the-loopシステムを提案する。 注意誘導のための従来のアプローチでは、ピクセルレベルのアノテーションの準備が必要であり、インタラクティブシステムとして設計されていない。
  論文  参考訳（メタデータ） (2022-06-13T09:04:32Z)
• Learning Self-Modulating Attention in Continuous Time Space with Applications to Sequential Recommendation [102.24108167002252]
  本稿では,複雑で非線形に進化する動的ユーザの嗜好をモデル化する,自己変調型注意ネットワークを提案する。 提案手法がトップNシーケンシャルなレコメンデーションタスクに与える影響を実証的に示すとともに,3つの大規模実世界のデータセットによる結果から,我々のモデルが最先端のパフォーマンスを達成できることを示す。
  論文  参考訳（メタデータ） (2022-03-30T03:54:11Z)
• Aligning Eyes between Humans and Deep Neural Network through Interactive Attention Alignment [17.653966477405024]
  本稿では,対話型アテンションアライメント(IAA:Interactive Attention Alignment)の新たなフレームワークを提案する。 IAAは、DNNモデル説明法を、人間が偏りのあるモデル注意の事例を明らかにし、注意を直接調整できるインタラクティブな媒体として活用する。 人為的に調整された注意力を用いてDNNを改善するために,目視品質と予測精度を両立させる新しい計算パイプラインであるGRADIAを導入する。
  論文  参考訳（メタデータ） (2022-02-06T19:22:06Z)
• Unlocking Pixels for Reinforcement Learning via Implicit Attention [61.666538764049854]
  我々は最近,トランスフォーマーに非常に有効であることが示されている,新しい効率的なアテンションアルゴリズムを利用している。 これにより、注意に基づくコントローラは、より大きな視覚入力にスケールでき、より小さなパッチの使用が容易になります。 さらに,ソフトマックスの注目度をハイブリッドランダム特徴量で近似するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-08T17:00:26Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。