論文の概要: What is Next when Sequential Prediction Meets Implicitly Hard Interaction?

• arxiv url: http://arxiv.org/abs/2202.06620v1
• Date: Mon, 14 Feb 2022 11:15:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-16 01:25:52.220037
• Title: What is Next when Sequential Prediction Meets Implicitly Hard Interaction?
• Title（参考訳）: 逐次予測が過酷な相互作用に遭遇する次は何か?
• Authors: Kaixi Hu, Lin Li, Qing Xie, Jianquan Liu, Xiaohui Tao
• Abstract要約: ハーネスアウェアインタラクション学習フレームワーク(HAIL)は、2つの基本的逐次学習ネットワークと相互排他蒸留(MED)から構成される 私たちのフレームワークは、よりピアベースのネットワークに容易に拡張できます。
• 参考スコア（独自算出の注目度）: 12.093590031186034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hard interaction learning between source sequences and their next targets is challenging, which exists in a myriad of sequential prediction tasks. During the training process, most existing methods focus on explicitly hard interactions caused by wrong responses. However, a model might conduct correct responses by capturing a subset of learnable patterns, which results in implicitly hard interactions with some unlearned patterns. As such, its generalization performance is weakened. The problem gets more serious in sequential prediction due to the interference of substantial similar candidate targets. To this end, we propose a Hardness Aware Interaction Learning framework (HAIL) that mainly consists of two base sequential learning networks and mutual exclusivity distillation (MED). The base networks are initialized differently to learn distinctive view patterns, thus gaining different training experiences. The experiences in the form of the unlikelihood of correct responses are drawn from each other by MED, which provides mutual exclusivity knowledge to figure out implicitly hard interactions. Moreover, we deduce that the unlikelihood essentially introduces additional gradients to push the pattern learning of correct responses. Our framework can be easily extended to more peer base networks. Evaluation is conducted on four datasets covering cyber and physical spaces. The experimental results demonstrate that our framework outperforms several state-of-the-art methods in terms of top-k based metrics.
• Abstract（参考訳）: ソースシーケンスとその次のターゲット間のハードインタラクション学習は、無数の逐次予測タスクに存在する困難である。 トレーニングプロセスの間、既存のほとんどのメソッドは、間違った反応によって引き起こされる明確なハードな相互作用に焦点を当てています。 しかし、学習可能なパターンのサブセットをキャプチャすることで、モデルが正しい応答を行えば、暗黙的に未学習のパターンと相互作用する。 これにより、一般化性能が低下する。 この問題は、相当な類似する候補ターゲットの干渉により、逐次予測においてより深刻になる。 そこで本研究では,2つの基本逐次学習ネットワークと相互排他性蒸留(med)からなるハードネス認識インタラクション学習フレームワーク(hail)を提案する。 ベースネットワークは、異なる視点パターンを学習するために異なる初期化が行われ、異なるトレーニング経験が得られる。 正しい応答の相違という形での経験は、暗黙的にハードな相互作用を解明するための相互排他的知識を提供するMEDによって互いに引き離される。 さらに,この不規則性は,パターン学習を正しい応答に推し進めるためのグラデーションを本質的に導入すると考えられる。 我々のフレームワークは、より多くのピアベースネットワークに簡単に拡張できます。 サイバー空間と物理空間をカバーする4つのデータセットで評価を行う。 実験の結果,我々のフレームワークは,トップkベースの指標で,最先端の手法よりも優れていることがわかった。

関連論文リスト

• A distributional simplicity bias in the learning dynamics of transformers [50.91742043564049]
  自然言語データに基づいてトレーニングされたトランスフォーマーは、単純さのバイアスも示している。 具体的には、入力トークン間の多体相互作用を逐次学習し、低次相互作用の予測誤差において飽和点に達する。 このアプローチは、自然言語処理などにおいて、データ内の異なる順序の相互作用が学習にどのように影響するかを研究する可能性を開く。
  論文  参考訳（メタデータ） (2024-10-25T15:39:34Z)
• Diffusing States and Matching Scores: A New Framework for Imitation Learning [16.941612670582522]
  敵対的模倣学習は伝統的に、学習者と敵対的に選択されたコスト関数の間の2つのプレイヤーゼロサムゲームとしてフレーム化されている。 近年、拡散モデルはGANの非敵対的な代替品として出現している。 提案手法は, 様々な連続制御問題に対して, GANスタイルの模倣学習ベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:59:25Z)
• ConsistentEE: A Consistent and Hardness-Guided Early Exiting Method for Accelerating Language Models Inference [21.24566458648584]
  トレーニングと推論に一貫性のある早期退避手法であるConsistentEEを提案する。 インスタンスが終了するか継続するかを決定するためにポリシーネットワークが追加される。 記憶層を報酬関数設計に組み込むことで、"簡単"なインスタンスがより加速に集中できるようにします。
  論文  参考訳（メタデータ） (2023-12-19T06:16:13Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
  得られた知識を有向非巡回因果グラフの形で公開することを提案する。 また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。 提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2023-09-30T20:59:42Z)
• Learning Transferable Adversarial Robust Representations via Multi-view Consistency [57.73073964318167]
  デュアルエンコーダを用いたメタ逆多視点表現学習フレームワークを提案する。 未確認領域からの少数ショット学習タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-19T11:48:01Z)
• Understanding the Logit Distributions of Adversarially-Trained Deep Neural Networks [6.439477789066243]
  敵の防御は、敵の攻撃による入力摂動に不変であるように、ディープニューラルネットワークを訓練する。 敵の攻撃を緩和するためには敵の訓練が成功しているが、敵の訓練を受けた(AT)モデルと標準モデルとの行動的差異はいまだに理解されていない。 対向性学習に不可欠な3つのロジット特性を同定する。
  論文  参考訳（メタデータ） (2021-08-26T19:09:15Z)
• Linear Mode Connectivity in Multitask and Continual Learning [46.98656798573886]
  マルチタスクと連続解が同様に接続されているかを検討する。 マルチタスク・ソリューションとして振る舞うために、逐次学習されたミニマを制約する効果的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-09T10:53:25Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。