論文の概要: RLAS-BIABC: A Reinforcement Learning-Based Answer Selection Using the BERT Model Boosted by an Improved ABC Algorithm

• arxiv url: http://arxiv.org/abs/2301.02807v1
• Date: Sat, 7 Jan 2023 08:33:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 15:47:30.312012
• Title: RLAS-BIABC: A Reinforcement Learning-Based Answer Selection Using the BERT Model Boosted by an Improved ABC Algorithm
• Title（参考訳）: RLAS-BIABC:改良ABCアルゴリズムによるBERTモデルを用いた強化学習に基づく回答選択
• Authors: Hamid Gharagozlou, Javad Mohammadzadeh, Azam Bastanfard and Saeed Shiry Ghidary
• Abstract要約: 回答選択(AS)は、オープンドメイン質問応答(QA)問題の重要なサブタスクである。 本稿では、注意機構に基づく長短期メモリ(LSTM)と、変換器(BERT)ワード埋め込みによる双方向エンコーダ表現に基づいて、ASのためのRLAS-BIABCと呼ばれる手法を提案する。
• 参考スコア（独自算出の注目度）: 6.82469220191368
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Answer selection (AS) is a critical subtask of the open-domain question answering (QA) problem. The present paper proposes a method called RLAS-BIABC for AS, which is established on attention mechanism-based long short-term memory (LSTM) and the bidirectional encoder representations from transformers (BERT) word embedding, enriched by an improved artificial bee colony (ABC) algorithm for pretraining and a reinforcement learning-based algorithm for training backpropagation (BP) algorithm. BERT can be comprised in downstream work and fine-tuned as a united task-specific architecture, and the pretrained BERT model can grab different linguistic effects. Existing algorithms typically train the AS model with positive-negative pairs for a two-class classifier. A positive pair contains a question and a genuine answer, while a negative one includes a question and a fake answer. The output should be one for positive and zero for negative pairs. Typically, negative pairs are more than positive, leading to an imbalanced classification that drastically reduces system performance. To deal with it, we define classification as a sequential decision-making process in which the agent takes a sample at each step and classifies it. For each classification operation, the agent receives a reward, in which the prize of the majority class is less than the reward of the minority class. Ultimately, the agent finds the optimal value for the policy weights. We initialize the policy weights with the improved ABC algorithm. The initial value technique can prevent problems such as getting stuck in the local optimum. Although ABC serves well in most tasks, there is still a weakness in the ABC algorithm that disregards the fitness of related pairs of individuals in discovering a neighboring food source position.
• Abstract（参考訳）: 回答選択(AS)は、オープンドメイン質問応答(QA)問題の重要なサブタスクである。 本稿では,事前学習のための改良された人工蜂コロニー(ABC)アルゴリズムと,トレーニングバックプロパゲーション(BP)アルゴリズムのための強化学習に基づくアルゴリズムによって強化された,アテンション機構に基づく長短期記憶(LSTM)と変換器(BERT)ワード埋め込みからの双方向エンコーダ表現に基づいて構築されたRLAS-BIABC for ASを提案する。 BERTは下流の作業で構成することができ、タスク固有の統合アーキテクチャとして微調整され、事前訓練されたBERTモデルは異なる言語的効果を得ることができる。 既存のアルゴリズムは通常、2クラスの分類器に対して正負のペアでASモデルを訓練する。 正のペアは質問と真正の回答を含み、負のペアは質問と偽の回答を含む。 出力は正の対、負の対の対はゼロである。 通常、負のペアはプラス以上であり、システム性能を劇的に低下させる不均衡な分類につながる。 そこで本研究では,エージェントが各ステップでサンプルを取得して分類する逐次的意思決定プロセスとして分類を定義する。 各分類操作において、エージェントは、多数クラスの賞が少数クラスの賞より少ない報酬を受け取る。 最終的に、エージェントはポリシーの重み付けの最適な値を見つける。 abcアルゴリズムの改良により,方針重み付けを初期化する。 初期値技術は、局所的な最適化で行き詰まるような問題を防ぐことができる。 ABCは、ほとんどのタスクでうまく機能するが、隣り合う食料源の位置を見つける際に、関連する個人の適合性を無視するABCアルゴリズムには依然として弱点がある。

関連論文リスト

• Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method [53.170053108447455]
  アンサンブル学習(英: Ensemble learning)は、弱い学習者を利用して強力な学習者を生み出す方法である。 我々は、マージンの概念を活かした滑らかで凸な目的関数を設計し、強力な学習者がより差別的になるようにした。 そして、我々のアルゴリズムを、多数のデータセットの10倍の大きさのランダムな森林や他の古典的な手法と比較する。
  論文  参考訳（メタデータ） (2024-08-06T03:42:38Z)
• Easy as ABCs: Unifying Boltzmann Q-Learning and Counterfactual Regret Minimization [25.25031447644468]
  本稿では,Boltzmann Q-learning (BQL) と反現実的後悔最小化 (CFR) を組み合わせたベスト・オブ・ボス・ワールドズ・アルゴリズムであるABCを提案する。 ABCは、環境の報酬と遷移ダイナミクスの定常性を測定することで、どの環境を探索するかを適応的に選択する。 マルコフ決定過程において、ABCは、環境中のアクションの数であるBQLと比較して、少なくともO(A)因子の減速によって最適なポリシーに収束する。
  論文  参考訳（メタデータ） (2024-02-19T04:58:39Z)
• HARRIS: Hybrid Ranking and Regression Forests for Algorithm Selection [75.84584400866254]
  両アプローチの強みを両アプローチの弱さを緩和しつつ組み合わせ, 特殊林を利用した新しいアルゴリズムセレクタを提案する。 HARRISの決定は、ハイブリッドランキングと回帰損失関数に基づいて最適化された木を作成する森林モデルに基づいている。
  論文  参考訳（メタデータ） (2022-10-31T14:06:11Z)
• Provable Benefits of Actor-Critic Methods for Offline Reinforcement Learning [85.50033812217254]
  アクター批判法はオフラインの強化学習に広く用いられているが、理論的にはそれほどよく理解されていない。 ペシミズムの原理を自然に取り入れた新しいオフラインアクター批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-19T17:27:29Z)
• SetConv: A New Approach for Learning from Imbalanced Data [29.366843553056594]
  集合畳み込み操作とエピソード学習戦略を提案し,各クラスに1つの代表を抽出する。 提案アルゴリズムは入力順序に関わらず置換不変であることを示す。
  論文  参考訳（メタデータ） (2021-04-03T22:33:30Z)
• Sinkhorn Label Allocation: Semi-Supervised Classification via Annealed Self-Training [38.81973113564937]
  セルフトレーニングは、学習者がラベルのないデータに関する予測をトレーニング中の監督として使用する半教師付き学習の標準的なアプローチです。 本稿では,このラベル割当問題を事例とクラス間の最適輸送問題として再解釈する。 我々は,CIFAR-10,CIFAR-100,SVHNデータセットに対するアルゴリズムの有効性を,最先端の自己学習アルゴリズムであるFixMatchと比較した。
  論文  参考訳（メタデータ） (2021-02-17T08:23:15Z)
• Binary Classification from Multiple Unlabeled Datasets via Surrogate Set Classification [94.55805516167369]
  我々は m 個の U 集合を $mge2$ で二進分類する新しい手法を提案する。 我々のキーとなる考え方は、サロゲート集合分類(SSC)と呼ばれる補助的分類タスクを考えることである。
  論文  参考訳（メタデータ） (2021-02-01T07:36:38Z)
• Iterative Weak Learnability and Multi-Class AdaBoost [0.0]
  SAMMEに触発されたマルチクラス分類問題に対する効率的なアンサンブルアルゴリズムを構築する。 SAMMEとは対照的に、アルゴリズムの最終仮説は確率1の正しいラベルに収束する。 サンプルサイズのみに依存する訓練誤差と追加項の和は,適応ブースティングアルゴリズムとしてアルゴリズムの一般化誤差を限定する。
  論文  参考訳（メタデータ） (2021-01-26T03:30:30Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Optimal Clustering from Noisy Binary Feedback [75.17453757892152]
  本稿では,二元的ユーザフィードバックから一組のアイテムをクラスタリングする問題について検討する。 最小クラスタ回復誤差率のアルゴリズムを考案する。 適応選択のために,情報理論的誤差下界の導出にインスパイアされたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2019-10-14T09:18:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。