Fugu-MT 論文翻訳(概要): Fixing exposure bias with imitation learning needs powerful oracles

論文の概要: Fixing exposure bias with imitation learning needs powerful oracles

arxiv url: http://arxiv.org/abs/2109.04114v1
Date: Thu, 9 Sep 2021 09:10:07 GMT
ステータス: 処理完了
システム内更新日: 2021-09-11 03:39:08.697844
Title: Fixing exposure bias with imitation learning needs powerful oracles
Title（参考訳）: 模倣学習による露出バイアスの修正には強力なオラクルが必要だ
Authors: Luca Hormann and Artem Sokolov
Abstract要約: 我々は,NMT露光バイアス問題に誤り訂正オラクルを用いて対処するために,模倣学習(IL)を適用した。我々は,SMT格子を用いたオラクルの評価を行ったが,その性能は優れており,ILのオラクルとして機能するには急激でイディオシラティックであることがわかった。
参考スコア（独自算出の注目度）: 2.5309575048144413
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We apply imitation learning (IL) to tackle the NMT exposure bias problem with error-correcting oracles, and evaluate an SMT lattice-based oracle which, despite its excellent performance in an unconstrained oracle translation task, turned out to be too pruned and idiosyncratic to serve as the oracle for IL.
Abstract（参考訳）: 我々は,NMTの露出バイアス問題に誤り訂正オラクルを用いて対処するために模倣学習(IL)を適用し,制約のないオラクル翻訳タスクにおいて優れた性能を示したSMT格子ベースのオラクルの評価を行った。

関連論文リスト

Test Oracle Automation in the era of LLMs [52.69509240442899]
大規模言語モデル(LLM)は、多様なソフトウェアテストタスクに取り組むのに顕著な能力を示した。本研究の目的は, 各種のオラクル生成時に生じる課題とともに, LLMs によるオラクルの自動化の可能性について検討することである。
論文参考訳（メタデータ） (2024-05-21T13:19:10Z)
Generative Speech Recognition Error Correction with Large Language Models and Task-Activating Prompting [32.70214938434769]
本稿では,大規模言語モデル(LLM)の音声認識後処理機能について検討する。我々は、ゼロショットと少数ショットのインコンテキスト学習と、新しいタスクアクティベーション・プロンプト法という、異なるプロンプト方式を評価する。凍結LDMを用いた文脈内学習でのみ再構成を行うことで、ドメインチューニングLMによる再構成と競合する結果が得られることを示す。
論文参考訳（メタデータ） (2023-09-27T13:36:03Z)
An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning [70.48605869773814]
カタストロフィック・ナッシング(英: Catastrophic forgetting、CF)は、機械学習において、モデルが新しい知識を取得しながら学習した情報を忘れたときに発生する現象である。本研究では,大規模言語モデル(LLM)における連続的指導調律時の忘れ現象を実験的に評価する。
論文参考訳（メタデータ） (2023-08-17T02:53:23Z)
Semi-supervised Neural Machine Translation with Consistency Regularization for Low-Resource Languages [3.475371300689165]
本稿では,高品質な文ペアを増補し,半教師付き方式でNMTモデルを訓練することにより,低リソース言語の問題に対処する,シンプルかつ効果的な手法を提案する。具体的には、教師あり学習におけるクロスエントロピー損失と、疑似および拡張的対象文が与えられた教師なしのファッションにおけるKLディバージェンスを組み合わせる。実験の結果,提案手法はNMTベースライン,特に0.46-2.03BLEUスコアを持つ低リソースデータセットにおいて,NMTベースラインを大幅に改善することが示された。
論文参考訳（メタデータ） (2023-04-02T15:24:08Z)
ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
論文参考訳（メタデータ） (2022-11-10T08:41:40Z)
On Covariate Shift of Latent Confounders in Imitation and Reinforcement Learning [69.48387059607387]
模擬・強化学習において,未観測の共同設立者と専門家データを併用することの問題点を考察する。我々は、外部報酬を伴わずに、確立した専門家データから学ぶことの限界を分析する。我々は,支援医療とレコメンデーションシステムシミュレーションの課題に挑戦する上で,我々の主張を実証的に検証する。
論文参考訳（メタデータ） (2021-10-13T07:31:31Z)
Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
論文参考訳（メタデータ） (2021-08-06T05:20:46Z)
Bridging the Imitation Gap by Adaptive Insubordination [88.35564081175642]
教官が特権情報にアクセスして意思決定を行う場合、この情報は模倣学習中に疎外されることを示す。本稿では,このギャップに対処するため,適応的不規則化(ADVISOR)を提案する。 ADVISORは、トレーニング中の模倣と報酬に基づく強化学習損失を動的に重み付け、模倣と探索をオンザフライで切り替えることを可能にする。
論文参考訳（メタデータ） (2020-07-23T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。