Fugu-MT 論文翻訳(概要): Learning with Latent Structures in Natural Language Processing: A Survey

論文の概要: Learning with Latent Structures in Natural Language Processing: A Survey

arxiv url: http://arxiv.org/abs/2201.00490v1
Date: Mon, 3 Jan 2022 06:16:17 GMT
ステータス: 処理完了
システム内更新日: 2022-01-04 14:16:00.276304
Title: Learning with Latent Structures in Natural Language Processing: A Survey
Title（参考訳）: 自然言語処理における潜在構造を用いた学習
Authors: Zhaofeng Wu
Abstract要約: 遅延離散構造を用いた学習への近年の関心は、エンドタスク性能の向上と解釈可能性の向上に優れた帰納バイアスを取り入れている。本研究は, シュロゲート勾配, 連続緩和, サンプリングによる限界確率という, モデル学習の3つの主要なファミリーを調査する。本研究は,これらの手法の応用のレビューと,それらが引き起こす学習された潜伏構造の検査で締めくくった。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While end-to-end learning with fully differentiable models has enabled tremendous success in natural language process (NLP) and machine learning, there have been significant recent interests in learning with latent discrete structures to incorporate better inductive biases for improved end-task performance and better interpretability. This paradigm, however, is not straightforwardly amenable to the mainstream gradient-based optimization methods. This work surveys three main families of methods to learn such models: surrogate gradients, continuous relaxation, and marginal likelihood maximization via sampling. We conclude with a review of applications of these methods and an inspection of the learned latent structure that they induce.
Abstract（参考訳）: 完全に微分可能なモデルを用いたエンドツーエンドの学習は、自然言語プロセス(nlp)と機械学習で大きな成功を収めているが、最近は、潜在的な離散構造で学習することで、エンドタスクのパフォーマンス向上と解釈性向上のために、より良い帰納的バイアスを取り入れることに大きな関心が寄せられている。しかし、このパラダイムは、主流の勾配に基づく最適化手法に簡単には適用できない。本研究は, シュロゲート勾配, 連続緩和, サンプリングによる限界極大化の3種類の手法を探索する。本研究は,これらの手法の応用のレビューと,それらが引き起こす学習された潜伏構造の検査で締めくくった。

関連論文リスト

Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文参考訳（メタデータ） (2024-10-31T22:54:34Z)
Less for More: Enhancing Preference Learning in Generative Language Models with Automated Self-Curation of Training Corpora [4.008122785948581]
言語における曖昧さは、より強化された言語モデルを開発する上での課題である。本稿では,これらのデータセットを直接トレーニングしたプロキシモデルを活用することで,アノテーション付きデータセットを前処理するセルフキュレーション手法を提案する。提案手法は,データセット内の曖昧なアノテーションを自動的に検出し,削除することにより,嗜好学習を強化する。
論文参考訳（メタデータ） (2024-08-23T02:27:14Z)
Probing the Decision Boundaries of In-context Learning in Large Language Models [31.977886254197138]
本稿では,テキスト内二項分類のための決定境界のレンズからテキスト内学習を探索し,理解するための新しいメカニズムを提案する。驚いたことに、単純な二項分類タスクにおいて、現在のLLMによって学習される決定境界は、しばしば不規則で非滑らかである。
論文参考訳（メタデータ） (2024-06-17T06:00:24Z)
Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
論文参考訳（メタデータ） (2024-06-13T14:41:00Z)
Reinforcement Learning Fine-tuning of Language Models is Biased Towards More Extractable Features [0.5937476291232802]
我々は,大規模言語モデルの教師付き微調整における帰納的バイアスを規定する原則が,強化学習を用いた微調整プロセスにおいても適用できるかどうかを考察する。これらの仮説の強い証拠となる統計的に有意な相関関係を見いだす。
論文参考訳（メタデータ） (2023-11-07T15:00:39Z)
Latent Traversals in Generative Models as Potential Flows [113.4232528843775]
我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
論文参考訳（メタデータ） (2023-04-25T15:53:45Z)
Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
論文参考訳（メタデータ） (2022-10-03T07:59:42Z)
Latent Properties of Lifelong Learning Systems [59.50307752165016]
本稿では,生涯学習アルゴリズムの潜伏特性を推定するために,アルゴリズムに依存しないサロゲート・モデリング手法を提案する。合成データを用いた実験により,これらの特性を推定するためのアプローチを検証する。
論文参考訳（メタデータ） (2022-07-28T20:58:13Z)
Genetic Programming for Manifold Learning: Preserving Local Topology [5.226724669049025]
本稿では,局所的なトポロジを保存する多様体学習に遺伝的プログラミングを用いる新しい手法を提案する。これは,地域構造(トポロジー)が最重要課題であるタスクにおいて,大幅な性能向上が期待できる。
論文参考訳（メタデータ） (2021-08-23T03:48:48Z)
Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文参考訳（メタデータ） (2021-01-20T13:59:25Z)
Understanding the Mechanics of SPIGOT: Surrogate Gradients for Latent Structure Learning [20.506232306308977]
潜在構造モデルは、言語データをモデリングするための強力なツールである。これらのモデルのエンドツーエンドトレーニングの課題の1つは、ヌル勾配を持つargmax演算である。下流学習目標を引き上げる角度から潜在構造学習を探索する。
論文参考訳（メタデータ） (2020-10-05T21:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。