論文の概要: An Empirical Study on Learning and Improving the Search Objective for
Unsupervised Paraphrasing
- arxiv url: http://arxiv.org/abs/2203.12106v1
- Date: Wed, 23 Mar 2022 00:30:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-24 13:31:24.060395
- Title: An Empirical Study on Learning and Improving the Search Objective for
Unsupervised Paraphrasing
- Title(参考訳): 教師なし言い換えの探索目標の学習と改善に関する実証的研究
- Authors: Weikai Steven Lu
- Abstract要約: 本研究では,探索対象における雑音の平滑化に関する問題について,探索力学のモデル化を学習することによって検討する。
そして、学習したモデルを元の目的関数と組み合わせて、ブートストラップ方式で探索を誘導する。
実験結果から,学習モデルと元の探索対象とが組み合わさって,スムーズな効果が得られることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Research in unsupervised text generation has been gaining attention over the
years. One recent approach is local search towards a heuristically defined
objective, which specifies language fluency, semantic meanings, and other
task-specific attributes. Search in the sentence space is realized by
word-level edit operations including insertion, replacement, and deletion.
However, such objective function is manually designed with multiple components.
Although previous work has shown maximizing this objective yields good
performance in terms of true measure of success (i.e. BLEU and iBLEU), the
objective landscape is considered to be non-smooth with significant noises,
posing challenges for optimization. In this dissertation, we address the
research problem of smoothing the noise in the heuristic search objective by
learning to model the search dynamics. Then, the learned model is combined with
the original objective function to guide the search in a bootstrapping fashion.
Experimental results show that the learned models combined with the original
search objective can indeed provide a smoothing effect, improving the search
performance by a small margin.
- Abstract(参考訳): 教師なしテキスト生成の研究は近年注目を集めている。
最近のアプローチの1つは、言語流動性、意味的意味、および他のタスク固有の属性を特定するヒューリスティックに定義された目的への局所探索である。
文空間内の検索は、挿入、置換、削除を含む単語レベルの編集操作によって実現される。
しかし、このような目的関数は複数のコンポーネントで手動で設計される。
この目的を最大化することは成功の真の尺度(BLEU と iBLEU)の観点からは良いパフォーマンスをもたらすが、目的のランドスケープは大きなノイズを持つ非滑らかであると考えられ、最適化の課題を提起している。
本論文では,探索力学のモデル化を学ぶことによって,ヒューリスティック探索対象の雑音を平滑化する研究課題に対処する。
そして、学習したモデルを元の目的関数と組み合わせて、ブートストラップ方式で探索を誘導する。
実験結果から,学習したモデルと元の探索目標を組み合わせれば,スムーズな効果が得られ,検索性能は小さめのマージンで向上することが示された。
関連論文リスト
- Invariant Test-Time Adaptation for Vision-Language Model Generalization [90.70743356588996]
学習可能なプロンプトを最適化するテスト時間プロンプトチューニングのパラダイムを導入し,真の因果不変性を活用できるようにモデルを説得する。
提案手法は,潜在的に誤解を招く可能性のあるタスク関連文脈情報への過度な依存を効果的に軽減する。
論文 参考訳(メタデータ) (2024-03-01T09:01:53Z) - Beyond Semantics: Learning a Behavior Augmented Relevance Model with
Self-supervised Learning [25.356999988217325]
関連モデリングは、対応するクエリに対して望ましい項目を見つけることを目的としている。
ユーザの履歴行動データから抽出された補助的なクエリ-イテム相互作用は、ユーザの検索意図をさらに明らかにするためのヒントを提供する可能性がある。
本モデルでは, 隣接する視点と対象視点の両方から, 粗粒度および細粒度の意味表現を蒸留するための多レベルコアテンションを構築している。
論文 参考訳(メタデータ) (2023-08-10T06:52:53Z) - Cycle Consistency Driven Object Discovery [75.60399804639403]
本研究では,シーンの各オブジェクトが異なるスロットに関連付けられなければならない制約を明示的に最適化する手法を提案する。
これらの一貫性目標を既存のスロットベースのオブジェクト中心手法に統合することにより、オブジェクト発見性能を大幅に改善することを示す。
提案手法は,オブジェクト発見を改善するだけでなく,下流タスクのよりリッチな機能も提供することを示唆している。
論文 参考訳(メタデータ) (2023-06-03T21:49:06Z) - Visualizing the Relationship Between Encoded Linguistic Information and
Task Performance [53.223789395577796]
本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。
我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。
実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
論文 参考訳(メタデータ) (2022-03-29T19:03:10Z) - Enabling arbitrary translation objectives with Adaptive Tree Search [23.40984370716434]
本研究では,適応木探索アルゴリズムを導入し,探索対象の形状や構造を仮定しない翻訳モデルの下で高いスコア付け出力を求める。
我々のアルゴリズムはビームサーチとは異なるバイアスを有しており、自己回帰モデルにおけるデコードバイアスの役割を新たに解析することができる。
論文 参考訳(メタデータ) (2022-02-23T11:48:26Z) - Efficient Relation-aware Scoring Function Search for Knowledge Graph
Embedding [37.24099392064309]
タスク対応スコアリング関数を設計するための知識グラフにAutoML技術が導入されている。
しかし、検索されたスコアリング関数の有効性は、まだ所望ほど良くありません。
本稿では,スーパーネットとして空間を符号化し,スーパーネットをワンショットで探索する効率的な代替最小化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-04-22T06:05:13Z) - Inverse Bayesian Optimization: Learning Human Search Strategies in a
Sequential Optimization Task [0.10499611180329801]
本稿では,ベイズ最適化の逆問題について考察する。
観察された探索経路に基づいてエージェントの潜時獲得関数を推定する。
実験から人間の行動を解析し,その方法を説明する。
論文 参考訳(メタデータ) (2021-04-16T15:40:34Z) - Neural Architecture Search From Fr\'echet Task Distance [50.9995960884133]
与えられたベースラインタスクのセット内の対象タスクと各タスクの間の距離を、ターゲットタスクのニューラルネットワークアーキテクチャ検索スペースを減らすためにどのように使用できるかを示す。
タスク固有のアーキテクチャに対する検索空間の複雑さの低減は、このサイド情報を用いることなく完全な検索を行う代わりに、類似したタスクのために最適化されたアーキテクチャ上に構築することで達成される。
論文 参考訳(メタデータ) (2021-03-23T20:43:31Z) - Unsupervised Text Generation by Learning from Search [86.51619839836331]
TGLSは、教師なしテキスト生成のための新しいフレームワークである。
実世界の自然言語生成タスクであるパラフレーズ生成とテキストの形式化におけるTGLSの有効性を示す。
論文 参考訳(メタデータ) (2020-07-09T04:34:48Z) - Words aren't enough, their order matters: On the Robustness of Grounding
Visual Referring Expressions [87.33156149634392]
視覚的参照表現認識のための標準ベンチマークであるRefCOgを批判的に検討する。
83.7%のケースでは言語構造に関する推論は不要である。
比較学習とマルチタスク学習の2つの手法を提案し,ViLBERTのロバスト性を高める。
論文 参考訳(メタデータ) (2020-05-04T17:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。