論文の概要: An Empirical Study on Learning and Improving the Search Objective for Unsupervised Paraphrasing

• arxiv url: http://arxiv.org/abs/2203.12106v1
• Date: Wed, 23 Mar 2022 00:30:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-24 13:31:24.060395
• Title: An Empirical Study on Learning and Improving the Search Objective for Unsupervised Paraphrasing
• Title（参考訳）: 教師なし言い換えの探索目標の学習と改善に関する実証的研究
• Authors: Weikai Steven Lu
• Abstract要約: 本研究では,探索対象における雑音の平滑化に関する問題について,探索力学のモデル化を学習することによって検討する。 そして、学習したモデルを元の目的関数と組み合わせて、ブートストラップ方式で探索を誘導する。 実験結果から,学習モデルと元の探索対象とが組み合わさって,スムーズな効果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Research in unsupervised text generation has been gaining attention over the years. One recent approach is local search towards a heuristically defined objective, which specifies language fluency, semantic meanings, and other task-specific attributes. Search in the sentence space is realized by word-level edit operations including insertion, replacement, and deletion. However, such objective function is manually designed with multiple components. Although previous work has shown maximizing this objective yields good performance in terms of true measure of success (i.e. BLEU and iBLEU), the objective landscape is considered to be non-smooth with significant noises, posing challenges for optimization. In this dissertation, we address the research problem of smoothing the noise in the heuristic search objective by learning to model the search dynamics. Then, the learned model is combined with the original objective function to guide the search in a bootstrapping fashion. Experimental results show that the learned models combined with the original search objective can indeed provide a smoothing effect, improving the search performance by a small margin.
• Abstract（参考訳）: 教師なしテキスト生成の研究は近年注目を集めている。 最近のアプローチの1つは、言語流動性、意味的意味、および他のタスク固有の属性を特定するヒューリスティックに定義された目的への局所探索である。 文空間内の検索は、挿入、置換、削除を含む単語レベルの編集操作によって実現される。 しかし、このような目的関数は複数のコンポーネントで手動で設計される。 この目的を最大化することは成功の真の尺度(BLEU と iBLEU)の観点からは良いパフォーマンスをもたらすが、目的のランドスケープは大きなノイズを持つ非滑らかであると考えられ、最適化の課題を提起している。 本論文では,探索力学のモデル化を学ぶことによって,ヒューリスティック探索対象の雑音を平滑化する研究課題に対処する。 そして、学習したモデルを元の目的関数と組み合わせて、ブートストラップ方式で探索を誘導する。 実験結果から,学習したモデルと元の探索目標を組み合わせれば,スムーズな効果が得られ,検索性能は小さめのマージンで向上することが示された。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Does the Order of Fine-tuning Matter and Why? [11.975836356680855]
  本研究では,複数の中間タスクの微調整とその順序がタスク性能に及ぼす影響について検討する。 実験の結果,タスクオーダリングが目標タスクのパフォーマンスに与える影響は,パフォーマンスの最大6%,パフォーマンスの最大4%であることがわかった。
  論文  参考訳（メタデータ） (2024-10-03T19:07:14Z)
• Semantic-Based Active Perception for Humanoid Visual Tasks with Foveal Sensors [49.99728312519117]
  この研究の目的は、最近の意味に基づくアクティブな知覚モデルが、人間が定期的に行う視覚的なタスクをいかに正確に達成できるかを確立することである。 このモデルは、現在のオブジェクト検出器が多数のオブジェクトクラスをローカライズし、分類し、複数の固定にまたがるシーンのセマンティック記述を更新する能力を利用する。 シーン探索の課題では、セマンティック・ベースの手法は従来のサリエンシ・ベース・モデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-16T18:15:57Z)
• Beyond Semantics: Learning a Behavior Augmented Relevance Model with Self-supervised Learning [25.356999988217325]
  関連モデリングは、対応するクエリに対して望ましい項目を見つけることを目的としている。 ユーザの履歴行動データから抽出された補助的なクエリ-イテム相互作用は、ユーザの検索意図をさらに明らかにするためのヒントを提供する可能性がある。 本モデルでは, 隣接する視点と対象視点の両方から, 粗粒度および細粒度の意味表現を蒸留するための多レベルコアテンションを構築している。
  論文  参考訳（メタデータ） (2023-08-10T06:52:53Z)
• Cycle Consistency Driven Object Discovery [75.60399804639403]
  本研究では,シーンの各オブジェクトが異なるスロットに関連付けられなければならない制約を明示的に最適化する手法を提案する。 これらの一貫性目標を既存のスロットベースのオブジェクト中心手法に統合することにより、オブジェクト発見性能を大幅に改善することを示す。 提案手法は,オブジェクト発見を改善するだけでなく,下流タスクのよりリッチな機能も提供することを示唆している。
  論文  参考訳（メタデータ） (2023-06-03T21:49:06Z)
• Visualizing the Relationship Between Encoded Linguistic Information and Task Performance [53.223789395577796]
  本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。 我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。 実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
  論文  参考訳（メタデータ） (2022-03-29T19:03:10Z)
• Efficient Relation-aware Scoring Function Search for Knowledge Graph Embedding [37.24099392064309]
  タスク対応スコアリング関数を設計するための知識グラフにAutoML技術が導入されている。 しかし、検索されたスコアリング関数の有効性は、まだ所望ほど良くありません。 本稿では,スーパーネットとして空間を符号化し,スーパーネットをワンショットで探索する効率的な代替最小化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-22T06:05:13Z)
• Inverse Bayesian Optimization: Learning Human Search Strategies in a Sequential Optimization Task [0.10499611180329801]
  本稿では,ベイズ最適化の逆問題について考察する。 観察された探索経路に基づいてエージェントの潜時獲得関数を推定する。 実験から人間の行動を解析し,その方法を説明する。
  論文  参考訳（メタデータ） (2021-04-16T15:40:34Z)
• Neural Architecture Search From Fr\'echet Task Distance [50.9995960884133]
  与えられたベースラインタスクのセット内の対象タスクと各タスクの間の距離を、ターゲットタスクのニューラルネットワークアーキテクチャ検索スペースを減らすためにどのように使用できるかを示す。 タスク固有のアーキテクチャに対する検索空間の複雑さの低減は、このサイド情報を用いることなく完全な検索を行う代わりに、類似したタスクのために最適化されたアーキテクチャ上に構築することで達成される。
  論文  参考訳（メタデータ） (2021-03-23T20:43:31Z)
• Unsupervised Text Generation by Learning from Search [86.51619839836331]
  TGLSは、教師なしテキスト生成のための新しいフレームワークである。 実世界の自然言語生成タスクであるパラフレーズ生成とテキストの形式化におけるTGLSの有効性を示す。
  論文  参考訳（メタデータ） (2020-07-09T04:34:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。