論文の概要: A request for clarity over the End of Sequence token in the
Self-Critical Sequence Training
- arxiv url: http://arxiv.org/abs/2305.12254v1
- Date: Sat, 20 May 2023 18:01:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 23:28:38.208164
- Title: A request for clarity over the End of Sequence token in the
Self-Critical Sequence Training
- Title(参考訳): 自己批判的シーケンストレーニングにおけるシーケンストークンの終了に関する明確性の要求
- Authors: Jia Cheng Hu, Roberto Cavicchioli and Alessandro Capotondi
- Abstract要約: 本研究は,問題自体の認識を広げることによって問題を解決することを提案する。
特に、私たちは、SacreEOSというライブラリの助けを借りて、シンプルで情報的な署名を共有するために、将来的なワークスを招待します。
- 参考スコア(独自算出の注目度): 69.3939291118954
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The Image Captioning research field is currently compromised by the lack of
transparency and awareness over the End-of-Sequence token (<Eos>) in the
Self-Critical Sequence Training. If the <Eos> token is omitted, a model can
boost its performance up to +4.1 CIDEr-D using trivial sentence fragments.
While this phenomenon poses an obstacle to a fair evaluation and comparison of
established works, people involved in new projects are given the arduous choice
between lower scores and unsatisfactory descriptions due to the competitive
nature of the research. This work proposes to solve the problem by spreading
awareness of the issue itself. In particular, we invite future works to share a
simple and informative signature with the help of a library called SacreEOS.
Code available at
\emph{\href{https://github.com/jchenghu/sacreeos}{https://github.com/jchenghu/sacreeos}}
- Abstract(参考訳): Image Captioning Research Fieldは、現在、自己批判的シーケンストレーニングにおけるエンディング・オブ・シーケンストークン(Eos)に対する透明性と認識の欠如によって、妥協されている。
Eos>トークンが省略された場合、モデルは自明な文フラグメントを使用して、そのパフォーマンスを+4.1 CIDEr-Dまで向上させることができる。
この現象は、確立された作品の公正な評価と比較に障害をもたらすが、新しいプロジェクトに関わる人々は、研究の競争性から、低いスコアと不満足な説明の難しい選択を与えられる。
本研究は,問題自体の認識を広げることによって問題を解決することを提案する。
特に、私たちは、SacreEOSというライブラリの助けを借りて、シンプルで情報的な署名を共有するために、将来的なワークスを招待します。
コード提供: \emph{\href{https://github.com/jchenghu/sacreeos}{https://github.com/jchenghu/sacreeos}}
関連論文リスト
- DenoSent: A Denoising Objective for Self-Supervised Sentence
Representation Learning [59.4644086610381]
本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。
離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。
我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
論文 参考訳(メタデータ) (2024-01-24T17:48:45Z) - Divide & Bind Your Attention for Improved Generative Semantic Nursing [21.49096276631859]
複雑なプロンプトや複数のエンティティを含むシナリオによって引き起こされる課題に対処するために、Divide & Bindを提案する。
我々のアプローチは、複雑なプロンプトからの属性アライメントを改善して、所望のオブジェクトを忠実に合成する能力において際立っている。
論文 参考訳(メタデータ) (2023-07-20T13:33:28Z) - Understanding and Mitigating Overfitting in Prompt Tuning for
Vision-Language Models [108.13378788663196]
本稿では, トレーニング過程全体において, 低ランク部分空間にバックプロパゲーションの勾配を投影するSubspace Prompt Tuning(SubPT)を提案する。
我々はCoOpにノベル・ラーナー・フィーチャー(NFL)を装備し、学習したプロンプトをトレーニングセット以外の新しいカテゴリに一般化する能力を高める。
論文 参考訳(メタデータ) (2022-11-04T02:06:22Z) - A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive
Learning Framework for Sentence Embeddings [28.046786376565123]
Pseudo-Token BERT (PT-BERT) と呼ばれる文埋め込みのための意味認識型コントラスト学習フレームワークを提案する。
文長や構文などの表面的特徴の影響を排除しつつ、文の擬似トーケン空間(潜在意味空間)表現を利用する。
我々のモデルは6つの標準的な意味的テキスト類似性(STS)タスクにおける最先端のベースラインよりも優れています。
論文 参考訳(メタデータ) (2022-03-11T12:29:22Z) - Sequential Recommendation via Stochastic Self-Attention [68.52192964559829]
Transformerベースのアプローチでは、アイテムをベクトルとして埋め込んで、ドット積の自己アテンションを使用してアイテム間の関係を測定する。
本稿では,これらの問題を克服するための新しいtextbfStochastic textbfSelf-textbfAttention (STOSA) を提案する。
我々は、アイテムと項目の位置関係を列で特徴づける新しいワッサースタイン自己保持モジュールを考案した。
論文 参考訳(メタデータ) (2022-01-16T12:38:45Z) - Consensus Synergizes with Memory: A Simple Approach for Anomaly
Segmentation in Urban Scenes [132.16748656557013]
異常セグメンテーション(Anomaly segmentation)は、都市部における自律運転のような安全クリティカルなアプリケーションにとって重要な課題である。
本稿では,この課題に対処するため,Consensus Synergizes with Memory (CosMe) という新しいシンプルなアプローチを提案する。
いくつかの都市景観異常セグメンテーションデータセットの実験結果から、CosMeは従来のアプローチよりも大きなマージンで優れていることが示された。
論文 参考訳(メタデータ) (2021-11-24T10:01:20Z) - An audiovisual and contextual approach for categorical and continuous
emotion recognition in-the-wild [27.943550651941166]
第2回ワークショップおよびABAW(Affective Behavior Analysis in-wild)の会場における映像による視覚的感情認識の課題に取り組む。
顔の特徴の抽出にのみ依存する標準的な手法は、上記の感情情報のソースが、頭や身体の向き、解像度の低さ、照明不足によってアクセスできない場合に、正確な感情予測を欠くことが多い。
我々は、より広い感情認識フレームワークの一部として、身体的および文脈的特徴を活用することで、この問題を緩和したいと考えています。
論文 参考訳(メタデータ) (2021-07-07T20:13:17Z) - Egocentric Action Recognition by Video Attention and Temporal Context [83.57475598382146]
我々は,Samsung AI Centre Cambridge を CVPR 2020 EPIC-Kitchens Action Recognition Challenge に提出する。
この課題では、入力トリミングされたビデオクリップが与えられた1つの動詞と名詞のクラスラベルを同時に予測する問題として、行動認識が提案される。
我々のソリューションは、オブジェクト固有の推論や余分なトレーニングデータを用いることなく、課題メトリクスの強力なパフォーマンスを実現する。
論文 参考訳(メタデータ) (2020-07-03T18:00:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。