論文の概要: SATO: Stable Text-to-Motion Framework

• arxiv url: http://arxiv.org/abs/2405.01461v3
• Date: Thu, 15 Aug 2024 19:41:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 20:02:46.004408
• Title: SATO: Stable Text-to-Motion Framework
• Title（参考訳）: SATO: 安定したテキスト間移動フレームワーク
• Authors: Wenshuo Chen, Hongru Xiao, Erhang Zhang, Lijie Hu, Lei Wang, Mengyuan Liu, Chen Chen,
• Abstract要約: テキスト・トゥ・モーション・モデルの予測は、しばしば矛盾した出力を示し、意味論的に類似または同一のテキスト入力で提示された場合、大きく異なる、あるいは間違ったポーズを生じる。 我々はこの問題に対処するための正式なフレームワークを導入し、Stable Text-to-Motion Framework (SATO) と呼ぶ。 SATOは3つのモジュールから構成されており、それぞれが注意を安定させ、予測を安定させ、精度とトレードオフのバランスを維持する。
• 参考スコア（独自算出の注目度）: 11.74265209114707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Is the Text to Motion model robust? Recent advancements in Text to Motion models primarily stem from more accurate predictions of specific actions. However, the text modality typically relies solely on pre-trained Contrastive Language-Image Pretraining (CLIP) models. Our research has uncovered a significant issue with the text-to-motion model: its predictions often exhibit inconsistent outputs, resulting in vastly different or even incorrect poses when presented with semantically similar or identical text inputs. In this paper, we undertake an analysis to elucidate the underlying causes of this instability, establishing a clear link between the unpredictability of model outputs and the erratic attention patterns of the text encoder module. Consequently, we introduce a formal framework aimed at addressing this issue, which we term the Stable Text-to-Motion Framework (SATO). SATO consists of three modules, each dedicated to stable attention, stable prediction, and maintaining a balance between accuracy and robustness trade-off. We present a methodology for constructing an SATO that satisfies the stability of attention and prediction. To verify the stability of the model, we introduced a new textual synonym perturbation dataset based on HumanML3D and KIT-ML. Results show that SATO is significantly more stable against synonyms and other slight perturbations while keeping its high accuracy performance.
• Abstract（参考訳）: Text to Motionモデルは堅牢か? テキスト・トゥ・モーション・モデルの最近の進歩は、主に特定の行動のより正確な予測に由来する。 しかし、テキストモダリティは通常、事前訓練されたコントラスト言語-画像事前訓練(CLIP)モデルにのみ依存する。 その結果、意味的に類似したテキスト入力や同一のテキスト入力が提示された場合、その予測が不整合な出力を示すことが多かった。 本稿では,この不安定性の根本原因を明らかにするために解析を行い,モデル出力の予測不能性とテキストエンコーダモジュールの警告パターンとの明確なリンクを確立する。 そこで本稿では,この問題を解決するための公式なフレームワークを紹介し,そのフレームワークをSATO (Stable Text-to-Motion Framework) と呼ぶ。 SATOは3つのモジュールから構成されており、それぞれが注意を安定させ、予測を安定させ、正確性と堅牢性のトレードオフのバランスを維持する。 注意と予測の安定性を満足するSATOを構築するための方法論を提案する。 モデルの安定性を検証するため,HumanML3DとKIT-MLをベースとした新しいテキスト同義語摂動データセットを導入した。 その結果,SATOは高い精度を維持しつつ,同義語や他のわずかな摂動に対して著しく安定であることがわかった。

関連論文リスト

• Towards Robustness of Text-to-Visualization Translation against Lexical and Phrasal Variability [27.16741353384065]
  テキスト・トゥ・バイ・モデルはしばしば、質問における単語間の語彙マッチングとデータスキーマにおけるトークンに依存している。 本研究では,これまで検討されていない領域である現行のテキスト・ツー・ヴィジュア・モデルのロバスト性について検討する。 本稿では,2つの変種における入力摂動に対処するために特別に設計されたGRED(Retrieval-Augmented Generation, RAG)技術に基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-10T16:12:50Z)
• A Curious Case of Searching for the Correlation between Training Data and Adversarial Robustness of Transformer Textual Models [11.938237087895649]
  既存の研究によると、微調整されたテキスト変換モデルは最先端の予測性能を実現するが、敵対的なテキスト摂動にも弱い。 本稿では,トレーニングデータとモデルロバスト性との間にも強い相関関係があることを証明したい。 様々な入力微調整コーパス特性を表す13の異なる特徴を抽出し,それらを用いて微調整モデルの対角的堅牢性を予測する。
  論文  参考訳（メタデータ） (2024-02-18T05:58:25Z)
• Towards Robust and Expressive Whole-body Human Pose and Shape Estimation [51.457517178632756]
  全体のポーズと形状の推定は、単眼画像から人体全体の異なる振る舞いを共同で予測することを目的としている。 既存の手法では、既存のシナリオの複雑さの下で、しばしば劣化したパフォーマンスを示す。 全身のポーズと形状推定の堅牢性を高める新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-14T08:17:42Z)
• Semantic Image Attack for Visual Model Diagnosis [80.36063332820568]
  実際には、特定の列車およびテストデータセットに関する計量分析は、信頼性や公正なMLモデルを保証しない。 本稿では,セマンティック・イメージ・アタック(SIA)を提案する。
  論文  参考訳（メタデータ） (2023-03-23T03:13:04Z)
• A Causal Framework to Quantify the Robustness of Mathematical Reasoning with Language Models [81.15974174627785]
  入力空間における直接的介入に対する頑健さと感度の観点から言語モデルの振舞いについて検討する。 しかし, GPT-3 Davinciモデル(175B)は, 他のGPTモデルと比較して, 頑健さと感度の両面で劇的な改善を実現している。
  論文  参考訳（メタデータ） (2022-10-21T15:12:37Z)
• Adversarial Training for Improving Model Robustness? Look at Both Prediction and Interpretation [21.594361495948316]
  本稿では,FLAT という新しい特徴レベルの対角訓練手法を提案する。 FLATは、グローバルな単語の重要性を学ぶために、変分ワードマスクをニューラルネットワークに組み込んでいる。 FLATが予測と解釈の両方において頑健性を向上させる効果を示す実験を行った。
  論文  参考訳（メタデータ） (2022-03-23T20:04:14Z)
• Towards Trustworthy Deception Detection: Benchmarking Model Robustness across Domains, Modalities, and Languages [10.131671217810581]
  我々は、ドメイン外データ、モダリティ特化特徴、および英語以外の言語に対するモデルロバスト性を評価する。 我々は、追加の画像コンテンツを入力として、ELMo埋め込みはBERTまたはGLoVeと比較して大幅に少ないエラーをもたらすことを発見しました。
  論文  参考訳（メタデータ） (2021-04-23T18:05:52Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)
• Consistency Guided Scene Flow Estimation [159.24395181068218]
  CGSFは立体映像からの3次元シーン構造と動きの同時再構成のための自己教師型フレームワークである。 提案モデルでは,課題の画像の相違やシーンフローを確実に予測できることを示す。 最先端技術よりも優れた一般化を実現し、目に見えない領域に迅速かつ堅牢に適応する。
  論文  参考訳（メタデータ） (2020-06-19T17:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。