論文の概要: Signformer is all you need: Towards Edge AI for Sign Language

• arxiv url: http://arxiv.org/abs/2411.12901v1
• Date: Tue, 19 Nov 2024 22:27:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:13:49.238093
• Title: Signformer is all you need: Towards Edge AI for Sign Language
• Title（参考訳）: Signformerが必要なのは、手話のためのエッジAI
• Authors: Eta Yang,
• Abstract要約: 我々は手話の性質解析を行い、アルゴリズム設計を知らせ、畳み込みと注目の新規性を備えたスケーラブルなトランスフォーマーパイプラインを提供する。 我々は2024年現在、最高値に対して467-1807xのパラメトリックな減少を達成し、0.57万パラメータの軽量な構成で、他のほとんどのメソッドに勝っている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Sign language translation, especially in gloss-free paradigm, is confronting a dilemma of impracticality and unsustainability due to growing resource-intensive methodologies. Contemporary state-of-the-arts (SOTAs) have significantly hinged on pretrained sophiscated backbones such as Large Language Models (LLMs), embedding sources, or extensive datasets, inducing considerable parametric and computational inefficiency for sustainable use in real-world scenario. Despite their success, following this research direction undermines the overarching mission of this domain to create substantial value to bridge hard-hearing and common populations. Committing to the prevailing trend of LLM and Natural Language Processing (NLP) studies, we pursue a profound essential change in architecture to achieve ground-up improvements without external aid from pretrained models, prior knowledge transfer, or any NLP strategies considered not-from-scratch. Introducing Signformer, a from-scratch Feather-Giant transforming the area towards Edge AI that redefines extremities of performance and efficiency with LLM-competence and edgy-deployable compactness. In this paper, we present nature analysis of sign languages to inform our algorithmic design and deliver a scalable transformer pipeline with convolution and attention novelty. We achieve new 2nd place on leaderboard with a parametric reduction of 467-1807x against the finests as of 2024 and outcompete almost every other methods in a lighter configuration of 0.57 million parameters.
• Abstract（参考訳）: 特に光沢のないパラダイムにおいて手話の翻訳は、資源集約的な方法論の増大による非現実性と持続不可能性のジレンマに直面している。 現代最先端技術(SOTA)は、Large Language Models (LLM)、組み込みソース、あるいは広範囲なデータセットといった、事前訓練されたソフィスケートされたバックボーンに大きく依存しており、現実のシナリオで持続可能な使用のために相当なパラメトリックおよび計算的非効率を誘導している。 彼らの成功にもかかわらず、この研究の指示に従えば、このドメインの全体的使命を損なうことになり、難聴者や一般市民を橋渡しするためにかなりの価値を生み出すことになる。 LLMおよび自然言語処理(NLP)研究の主流となっている傾向を反映して,事前学習モデルや事前知識伝達,あるいは非スクラッチと見なされるNLP戦略による外部支援を伴わずに,基礎的な改善を実現するために,アーキテクチャに重要な変化を追求する。 Signformerは、エッジAIに領域を変換し、LLMコンピテンスとエジデプロイタブルなコンパクトさでパフォーマンスと効率の極端さを再定義する。 本稿では,手話の性質解析を行い,アルゴリズム設計を通知し,畳み込みと注目の新規性を備えたスケーラブルなトランスフォーマーパイプラインを提供する。 我々は2024年現在、最高値に対して467-1807xのパラメトリックな減少を達成し、0.57万パラメータの軽量な構成で、他のほとんどのメソッドに勝っている。

関連論文リスト

• Seeing Eye to AI: Human Alignment via Gaze-Based Response Rewards for Large Language Models [46.09562860220433]
  暗黙のフィードバック(特に眼球追跡(ET)データ)をReward Model(RM)に統合する新しいフレームワークであるGazeRewardを紹介します。 提案手法は、確立された人間の嗜好データセット上でのRMの精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T13:24:56Z)
• Enhancing SLM via ChatGPT and Dataset Augmentation [0.3844771221441211]
  我々は,大言語モデル (LLMs) と小言語モデル (SLMs) のパフォーマンスギャップを埋めるために,知識蒸留技術と合成データセット拡張を用いている。 提案手法は,情報抽出と情報推論という2種類の理性生成を伴い,ANLIデータセットを充実させる。 その結果, 合成合理化によって自然言語の理解能力が向上し, ANLIデータセット上での分類精度が1.3%, 2.3%向上することが判明した。
  論文  参考訳（メタデータ） (2024-09-19T09:24:36Z)
• Breaking Language Barriers: Cross-Lingual Continual Pre-Training at Scale [18.015805664219673]
  本稿では,既存のLLMから連続的に事前学習(CPT)を行うことにより,大規模言語モデル構築のための代替手法を検討する。 CPTはより高速に収束し、拡張性のある方法で重要なリソースを節約できる。 スケールでの転送の有効性は、トレーニング期間と言語特性に影響され、データ再生に頑健である。
  論文  参考訳（メタデータ） (2024-07-02T10:06:41Z)
• Large Language Model Unlearning via Embedding-Corrupted Prompts [10.889859281637406]
  大規模言語モデルのための軽量なアンラーニングフレームワークである textbfEmbedding-COrrupted (ECO) Prompts を提案する。 推論中に未学習の状態を識別し、忘れるプロンプトを保護するためにプロンプト分類器を用いて強制する。 その結果, 学習対象を満足させるだけでなく, 忘れることを意図したデータに基づいて訓練されたことのないモデルから得られる出力を, より正確に近似できることがわかった。
  論文  参考訳（メタデータ） (2024-06-12T06:56:20Z)
• Exploratory Preference Optimization: Harnessing Implicit Q*-Approximation for Sample-Efficient RLHF [82.7679132059169]
  人間のフィードバックから強化学習が言語モデルのアライメントのための中心的なツールとして登場した。 我々は、RLHFにおけるオンライン探索のための新しいアルゴリズム、Exploratory Preference Optimization (XPO)を提案する。 XPOは証明可能な最強の保証と有望な経験的パフォーマンスを享受しています。
  論文  参考訳（メタデータ） (2024-05-31T17:39:06Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning [54.682106515794864]
  オフライン強化学習(RL)は、事前コンパイルされたデータセットを使用して、ほぼ最適ポリシーを見つけることを目的としている。 本稿では、オフラインRLに事前学習言語モデル(LM)を使用するための決定変換器に基づく一般的なフレームワークである、$textbfMo$tion Control用の$textbfLanguage Models(textbfLaMo$)を紹介する。 経験的な結果から、$textbfLaMo$はスパース・リワードタスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-31T16:24:17Z)
• Adversarial Capsule Networks for Romanian Satire Detection and Sentiment Analysis [0.13048920509133807]
  サファイア検出と感情分析は、自然言語処理タスクを集中的に探求している。 研究資源が少ない言語では、文字レベルの逆数過程に基づく人工的な例を生成する方法がある。 本研究では, よく知られたNLPモデルの改良を行い, 対角訓練とカプセルネットワークについて検討する。 提案したフレームワークは2つのタスクの既存の手法より優れており、99.08%の精度が達成されている。
  論文  参考訳（メタデータ） (2023-06-13T15:23:44Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。