論文の概要: Speech2Grasp: Data-Efficient Transfer of Text-Conditioned Grasp Detection to Speech in Humanoid Robots

• arxiv url: http://arxiv.org/abs/2607.26567v1
• Date: Wed, 29 Jul 2026 07:40:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.571023
• Title: Speech2Grasp: Data-Efficient Transfer of Text-Conditioned Grasp Detection to Speech in Humanoid Robots
• Title（参考訳）: Speech2Grasp:ヒューマノイドロボットにおけるテキスト記述型グラフ検出の音声へのデータ転送
• Abstract要約: Speech2Graspは、テキスト条件付きグリップ検出の音声へのデータ転送のためのフレームワークである。 本研究は,既存のテキスト・コンディショニング・システムを音声に拡張するための実践的パラダイムを示唆する。
• 参考スコア（独自算出の注目度）: 6.597552492273294
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Humanoid robots increasingly require multi-modal understanding for natural interaction with humans. Despite the prominence of vision-language models, they generally assume textual rather than the more natural speech inputs. In this paper, we investigate whether a well-established text-conditioned model can be transferred to speech in a data-efficient manner. Using ALBEF as a case study, we conduct diagnostic analyses showing that a lightweight MLP-based projector effectively adapts it to speech, while preserving semantic discrimination and robustness. Motivated by these findings, we introduce Speech2Grasp, a framework for data-efficient transfer of text-conditioned grasp detection to speech. Real-world humanoid robot experiments show that Speech2Grasp outperforms cascaded ASR-based pipeline, while reducing inference latency. Our findings suggest a practical paradigm for extending established text-conditioned systems to speech.
• Abstract（参考訳）: ヒューマノイドロボットは、人間との自然な相互作用に対して、多モーダルな理解を必要としている。 視覚言語モデルが卓越しているにもかかわらず、彼らは一般的に、より自然な音声入力よりもテキストを前提としている。 本稿では,確立されたテキスト条件付きモデルを,データ効率のよい方法で音声に転送できるかどうかを検討する。 ALBEFをケーススタディとして,軽量なMLPベースのプロジェクタが音声に効果的に適応し,意味的識別と頑健さを保ちながら診断分析を行う。 これらの知見に触発されて,テキスト条件の把握検出を音声にデータ転送するフレームワークであるSpeech2Graspを紹介した。 実世界のヒューマノイドロボット実験では、Speech2GraspはASRベースのパイプラインよりも優れ、推論遅延を低減している。 本研究は,既存のテキスト・コンディショニング・システムを音声に拡張するための実践的パラダイムを示唆する。

関連論文リスト

• Interleaved Speech Language Models Latently Work In Text [30.782751292766545]
  音声言語モデル(SLM)は、テキストデータと事前学習されたテキストLMを組み込んだ共通パラダイムを用いて、広範囲に研究されている。 しかし、これらの2つのモダリティがモデル潜在空間の中でどのように相互作用するかは、まだ不明である。 我々は、ロジットレンズのスコープを通して、異なるモデルファミリとサイズからインターリーブされた音声テキストLMを分析し、そのような洞察を提供する。
  論文  参考訳（メタデータ） (2026-06-21T12:33:44Z)
• MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
  MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。 我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-10-01T04:32:37Z)
• Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model [76.06585781346601]
  音声言語モデル(Speech LMs)は、単一のモデル内でエンドツーエンドの音声テキストモデリングを可能にする。 音声テキストの共同復号パラダイムの選択は、性能、効率、アライメント品質において重要な役割を担っている。
  論文  参考訳（メタデータ） (2025-06-04T23:53:49Z)
• Speculative End-Turn Detector for Efficient Speech Chatbot Assistant [11.136112399898481]
  エンドターン検出のための最初の公開データセットであるETDデータセットを紹介する。 また,資源制約環境におけるリアルタイムETDを改善するために,効率と精度のバランスをとる新しい協調推論フレームワークであるSpeculativeETDを提案する。 実験により,提案したSpeculativeETDは,必要な計算量を低く保ちながら,ETDの精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-03-30T13:34:23Z)
• Scaling Speech-Text Pre-training with Synthetic Interleaved Data [31.77653849518526]
  音声言語モデル(SpeechLM)は音声入力を受け入れ、音声出力を生成し、より自然な人間とコンピュータの相互作用を可能にする。 従来のSpeechLMの開発手法は、教師なし音声データとパラレル音声テキストデータの可用性の制限によって制約されている。 本稿では,テキストコーパスから得られた大規模合成インターリーブデータを活用することによって,音声テキスト事前学習のスケールアップを行う手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T17:19:09Z)
• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• Real-time Detection of AI-Generated Speech for DeepFake Voice Conversion [4.251500966181852]
  本研究は,8人の有名な人物の実際の音声と,その音声を検索型音声変換を用いて互いに変換する。 エクストリーム・グラディエント・ブースティング・モデルは99.3%の平均的な分類精度を達成でき、音声の1秒あたり0.004ミリ秒のリアルタイムな分類が可能であることが判明した。
  論文  参考訳（メタデータ） (2023-08-24T12:26:15Z)
• SpeechFormer++: A Hierarchical Efficient Framework for Paralinguistic Speech Processing [17.128885611538486]
  パラ言語音声処理は、感情分析や神経認知障害分析などの多くの問題に対処する上で重要である。 音声の特徴を考察し、パラ言語音声処理のための一般的な構造ベースフレームワークであるSpeechFormer++を提案する。 SpeechFormer++は、音声感情認識(IEMOCAP & MELD)、うつ病分類(DAIC-WOZ)、アルツハイマー病検出(Pitt)タスクに基づいて評価される。
  論文  参考訳（メタデータ） (2023-02-27T11:48:54Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Direct speech-to-speech translation with discrete units [64.19830539866072]
  本稿では、中間テキスト生成に頼ることなく、ある言語から別の言語に音声を変換する直接音声音声翻訳(S2ST)モデルを提案する。 そこで本稿では,ラベルなし音声コーパスから学習した自己教師付き離散表現の予測を提案する。 対象のテキスト書き起こしが利用可能となると、同一の推論パスで2つのモード出力(音声とテキスト)を同時に生成できる、共同音声認識とテキストトレーニングを備えたマルチタスク学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2021-07-12T17:40:43Z)
• Leveraging Pre-trained Language Model for Speech Sentiment Analysis [58.78839114092951]
  本研究では、事前学習された言語モデルを用いて、文章の感情情報を学習し、音声の感情分析を行う。 本稿では,言語モデルを用いた擬似ラベルに基づく半教師付き訓練戦略を提案する。
  論文  参考訳（メタデータ） (2021-06-11T20:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。