論文の概要: Should We Type or Talk to LLM Agents? A Comprehensive Study of Voice and Keyboard Input Perturbations

• arxiv url: http://arxiv.org/abs/2608.03970v1
• Date: Tue, 04 Aug 2026 17:38:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.301825
• Title: Should We Type or Talk to LLM Agents? A Comprehensive Study of Voice and Keyboard Input Perturbations
• Title（参考訳）: LLMエージェントにタイプするか、話すべきか? : 音声・キーボード入力摂動の総合的研究
• Abstract要約: 本稿では,音声書き起こし摂動とQWERTYキーボード摂動の組であるHIVEを紹介する。 これらの摂動に対する頑健なモデルの評価を行う。
• 参考スコア（独自算出の注目度）: 19.676477388264196
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human input reaches language models by typing or speaking, and each channel leaves a distinct signature: orthographic noise for keyboards; for voice, disfluency from conventional transcription and restructuring from AI-backed dictation tools. How do they impact an LLM's performance? In this paper we present HIVE (Human Input-Variation Engine), a suite of voice transcription perturbations and QWERTY keyboard perturbations. We use HIVE to evaluate how robust models are to these perturbations. We present seven findings. (i) Voice transcription perturbations lower accuracy across every instruction-tuned model we test, and it is the structure of the transcription rather than its fillers that carries the cost. (ii) QWERTY keyboard perturbations cost less, and a model absorbs a lot of them before accuracy falls away. (iii) Both trace back to one cause, how many of the question's tokens survive the perturbation: destroying a token is what hurts, while adding new ones alongside it costs little. (iv) The gap between the two channels appears only where the answer must be constructed or deduced; on multiple choice there is none. (v) The harm does not solely come from test-set contamination. (vi) It cannot be trained away with lightweight adaptation. (vii) A thinking budget recovers the keyboard channel almost entirely but leaves the spoken registers untouched, and compressed speech is worse with it.
• Abstract（参考訳）: 人間の入力は、タイプや話しによって言語モデルに到達し、各チャンネルは、キーボードのための正書法ノイズ、従来の書き起こしからの拡散、AIが支援する予測ツールからの再構成という、明確な署名を残している。 LLMのパフォーマンスにはどのように影響しますか? 本稿では,HIVE(Human Input-Variation Engine)について述べる。 私たちはHIVEを使って、これらの摂動に対する頑健なモデルの評価を行います。 7つの結果が得られた。 (i)音声書き起こしの摂動は、テスト対象の命令調整されたモデルごとに精度が低く、コストを負担するフィラーではなく、転写の構造である。 (i)QWERTYキーボードの摂動は安価で、精度が低下する前にモデルを吸収する。 (三)どちらも一つの原因に遡り、質問のトークンの何個が摂動に生き残るか。トークンを破壊することは、何に痛いかであり、同時に新しいトークンを追加するのは、ほとんどコストがかからない。 (四)二つのチャンネル間のギャップは、解答が構築され、または導出されなければならない場所のみに現れ、複数の選択肢において、何も存在しない。 (v) 害はテストセットの汚染だけによるものではない。 (vi)軽量な適応では鍛えられない。 (vii)思考予算は、ほとんど完全にキーボードチャンネルを回復するが、音声レジスタはそのまま残し、圧縮された音声はそれより悪い。

関連論文リスト

• Quantifying and Mitigating Korean Jamo-Level Typographical Vulnerabilities in Large Language Models [12.893256474784499]
  韓国では、通常の文字レベルの編集モデルでは捉えられない追加の文字摂動レベルが導入されている。 音節ブロックはジャムと呼ばれるサブキャラクタユニットで内部的に構成されているため、キーボードレベルのエラーは音節内で発生しうる。 この脆弱性を定量化するために、KMMLUベンチマークに5つのジャモレベルの摂動型を適用し、4つの言語モデルを評価する。 本稿では,入力を連鎖推論にルーティングするTypo-Aware Chain-of-Thought (TACoT)を提案する。
  論文  参考訳（メタデータ） (2026-08-31T04:28:14Z)
• Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition [58.25449304752214]
  生音声が既に利用可能である場合に、明示的な音響的手がかりが根拠となるかどうかを考察する。 標準化されたeGeMAPSパラ言語特徴集合から6つの解釈可能な音響概念トークンを導出する。 調整されたトークンは平均リコール(UAR)を改善するが、シャッフル、競合、破損したトークンはパフォーマンスを低下させる。 トークンのみの介入は、ALMに基づく感情計算において、オーディオグラウンドドキューの使用、堅牢性、解釈可能性を調べるための実用的な方法である、と我々は主張する。
  論文  参考訳（メタデータ） (2026-06-05T14:26:06Z)
• Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs [32.94544776067079]
  ASRの書き起こしには、フィラー、繰り返し、偽の開始などの不一致がしばしば含まれている。 既存のアプローチのほとんどは、除去のための非流動的なトークンを特定することに焦点を当てた古典的なモデルに依存している。 本稿では,まずシーケンスタグが不自由なトークンをマークする多言語補正パイプラインを提案し,これらの信号はLLMの微調整を指導し,書き起こしを流用テキストに書き換える。
  論文  参考訳（メタデータ） (2026-05-12T15:11:36Z)
• Degrading Voice: A Comprehensive Overview of Robust Voice Conversion Through Input Manipulation [19.071803833384976]
  音声変換(VC)技術は、2つの入力話者の音声信号を処理し、プロンプトや感情タグなどの補助情報の変調を行う。 近年、VCモデルは世代品質とパーソナライズ能力の両方で急速に進歩している。 これらの発展は、プライバシ保護、死亡者のための音声プリント再生、変形性音声の回復など、様々な用途において大きな注目を集めている。
  論文  参考訳（メタデータ） (2025-12-06T05:17:07Z)
• Smooth Operators: LLMs Translating Imperfect Hints into Disfluency-Rich Transcripts [5.439020425819001]
  大規模言語モデル(LLM)は、語彙入力と非語彙入力の両方を処理できる汎用的な学習者である。 本稿では, タイムスタンプを付加した明示的なトークンとして, 完全注釈付き不フルな書き起こしを生成するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-06-23T11:04:20Z)
• Adversarial Training For Low-Resource Disfluency Correction [50.51901599433536]
  ディフルエンシ補正(DC)のための逆学習型シーケンスタグ付けモデルを提案する。 提案手法の利点は,3つのインド語でDCに対して評価することで,合成された非流動データに大きく依存することを示す。 また,本手法は,音声障害によって導入されたASR文字の破面的不一致の除去にも有効である。
  論文  参考訳（メタデータ） (2023-06-10T08:58:53Z)
• READIN: A Chinese Multi-Task Benchmark with Realistic and Diverse Input Noises [87.70001456418504]
  我々は、Realistic and Diverse Input Noisesを用いた中国のマルチタスクベンチマークREADINを構築した。 READINには4つの多様なタスクとアノテータが含まれており、Pinyin入力と音声入力という2つの一般的な中国語入力方式で元のテストデータを再入力するよう要求する。 我々は、強化された事前訓練された言語モデルと、堅牢なトレーニング手法を用いて実験を行い、これらのモデルがREADINに顕著な性能低下を被ることがしばしば見いだされた。
  論文  参考訳（メタデータ） (2023-02-14T20:14:39Z)
• Correcting diacritics and typos with ByT5 transformer model [0.0]
  人々は、ダイアクリティカルを使ってタイピング時にタイプミス(タイポ)をする傾向がある。 本研究では,新たに開発されたByT5バイトレベルのトランスモデルを用いて,両問題に一度に対処する。 ダイアクリティカルス修復とタイポス補正の併用により,13言語における最先端性能が実証された。
  論文  参考訳（メタデータ） (2022-01-31T13:52:51Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)
• Adv-BERT: BERT is not robust on misspellings! Generating nature adversarial samples on BERT [95.88293021131035]
  しかし、悪意のある敵のインスタンスがしばしば存在するのではなく、テクトナチュラルなシナリオでモデルがどのように機能するかは定かではない。 この研究は、NLPにおける最先端のTransformerスタイルモデルであるBERTの、ノイズの多いデータを扱うための頑健さを体系的に探求する。
  論文  参考訳（メタデータ） (2020-02-27T22:07:11Z)
• Multi-task self-supervised learning for Robust Speech Recognition [75.11748484288229]
  本稿では,雑音および残響環境下での頑健な音声認識のためのPASE+を提案する。 我々は、様々なランダムな乱れで入力信号を汚染するオンライン音声歪みモジュールを用いる。 次に,再帰型ネットワークと畳み込み型ネットワークを効率よく組み合わせて,短時間および長期の音声力学をよりよく学習する改良型エンコーダを提案する。
  論文  参考訳（メタデータ） (2020-01-25T00:24:45Z)
• Stacked DeBERT: All Attention in Incomplete Data for Text Classification [8.900866276512364]
  変換器から双方向表現を重畳するスタックドデノナイズ(Stacked Denoising Bidirectional Representations)を提案する。 本モデルでは, 感情や意図の分類作業において, 音声テキスト誤りのあるツイートやテキストに現れる非公式/不正テキストにおいて, F1スコアが向上し, 堅牢性が向上したことを示す。
  論文  参考訳（メタデータ） (2020-01-01T04:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。