論文の概要: Repairing Speech Access After Text Updates with Frozen Affine Fields
- arxiv url: http://arxiv.org/abs/2610.20253v1
- Date: Wed, 14 Oct 2026 14:24:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.201269
- Title: Repairing Speech Access After Text Updates with Frozen Affine Fields
- Title(参考訳): 凍結アフィンフィールドによるテキスト更新後の音声アクセスの修復
- Abstract要約: 音声対応言語モデルは、テキスト豊富な言語バックボーンから知識の大部分を継承し、継続的なモデルのメンテナンスはテキスト更新によって支配される。
我々は、このミスマッチを、知識を有するチェックポイントが凍結状態のままであり、分離可能なオペレータが1つのモデルパスで音声のみのアクセスを修復する、更新後の音声アクセス修復として定式化する。
Affine Fields for Interface repair across Modalities (AFFIRM) を導入し、まず音声隠れ状態のベース修正を学習・凍結し、演算子学習クエリに対して平均ゼロでクエリ固有の補正を追加する。
- 参考スコア(独自算出の注目度): 22.006252802323427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speech-capable language models inherit most of their knowledge from text-rich language backbones, and continued model maintenance is likewise dominated by text updates. Knowledge acquired through a text update can nevertheless remain difficult to access when the same query is spoken. We formulate this mismatch as post-update speech access repair, where the knowledge-bearing checkpoint stays frozen and a detachable operator repairs speech-only access in one model pass. We introduce Affine Fields for Interface Repair across Modalities (AFFIRM), which first learns and freezes a base correction for speech hidden states, then adds query-specific corrections with zero mean over the operator-training queries. Paired speech and text states provide the coordinates that condition these corrections on each query. On balanced synthetic-speech PopQA, paired comparisons do not establish a clear advantage for AFFIRM over global SALSA steering or low-rank ReFT interventions under the same frozen single-state constraint. On recorded SLUE-SQA-5 questions with text passages, a full-scale PopQA-fitted AFFIRM operator transfers without refitting and improves ROUGE-L by 0.0941 over its paired No Repair baseline. Low-rank ReFT interventions also transfer positively, whereas the matched SALSA variant falls 0.0707 below its paired baseline. These results show that text acquisition and speech access can diverge after an update and should be verified and repaired separately.
- Abstract(参考訳): 音声対応言語モデルは、テキスト豊富な言語バックボーンから知識の大部分を継承する。
テキスト更新によって得られた知識は、同じクエリが話されるときでもアクセスが困難である。
我々は、このミスマッチを、知識を有するチェックポイントが凍結状態のままであり、分離可能なオペレータが1つのモデルパスで音声のみのアクセスを修復する、更新後の音声アクセス修復として定式化する。
Affine Fields for Interface repair across Modalities (AFFIRM) を導入し、まず音声隠れ状態のベース修正を学習・凍結し、演算子学習クエリに対して平均ゼロでクエリ固有の補正を追加する。
ペア音声とテキスト状態は、各クエリにこれらの修正を条件付ける座標を提供する。
バランスの取れた合成音声のPopQAでは、ペア比較は、同じ凍った単一状態の制約の下で、グローバルなSALSAステアリングや低ランクのReFT介入よりもAFFIRMの明確な優位性を確立していない。
SLUE-SQA-5のテキストパスによる質問では、完全スケールのPopQA対応のAFFIRMオペレーターが再適合することなく転送し、ROUGE-Lを0.0941改善した。
低ランクの ReFT の介入も正に伝達するが、一致する SALSA の変種はペアのベースラインより0.0707 下にある。
これらの結果から,テキスト取得と音声アクセスは更新後に分岐し,個別に検証し,修復すべきであることが示唆された。
関連論文リスト
- ALOE: Semantically Addressed Low-Rank Operators for Knowledge Editing [11.354623263879466]
パラメトリックエディタはスコープを暗黙的にエンコードするが、メモリベースのエディタは選択を明示的にするが、編集モデルから外す。
パラフレーズやハードな同一オブジェクトの負からセマンティックアドレスを学習し、ロールアウト精製とゲートキャリブレーションにより自己回帰的隠蔽状態と整列し、結果として生じる低ランク演算子を1層に埋め込むALOEを提案する。
論文 参考訳(メタデータ) (2026-09-24T09:08:49Z) - Not All Speech Is Intent: Adaptive Self-Correcting Inference Layer for Post-ASR False Wake-Up [2.497926557563177]
会話型AIでは、偽の起動アクティベーションは依然として永続的な課題である。
フィードバック駆動型適応型自己修正型推論層(ASCIL)について紹介する。
ASCILは、音響埋め込み、言語的手がかり、デバイスコンテキスト、過去の誤分類からのパターンを融合させることで、応答生成前の覚醒意図を再評価する。
論文 参考訳(メタデータ) (2026-09-11T06:06:06Z) - Leveraging Fine-grained Error Correction in Korean Speech Recognition for Consultation Services [13.918566708247518]
本稿では,対話レベルのASR誤り訂正のための韓国初の大規模ベンチマークデータセットであるDasanCallDialを紹介する。
本研究では,韓国語音声認識テキストのテキストのみによる後編集フレームワークであるDe Detector-Gated Contextual Span Correction (DCSC)を提案する。
論文 参考訳(メタデータ) (2026-09-09T08:45:20Z) - FlowEdit: Associative Memory for Lifelong Pronunciation Adaptation in Flow-Matching TTS [1.6624384368855523]
FlowEdit はフリーズフローマッチング TTS の適応フレームワークである。
ウェイト更新ではなく、潜時条件付けの編集として発音補正を学習する。
ゼロショットベースラインと比較して、ターゲットワードの音素誤り率を92.7%削減する。
論文 参考訳(メタデータ) (2026-06-18T17:36:02Z) - Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge [50.009682083079205]
我々は,文脈的リコールが単独で事前学習から生じるかどうかを検討する。
ICL評価とは異なる暗黙的推論を必要とするタスクの微調整は、文脈的リコールの出現を誘発することを示す。
メカニカル・インサイト(メカニカル・インサイト)では,現実から文脈への遷移を再現するアテンションオンリー・トランスフォーマーの構成を導出する。
論文 参考訳(メタデータ) (2026-03-21T22:46:55Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳(メタデータ) (2023-09-27T14:44:10Z) - SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。
具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。
音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
論文 参考訳(メタデータ) (2022-09-30T09:12:10Z) - DUAL: Textless Spoken Question Answering with Speech Discrete Unit
Adaptive Learning [66.71308154398176]
SQA (Spken Question Answering) は近年注目され, 目覚ましい進歩を遂げている。
既存のSQA手法は、収集に時間と費用がかかる自動音声認識(ASR)の転写に依存している。
本研究は,未ラベルのデータを事前学習に活用し,SQAダウンストリームタスクによって微調整される離散単位適応学習(DUAL)という,ASR transcript-free SQAフレームワークを提案する。
論文 参考訳(メタデータ) (2022-03-09T17:46:22Z) - User-Initiated Repetition-Based Recovery in Multi-Utterance Dialogue
Systems [3.20350998499235]
本稿では,誤解された単語を繰り返すことで,仮想アシスタントの音声認識誤りを補正するシステムを提案する。
ユーザがフレーズの一部を繰り返すと、システムは元のクエリを書き換えて修正を組み込む。
元のクエリを書き直すことは、繰り返しベースのリカバリを扱う効果的な方法であることを示す。
論文 参考訳(メタデータ) (2021-08-02T23:32:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。