論文の概要: High-Value Synthetic Supervision for Parameter-Efficient Adaptation of a Compact Japanese Speech Model
- arxiv url: http://arxiv.org/abs/2610.00026v1
- Date: Wed, 02 Sep 2026 02:00:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:48:16.316671
- Title: High-Value Synthetic Supervision for Parameter-Efficient Adaptation of a Compact Japanese Speech Model
- Title(参考訳): コンパクト音声モデルのパラメータ効率適応のための高価値合成シュミレーション
- Abstract要約: 本研究では,日本人の介護手形を直接構造化ノートにマッピングする,聴覚可能な合成パイプラインについて検討する。
我々は、フル微調整とランク16 LoRAによる1.47Bオーディオモデルを適用する。
どちらの適応も、同じベース上で大きなペアのゲインを示す。
- 参考スコア(独自算出の注目度): 0.39287497907611874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Private domain speech is difficult to collect and redistribute, while compact models need task-specific supervision. We study an auditable synthetic pipeline that maps Japanese care handoffs directly to six-field structured notes. Using 182 synthetic training and development clips, we adapt a 1.47B audio model by full fine-tuning and rank-16 LoRA. On a 39-clip scenario-seed-disjoint synthetic test, an unadapted model obtains a model-judged factuality-recall score of 0.0500, full tuning 0.8664, and LoRA 0.8461. LoRA reaches 97.7% of the full-tuning aggregate as a descriptive ratio while project telemetry reports 12.4M trainable parameters, about 0.85% of the backbone. Both adaptations show large paired gains over the same base; the full-versus-LoRA interval crosses zero, and differing optimization settings preclude an equivalence claim. This is a parameter-efficient capability-acquisition result, not a device-performance result: latency, memory, energy, and real-time factor were not measured. All evaluation speech and targets are synthetic, references are model-proposed, and the judge is uncalibrated. The evidence shows that a compact model can acquire a narrow audio-to-structure transformation from a few hundred provenance-linked synthetic examples; it does not establish clinical validity, real-speech transfer, or superiority to a clean cloud system.
- Abstract(参考訳): プライベートドメインのスピーチは収集と再配布が難しいが、コンパクトモデルはタスク固有の監督を必要とする。
本研究では,日本人介護者の手引きを6フィールド構造ノートに直接マッピングする,聴覚可能な合成パイプラインについて検討する。
合成トレーニングと開発クリップを182本使用し,完全微調整とランク16LORAによる1.47Bオーディオモデルを適用した。
39クリップのシナリオ・シード・ディスジョイント合成テストでは、未適応モデルが0.0500、フルチューニング0.8664、LoRA 0.8461のモデル・ジャッジド事実・リコールスコアを得る。
プロジェクトテレメトリは12.4Mのトレーニング可能なパラメータを報告し、背骨の約0.85%を報告している。
どちらの適応も、同じ基底上で大きな対のゲインを示し、全対ローラ間隔はゼロを超え、異なる最適化設定は等価クレームを妨げている。
これはパラメータ効率のよい能力獲得の結果であり、デバイスパフォーマンスの結果ではない。
全ての評価音声と対象は合成され、参照はモデル提案され、審査員は非校正される。
この証拠は、コンパクトモデルが数百の証明された合成例から、狭いオーディオから構造への変換を得られることを示しており、臨床的妥当性、実音声転送、クリーンクラウドシステムへの優越性は確立していない。
関連論文リスト
- Automated Regulatory Compliance Question Answering in Financial Services with Domain-Adapted Retrieval-Augmented Generation [3.233923257834339]
金融機関は高密度で頻繁に修正されたルールブックの下で運営されている。
コンプライアンス質問を正しく答えるには、信頼できるテキストで検証可能な根拠が必要である。
ドメイン適応型検索拡張生成パイプラインがそのギャップを埋めるかどうかを慎重に検討する。
論文 参考訳(メタデータ) (2026-09-24T15:48:59Z) - AVT-Fabric: Active Visuo-Tactile Perception via Adaptive Evidence Selection for Efficient Robotic Fabric Comparison [50.18779315745876]
AVT-Fabricは、各比較の難しさに応じて触覚証拠を割り当てるRGBファーストフレームワークである。
400のホールドアウト比較において、AVT-Fabricはコンパクトな7Bマルチモーダル大言語モデルで98.0%の精度を達成した。
このフレームワークは実際のロボットシステムにもデプロイされており、8つのアプリケーションシナリオのうち7つのシナリオで78.1%のペアのランキング精度と正しい布地選択を実現している。
論文 参考訳(メタデータ) (2026-09-18T06:43:04Z) - Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。
選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。
これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
論文 参考訳(メタデータ) (2026-04-20T00:57:31Z) - Brevity Constraints Reverse Performance Hierarchies in Language Models [0.0]
ベンチマーク問題の7.7%では、より大きな言語モデルは10-100倍のパラメータにもかかわらず、より小さな言語モデルよりも28.4ポイント低い。
我々は,このメカニズムを,過度な作業を通じてエラーを発生させる自発的なスケール依存的冗長性として認識する。
この結果から,大規模モデルの性能を最大化するには,スケールアウェア・プロンプト・エンジニアリングが必要であることが判明した。
論文 参考訳(メタデータ) (2026-03-11T06:47:41Z) - Accuracy and Efficiency Trade-Offs in LLM-Based Malware Detection and Explanation: A Comparative Study of Parameter Tuning vs. Full Fine-Tuning [0.0]
Low-Rank Adaptation (LoRA) fine-tuned Large Language Models (LLMs) は、人間の解釈可能な決定とマルウェア分類の説明を生成する際に、完全に微調整されたモデルの性能を近似することができる。
LoRAは、解釈可能性とリソース効率の現実的なバランスを提供し、説明品質を犠牲にすることなく、リソースに制約のある環境へのデプロイを可能にする。
論文 参考訳(メタデータ) (2025-11-24T19:37:13Z) - Efficient Hate Speech Detection: A Three-Layer LoRA-Tuned BERTweet Framework [0.0]
本稿では,計算効率のよいヘイトスピーチ検出システムを開発する上での課題について述べる。
ルールベースの事前フィルタリングとパラメータ効率の高いLoRA調整BERTweetモデルを組み合わせた新しい3層フレームワークを提案する。
我々の手法はSafePhiのような最先端の大規模言語モデルの性能の94%を達成している。
論文 参考訳(メタデータ) (2025-11-08T15:47:18Z) - Efficient Online RFT with Plug-and-Play LLM Judges: Unlocking State-of-the-Art Performance [0.0]
リワードモデルトレーニングは、現代の強化学習ヒューマンフィードバック(RLHF)パイプラインのコストボトルネックである。
提案手法では, 冷凍型7B LLMを1行とランク16のLORAアダプタで拡張する。
プラグ・アンド・プレイの審査員96.2%はRewardBenchの精度を達成し、27Bから70Bパラメータの特殊報酬ネットワークを上回っている。
論文 参考訳(メタデータ) (2025-06-06T05:18:54Z) - LoRA vs Full Fine-tuning: An Illusion of Equivalence [73.5303340531806]
我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。
特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。
我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
論文 参考訳(メタデータ) (2024-10-28T17:14:01Z) - A Lottery Ticket Hypothesis Framework for Low-Complexity Device-Robust
Neural Acoustic Scene Classification [78.04177357888284]
デバイス・ロバスト音響シーン分類(ASC)のためのデータ拡張、知識伝達、プルーニング、量子化を組み合わせた新しいニューラルモデル圧縮戦略を提案する。
本稿では,低複雑マルチデバイスASCのためのアコースティック・ロッテリー(Austratic Lottery)という,効率的なジョイント・フレームワークについて報告する。
論文 参考訳(メタデータ) (2021-07-03T16:25:24Z) - LoRA: Low-Rank Adaptation of Large Language Models [71.75808607987281]
Low-Rank Adaptation (LoRA)はトレーニング済みモデルの重みを凍結し、トレーニング可能な階数分解をTransformerアーキテクチャの各層に注入する。
GPT-3では、LoRAはトレーニング可能なパラメータの数を1万倍に減らし、計算ハードウェアの要求をフル微調整の3倍に削減できる。
論文 参考訳(メタデータ) (2021-06-17T17:37:18Z) - Efficient End-to-End Speech Recognition Using Performers in Conformers [74.71219757585841]
モデルサイズに加えて,モデルアーキテクチャの複雑さを低減することを提案する。
提案モデルにより,1000万のパラメータと線形複雑度を持つLibriSpeechコーパス上での競合性能が得られた。
論文 参考訳(メタデータ) (2020-11-09T05:22:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。