論文の概要: Alignment Is All You Need: Instruction-Free Training for General Audio-Language Models

• arxiv url: http://arxiv.org/abs/2608.18132v1
• Date: Tue, 28 Jul 2026 03:30:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-23 14:54:39.98716
• Title: Alignment Is All You Need: Instruction-Free Training for General Audio-Language Models
• Title（参考訳）: アライメントは必要なもの:一般のオーディオ言語モデルのためのインストラクションなしのトレーニング
• Abstract要約: MLLM(Multimodal large language model)は通常、クロスモーダルアライメント、教師付き微調整、優先最適化からなる多段階パイプラインを通じて構築される。 音声エンコーダとLLMの両方を凍結したままに保ち、軽量プロジェクタのみを学習するインストラクションフリーアライメントオンリー大型オーディオ言語モデル(LALM)を導入する。 この結果から,競合MLLMはアライメントのみから出現し,軽量プロジェクタトレーニング問題へのマルチモーダル拡張を低減できる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 27.78079458473877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) are typically built through a multi-stage pipeline consisting of cross-modal alignment, supervised fine-tuning (SFT), and preference optimization. This pipeline assumes that adapting an LLM to a new modality requires extensive task-specific supervision. However, pretrained LLMs already possess strong reasoning and instruction-following abilities. As LLMs evolve rapidly, an important question remains: can we efficiently transfer these capabilities to a new modality with minimal intervention, and is alignment alone sufficient for building a multimodal model? We introduce an Instruction-Free Alignment-Only large audio-language model (LALM) that keeps both the audio encoder and the LLM fully frozen, learning only a lightweight projector. Borrowing insights from AzeroS [1], we train on (audio, response) pairs from Self-Generated Data Construction, where an LLM expands captions into free-form responses without explicit task instructions. Across MMAU, MMAR, MMSU, and MMAU-Pro, our approach matches or surpasses heavily post-trained baselines using substantially less data. By keeping the LLM frozen, our model preserves its native instruction-following competence and can port seamlessly across model generations. Our results suggest that competitive MLLM can emerge from alignment alone, reducing multimodal extension to a lightweight projector-training problem that generalizes across modalities and adapts rapidly to each new LLM release.
• Abstract（参考訳）: MLLM(Multimodal large language model)は通常、クロスモーダルアライメント、教師付き微調整(SFT)、優先最適化からなる多段階パイプラインを通じて構築される。 このパイプラインは、LLMを新しいモダリティに適合させるには、タスク固有の広範囲な監督が必要であると仮定する。 しかし、事前訓練されたLLMには、強い推論能力と命令追従能力がある。 LLMが急速に進化するにつれて、重要な疑問が残る: これらの機能を最小限の介入で、効率的に新しいモダリティに移行できるか、そしてマルチモーダルモデルを構築するのに、アライメントだけで十分か? 音声エンコーダとLLMの両方を凍結したままに保ち、軽量プロジェクタのみを学習するインストラクションフリーアライメントオンリー大型オーディオ言語モデル(LALM)を導入する。 AzeroS [1] からの洞察を引用して,自己生成データ構築から (音響, 応答) ペアをトレーニングし, LLM が明確なタスク命令なしでキャプションを自由形式の応答に拡張する。 MMAU、MMAR、MMSU、MMAU-Pro全体で、我々のアプローチは、かなり少ないデータを用いて、訓練後ベースラインにマッチするか、超えている。 LLMを凍結に保つことで、我々のモデルはネイティブな命令追跡能力を保持し、モデル世代間でシームレスに移植できる。 以上の結果から,MLLMはアライメントのみから出現し,マルチモーダルなプロジェクタトレーニング問題への拡張を減らし,モダリティを一般化し,新たなLLMリリース毎に迅速に適応できる可能性が示唆された。

関連論文リスト

• LLMs can see and hear without any training [63.964888082106974]
  MILSは、お気に入りのLLMにインビューマルチモーダル機能を組み込むための、シンプルでトレーニング不要なアプローチです。 創発的なゼロショット画像,ビデオ,オーディオキャプションを新たに構築する。 勾配のない最適化アプローチであるため、MILSはテキストへのマルチモーダル埋め込みを反転させることができる。
  論文  参考訳（メタデータ） (2025-01-30T02:16:35Z)
• SWIFT: On-the-Fly Self-Speculative Decoding for LLM Inference Acceleration [10.970637831760136]
  投機的復号法(SD)は,LLM推論を品質を損なうことなく高速化するためのパラダイムとして広く用いられている。 本稿では,LLMの中間層を適応的に選択して推論時にスキップする,オンザフライの自己投機的復号アルゴリズムであるSWIFTを紹介する。 実験により,SWIFTは生成したテキストの元の分布を保ちながら,1.3x-1.6x以上の高速化を実現することができることを示した。
  論文  参考訳（メタデータ） (2024-10-09T14:15:30Z)
• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• An Embarrassingly Simple Approach for LLM with Strong ASR Capacity [56.30595787061546]
  我々は,音声基礎エンコーダと大規模言語モデル(LLM)を用いて,音声処理の分野で最も重要な課題の1つを解決することに注力する。 最近の研究は、音声エンコーダの出力を時間的に圧縮したり、プロジェクタのモーダルアライメントに対処したり、LLMのパラメータ効率の良い微調整を利用するといった複雑な設計をしている。 そこで本研究では,市販の音声エンコーダLLMと,トレーニング可能な唯一の線形プロジェクタの単純な構成がASRタスクに適しているのに対して,繊細な設計は必要ないことを発見した。
  論文  参考訳（メタデータ） (2024-02-13T23:25:04Z)
• Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models [77.2078051555533]
  大規模言語モデル(LLM)の有効なVL適応のための,新規で安価なソリューションを提案する。 画像エンコーダとLLMを接続するために大きなニューラルネットワークを使用する代わりに、MMAは軽量モジュール、すなわちアダプタを採用する。 MMAはまた、LLMがシングルモードとマルチモードの命令を自動シフトするのを助けるルーティングアルゴリズムも備えている。
  論文  参考訳（メタデータ） (2023-05-24T11:06:15Z)
• Small Language Models Improve Giants by Rewriting Their Outputs [18.025736098795296]
  本研究では,大規模言語モデル(LLM)の性能向上にトレーニングデータを活用するという課題に,微調整なしで対処する。 我々は、数発のプロンプトによってLSMから候補のプールを作成し、コンパクトモデルLM-corrector(LMCor)を用いて、これらの候補をマージして拡張出力を生成するように特別に訓練した。 4つの自然言語生成タスクの実験により、小さな LMCor モデル (250M) でさえ、LLM (62B) の少数ショット性能を大幅に改善し、マッチングや標準微調整よりも優れることを示した。
  論文  参考訳（メタデータ） (2023-05-22T22:07:50Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。