論文の概要: MusicTwins: Training Audio-Language Models to Listen like Their Persona

• arxiv url: http://arxiv.org/abs/2610.32495v1
• Date: Fri, 23 Oct 2026 11:11:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.504572
• Title: MusicTwins: Training Audio-Language Models to Listen like Their Persona
• Title（参考訳）: MusicTwins:音楽を聴くための言語モデル
• Abstract要約: MusicTwinsは、個人固有の応答を生成するために、ペルソナ要約、パーソナルメモリ、ポストトレーニングを組み合わせたフレームワークである。 人間の文章からペルソナ表現を構築し,背景,ビュー,パーソナリティ,ライティングスタイル,音楽的プロファイルを抽出する。 定位者10名に対する評価は,パーソナ忠実度におけるAudio Flamingo Nextの顕著な改善を示している。
• 参考スコア（独自算出の注目度）: 0.6326242067588544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: People differ in how they perceive music, what associations they make with it, what they like about it, and how they respond to it. Computational models intended to simulate people in environments that include music should account for these differences. Although LLMs have been shown to reproduce aspects of human behavior, whether audio-language models (ALMs) can reproduce a specific person's responses to textual and musical stimuli remains underexplored. We introduce MusicTwins, a framework that combines persona summaries, personal memory, and post-training to generate person-specific responses. We construct persona representations from human writings, capturing background, views, personality, writing style, and a musical profile, and post-train Audio Flamingo Next through supervised fine-tuning and reinforcement learning. Evaluation on ten held-out personas shows notable improvements for Audio Flamingo Next in persona fidelity, including personality, writing style, and responses to music, supporting MusicTwins as a foundation for training audio-language models to listen like their persona.
• Abstract（参考訳）: 人々は、音楽をどのように知覚するか、それをどう関連づけるか、何が好きか、それにどう反応するかに異なる。 音楽を含む環境の人々をシミュレートすることを目的とした計算モデルは、これらの違いを考慮すべきである。 LLMは人間の行動の側面を再現することが示されているが、音声言語モデル(ALM)が特定の人のテキストや音楽刺激に対する反応を再現できるかどうかはまだ明らかになっていない。 MusicTwinsは、個人固有の応答を生成するために、ペルソナ要約、パーソナルメモリ、ポストトレーニングを組み合わせたフレームワークである。 我々は,人間の文章からペルソナ表現を構築し,背景,ビュー,パーソナリティ,ライティングスタイル,音楽的プロファイルを把握し,教師付き微調整と強化学習を通じて学習する。 10人の人格に対する評価は、人格、書き方、音楽に対する反応など、人格の忠実さにおいて顕著な改善が見られ、音楽Twinsは、人格のように聴くためのオーディオ言語モデルのトレーニング基盤としてサポートされている。

関連論文リスト

• Music Flamingo: Scaling Music Understanding in Audio Language Models [98.94537017112704]
  Music Flamingoは、基礎的なオーディオモデルにおける音楽理解を促進するために設計された、新しい大きなオーディオ言語モデルである。 MF-Skillsはマルチステージパイプラインを通じてラベル付けされたデータセットで、調和、構造、音色、歌詞、文化的な文脈をカバーする豊富なキャプションと質問応答ペアを生成する。 MF-Thinkは音楽理論に基づく新しいチェーン・オブ・シンク・データセットで、続いてGRPOベースの強化学習とカスタム報酬を取り入れた。
  論文  参考訳（メタデータ） (2025-11-13T13:21:09Z)
• Mozualization: Crafting Music and Visual Representation with Multimodal AI [11.229032883997748]
  Mozualizationは、多様な入力を統合することで、マルチスタイルの組込み音楽を生成する音楽生成・編集ツールである。 私たちの作品は、人々が感情を表現する方法、ムード記述の詩や記事を書くこと、温かくて涼しいトーンで絵を描くこと、悲しい、または高揚的な音楽を聴くこと、にインスピレーションを受けています。
  論文  参考訳（メタデータ） (2025-04-05T08:22:20Z)
• A Survey of Foundation Models for Music Understanding [60.83532699497597]
  この研究は、AI技術と音楽理解の交差に関する初期のレビューの1つである。 音楽理解能力に関して,近年の大規模音楽基盤モデルについて検討,分析,検証を行った。
  論文  参考訳（メタデータ） (2024-09-15T03:34:14Z)
• MeLFusion: Synthesizing Music from Image and Language Cues using Diffusion Models [57.47799823804519]
  私たちは、ミュージシャンが映画の脚本だけでなく、視覚化を通して音楽を作る方法にインスピレーションを受けています。 本稿では,テキスト記述と対応する画像からの手がかりを効果的に利用して音楽を合成するモデルであるMeLFusionを提案する。 音楽合成パイプラインに視覚情報を加えることで、生成した音楽の質が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-06-07T06:38:59Z)
• MusicRL: Aligning Music Generation to Human Preferences [62.44903326718772]
  MusicRLは人間のフィードバックによって微調整された最初の音楽生成システムである。 ユーザに対してMusicLMをデプロイし,30,000対の選好からなる実質的なデータセットを収集する。 人間のフィードバックを大規模に組み込んだ最初のテキスト-音楽モデルであるMusicRL-Uを訓練する。
  論文  参考訳（メタデータ） (2024-02-06T18:36:52Z)
• Generative Disco: Text-to-Video Generation for Music Visualization [9.53563436241774]
  我々は,大規模な言語モデルとテキスト・ツー・ビデオ生成による音楽視覚化を支援する生成AIシステムであるGenerative Discoを紹介する。 このシステムは、ユーザーが音楽の開始と終了を知らせるプロンプトを見つけ出し、それらの間を音楽のビートに補間する。 色、時間、主題、スタイルの変化を表現するトランジションと、ビデオが主題に焦点を合わせるのに役立つホールドという、これらの生成されたビデオを改善するためのデザインパターンを紹介します。
  論文  参考訳（メタデータ） (2023-04-17T18:44:00Z)
• Music Gesture for Visual Sound Separation [121.36275456396075]
  ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。 まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
  論文  参考訳（メタデータ） (2020-04-20T17:53:46Z)
• Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with Visual Computing for Improved Music Video Analysis [91.3755431537592]
  この論文は、音声分析とコンピュータビジョンを組み合わせて、マルチモーダルの観点から音楽情報検索(MIR)タスクにアプローチする。 本研究の主な仮説は、ジャンルやテーマなど特定の表現的カテゴリーを視覚的内容のみに基づいて認識できるという観察に基づいている。 実験は、3つのMIRタスクに対して行われ、アーティスト識別、音楽ジェネア分類、クロスジェネア分類を行う。
  論文  参考訳（メタデータ） (2020-02-01T17:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。