Fugu-MT 論文翻訳(概要): Knowing When Not to Answer: Pseudo-Ensembles for Abstention in Music Audio-Language Models

論文の概要: Knowing When Not to Answer: Pseudo-Ensembles for Abstention in Music Audio-Language Models

arxiv url: http://arxiv.org/abs/2609.04362v1
Date: Thu, 03 Sep 2026 18:21:25 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-07 18:15:23.783794
Title: Knowing When Not to Answer: Pseudo-Ensembles for Abstention in Music Audio-Language Models
Title（参考訳）: 答えるべきでないことを知る:音楽音響言語モデルにおける留意のための擬似アンサンブル(Pseudo-Ensembles)
Abstract要約: 音楽音声言語モデルは、ほぼ完全に複数の質問に対する精度で評価される。欠けているのは、モデルが答えを知らないかどうかを判断する方法です。ある事前訓練されたモデルから擬似アンサンブルを、正しい答えを変更できない方法で入力を摂動することで構築する。
参考スコア（独自算出の注目度）: 3.6463026920885824
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Music audio-language models are evaluated almost entirely by accuracy on multiple-choice questions. This protocol forces the model to commit to an option, so a lucky guess looks the same as real musical understanding. What is missing is a way to tell when the model does not know the answer, so that it can abstain instead of guessing. The usual solution, an ensemble of independently trained models, is far too expensive here, which leaves the entropy of a single predictive distribution as the only available confidence signal. We instead build pseudo-ensembles from one pretrained model by perturbing its input in ways that cannot change the correct answer, then averaging the resulting distributions over the options. Our main construction simply shuffles the order in which the candidate answers are presented; we also study ensembles built from corrupted audio and from swapped option labels. A pseudo-ensemble gives several predictive distributions per question, so it supports the full family of ensemble-based uncertainty measures (entropy of the expected distribution, expected entropy, and their difference, the mutual information) rather than entropy alone. Evaluating TinyMU on MuChoMusic, we find that averaging over four option orderings raises accuracy from 55.7% to 59.2%, and that the resulting uncertainty measures rank the model's errors better than the single-pass entropy baseline, reducing the area under the error retention curve from 0.293 to 0.261. All of this costs a few extra forward passes and no retraining, which makes abstention practical for compact music audio-language models.
Abstract（参考訳）: 音楽音声言語モデルは、ほぼ完全に複数の質問に対する精度で評価される。このプロトコルはモデルにオプションのコミットを強制するので、ラッキーな推測は実際の音楽的理解と同じように見える。欠けているのは、モデルが答えを知らないかどうかを判断する方法です。独立に訓練されたモデルの集まりである通常の解は、あまりにも高価であり、単一の予測分布のエントロピーを唯一の信頼性信号として残している。その代わりに、正しい答えを変えることができない方法で入力を摂動させ、その結果の分布を平均化することで、事前訓練されたモデルから擬似アンサンブルを構築する。主な構成は、候補の回答が提示される順序を単にシャッフルするだけでなく、劣化したオーディオと交換されたオプションラベルから構築されたアンサンブルも調べる。疑似アンサンブルは問合せごとにいくつかの予測分布を与えるため、アンサンブルに基づく不確実性(期待分布のエントロピー、期待エントロピー、その差、相互情報)の完全なファミリーをサポートする。 MuChoMusic上でTinyMUを評価すると、平均4つのオプションオーダが精度を55.7%から59.2%に向上し、結果として生じる不確実性尺度が単一パスエントロピーベースラインよりもモデルのエラーをランク付けし、エラー保持曲線の領域を0.293から0.261に短縮する。これらの全ては、数回のフォワードパスと再トレーニングを伴わないため、コンパクトなオーディオ言語モデルでは控えめにできる。

関連論文リスト

Measuring Reward Hacking and Reasoning-Answer Decoupling Under Position-Confounded Optimization [1.1316247605466565]
正解が常にオプションAである数学問題に対してGRPOを用いて言語モデルを訓練し、不偏解位置を持つ未知のテストセットで評価する。 Qwen2.5、Llama 3.x、Gemma-3のモデルでは、より小さなモデルではオプションAレートが0.90を超えている。有能なモデルは、Aを選択しながら正しい数値解に到達した推論を生成する。
論文参考訳（メタデータ） (2026-08-15T23:13:57Z)
Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。 textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
論文参考訳（メタデータ） (2026-08-06T14:55:42Z)
Instruction-Tuned Language Models Cannot Sample from Distributions They Can Describe [2.6646205080230536]
シリコンサンプリングは、人間の調査回答者のプロキシとして言語モデルを使用する。命令チューニングされたモデルは分布からサンプリングされず、単一の出力に崩壊する。本稿では,Prompt-Perturbed Argyleを提案する。
論文参考訳（メタデータ） (2026-07-28T04:58:46Z)
AB-RAG: Adaptive Budgeted Retrieval-Augmented Generation for Reliable Question Answering [0.0]
AB-RAGはトレーニングフリーでバックボーンに依存しないフレームワークで、答えを生成する。信頼度を3つの信号の組み合わせから推定する。そして、停止するか、より多くの証拠を回収するかを決定する。
論文参考訳（メタデータ） (2026-06-27T21:08:14Z)
SimpleStrat: Diversifying Language Model Generation with Stratification [26.933029655072488]
それまでのアプローチは、多様性を高めるために温度の上昇に依存していた。温度が上昇するにつれて、このアプローチは低い品質の個々の世代を生み出すことを示す。言語モデル自体を使って空間を成層体に分割する代替手法であるSimpleStratを提案する。
論文参考訳（メタデータ） (2024-10-11T17:54:14Z)
DistPred: A Distribution-Free Probabilistic Inference Method for Regression and Forecasting [14.390842560217743]
本稿では、回帰予測タスクのためのDistPredという新しい手法を提案する。予測分布と対象分布の差分を測定するための適切なスコアリングルールを、微分可能な離散形式に変換する。これにより、モデルは単一のフォワードパスで多数のサンプルをサンプリングし、応答変数の潜在的分布を推定することができる。
論文参考訳（メタデータ） (2024-06-17T10:33:00Z)
Reconciling Model Multiplicity for Downstream Decision Making [24.335927243672952]
2つの予測モデルがほぼ至るところでそれぞれの予測にほぼ一致しているとしても、最も応答性の高い行動が人口のかなりの部分で相違していることが示される。本稿では,下流決定問題と個別確率予測の両方に関して,予測モデルを校正する枠組みを提案する。
論文参考訳（メタデータ） (2024-05-30T03:36:46Z)
Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
論文参考訳（メタデータ） (2023-06-19T18:48:15Z)
Composed Image Retrieval with Text Feedback via Multi-grained Uncertainty Regularization [73.04187954213471]
粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
論文参考訳（メタデータ） (2022-11-14T14:25:40Z)
How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文参考訳（メタデータ） (2020-12-02T03:53:13Z)
Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
論文参考訳（メタデータ） (2020-07-24T05:18:17Z)
Selective Question Answering under Domain Shift [90.021577320085]
モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
論文参考訳（メタデータ） (2020-06-16T19:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。