論文の概要: Timbre: Reliability-aware harmonic consensus for label-free multimodal test-time rexinforcement learning
- arxiv url: http://arxiv.org/abs/2610.39439v1
- Date: Thu, 29 Oct 2026 06:15:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.050901
- Title: Timbre: Reliability-aware harmonic consensus for label-free multimodal test-time rexinforcement learning
- Title（参考訳）: Timbre: ラベルのないマルチモーダルテスト時間強化学習のための信頼性を考慮した調和コンセンサス
- Abstract要約: メソッドはマルチモーダルテスト時強化学習のための信頼性を考慮した調和コンセンサスフレームワークである。
メソッドは、適応インスタンスのセットとホールドアウトインスタンスの18のセットのセットで、TTRVを16のベンチマークで上回ります。
これらの結果は、さらなる更新なしにターゲットタスク適応と未確認インスタンスへの転送を改善した。
- 参考スコア（独自算出の注目度）: 57.985367205599324
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Label-free test-time reinforcement learning adapts vision--language models using rewards derived from their own predictions. However, misinterpreted visual evidence and sensitivity to textual formulation can produce a consistent but incorrect consensus that majority voting reinforces. Cross-view aggregation can expose such errors, but image and text transformations may themselves degrade task-relevant evidence to different extents. We introduce \method, a reliability-aware harmonic consensus framework for multimodal test-time reinforcement learning. \method constructs a $2\times2$ grid combining original and perturbed images with direct-solving and reframing modes, selects pseudo-labels through weighted harmonic aggregation, and adapts modality-level weights using batch-averaged, temporally smoothed shifts in pseudo-label confidence as a heuristic reliability signal. We formulate consensus as a weighted $χ^2$-barycenter problem whose unique minimizer is the normalized weighted harmonic aggregate, without requiring correct-answer invariance. An exact support--dispersion decomposition characterizes when harmonic aggregation preserves or corrects arithmetic rankings, while a sensitivity analysis establishes how modality reweighting changes pairwise ranking margins, informing interpretation of the heuristic updates. Across six benchmarks and three Qwen3-VL model scales, \method outperforms TTRV in 16 of 18 benchmark--model settings on adaptation instances and 17 of 18 settings on held-out instances under matched estimation and optimization rollout counts. These results demonstrate improved target-task adaptation and transfer to unseen instances without further updates.
- Abstract（参考訳）: ラベルなしテスト時間強化学習は、自身の予測から得られる報酬を用いて視覚モデルに適応する。
しかし、誤解釈された視覚的証拠とテキストの定式化に対する感受性は、多数決が強化する一貫したが誤った合意をもたらす可能性がある。
クロスビューアグリゲーションはそのようなエラーを露呈することができるが、画像とテキストの変換は、タスク関連エビデンスを異なる範囲に分解する可能性がある。
マルチモーダルテスト時強化学習のための信頼性を考慮した高調波コンセンサスフレームワークである \method を紹介する。
\methodは、原画像と摂動画像と直接解凍モードを組み合わせた2ドルのグリッドを構築し、重み付けされたハーモニックアグリゲーションを通じて擬似ラベルを選択し、疑似ラベルの信頼度をヒューリスティックな信頼性信号として、平均的に時間的にスムーズなシフトを用いて、モダリティレベルの重みを適応させる。
コンセンサスを、正規化された重み付き高調波集合であるような重み付き$ ^2$-barycenter問題として定式化し、正解不変性を必要としない。
厳密な支持-分散分解(dispersion decomposition)は、調和集約が算術的ランキングを保存または修正する場合を特徴付け、感度解析は、モダリティ再重み付けがペアのランキングマージンをどのように変化させるかを確立し、ヒューリスティックな更新を解釈する。
6つのベンチマークと3つのQwen3-VLモデルスケールで、‘method’は18のベンチマークインスタンスのモデル設定と、一致した推定と最適化のロールアウトカウントの下でのホールトアウトインスタンスの18のモデル設定でTTRVを上回っている。
これらの結果は、さらなる更新なしにターゲットタスク適応と未確認インスタンスへの転送を改善した。
関連論文リスト
- Test-time Reinforcement Learning for Anomalous Video Understanding [12.200293794553005]
異常ビデオ理解は、ビデオ中の異常事象を特定し、その意味を単純な異常検出を越えて解釈することを目的としている。
最近のビデオ大言語モデル(ビデオ-LLM)は、このタスクに期待できるゼロショット機能を実証している。
本稿では,異常映像理解のための新しいテスト時間強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-18T13:49:45Z) - A Semantic-Sampling Framework for Evaluating Calibration in Open-Ended Question Answering [19.55210880950831]
予測されたモデルの信頼度がその経験的精度と一致しているかを測り、大規模言語モデル(LLM)の信頼性デプロイメントの中心となる。
オープンエンド質問応答(QA)のための校正評価フレームワークSem-ECEを紹介する。
フレームワーク内の2つの推定器について検討する。同じサンプルの自己整合性スコアであるSem$-ECEと、自信評価から回答の選択を分離する保留変数であるSem$-ECEである。
論文 参考訳（メタデータ） (2026-05-08T19:53:49Z) - Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
マルチモーダル学習は、しばしば低品質データの課題に悩まされる。
コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。
私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-05T14:48:52Z) - Prototype-Guided Pseudo-Labeling with Neighborhood-Aware Consistency for Unsupervised Adaptation [12.829638461740759]
CLIPのような視覚言語モデルに対する教師なし適応では、ゼロショット予測からの擬似ラベルは大きなノイズを示すことが多い。
本稿では,プロトタイプの整合性と近傍の整合性を統合することで,CLIPの適応性能を向上させる適応型擬似ラベルフレームワークを提案する。
提案手法は、教師なし適応シナリオにおける最先端性能を実現し、計算効率を維持しつつ、より正確な擬似ラベルを提供する。
論文 参考訳（メタデータ） (2025-07-22T19:08:24Z) - Test-Time Consistency in Vision Language Models [26.475993408532304]
VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。
MM-R3のような最近のベンチマークでは、最先端のVLMでさえ意味論的に等価な入力にまたがって分岐予測をもたらすことが強調されている。
教師付き再学習なしにセマンティックな一貫性を高める,シンプルで効果的なテスト時間一貫性フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-27T17:09:44Z) - Consistency-aware Self-Training for Iterative-based Stereo Matching [13.079759982779013]
本稿では,反復型ステレオマッチングのための一貫性を考慮した自己学習フレームワークを提案する。
まず, 誤差が大きい地域では, モデル予測時により顕著な発振特性を示す傾向が見られた。
そこで我々は,疑似ラベルの重み付けを調整し,誤りの蓄積と性能劣化問題を軽減するために,整合性を考慮したソフトウェイトド・ロスを導入する。
論文 参考訳（メタデータ） (2025-03-31T05:58:25Z) - Dynamic Correlation Learning and Regularization for Multi-Label Confidence Calibration [60.95748658638956]
本稿では,多ラベルシナリオにおける信頼度を適切に評価することを目的としたマルチラベル信頼性タスクを提案する。
既存のシングルラベルキャリブレーション手法では、セマンティックな混乱に対処するために欠かせないカテゴリ相関を考慮できない。
本稿では,多粒度セマンティック相関を利用した動的相関学習と正規化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-07-09T13:26:21Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳（メタデータ） (2023-02-23T18:57:14Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2020-12-16T04:09:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。