論文の概要: TraceICL: Thread-Resolved Demonstration Curation with Consistency Calibration for Robust Multimodal In-Context Learning
- arxiv url: http://arxiv.org/abs/2610.12516v1
- Date: Wed, 07 Oct 2026 19:31:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.212295
- Title: TraceICL: Thread-Resolved Demonstration Curation with Consistency Calibration for Robust Multimodal In-Context Learning
- Title（参考訳）: TraceICL:ロバストなマルチモーダルインコンテキスト学習のための一貫性校正によるスレッド解決デモキュレーション
- Abstract要約: Interleaved In-Language(インターリーブド・インランゲージ・ラーニング)は、モデルが少数の画像テキスト回答デモから新しいタスクを取得できるようにする。
AVAは、マルチモーダルICLのデモパイプラインを3つの構成可能なステージにまとめる、トレーニング不要のフレームワークである。
- 参考スコア（独自算出の注目度）: 1.7507301683087861
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interleaved multimodal in-context learning (ICL) lets frozen large vision-language models (LVLMs) acquire new tasks from a handful of image-text-answer demonstrations, yet it remains fragile: demonstrations bind to the wrong images, redundant exemplars crowd out informative ones, and noisy answers are copied verbatim into predictions. We present AVA, a training-free framework that organizes the demonstration pipeline of multimodal ICL into three composable stages. A Thread-Resolved Decomposer (TRD) segments the interleaved context into per-sample threads and re-stitches them with explicit boundaries, restoring image-text binding. An Influence-scored Demonstration Selector (IDS) estimates each candidate's marginal influence with one extra forward pass, removes redundancy, and orders the survivors by descending value. A Weak-to-Strong Consistency Calibration (WSC) module scores each demonstration by a weak sibling model's reconstruction confidence and softly reweights its contribution during decoding. On five vision-language benchmarks with interleaved 4-shot prompts, AVA improves the strongest same-setting baseline by +1.7 points on average, with gains of up to +2.4 points on VizWiz, shrinks the require-visual performance gap on ScienceQA-IMG, and retains most of its gain under 30% noisy demonstrations, at a 26% latency overhead that an offline cache amortizes. No gradients are ever computed; the LVLM stays frozen.
- Abstract（参考訳）: Interleaved Multimodal In-context Learning (ICL) では、凍結された大規模視覚言語モデル(LVLM)が、いくつかの画像-テキスト-問合せデモから新しいタスクを取得することができるが、まだ脆弱である。
AVAは、マルチモーダルICLのデモパイプラインを3つの構成可能なステージにまとめる、トレーニング不要のフレームワークである。
Thread-Resolved Decomposer (TRD)は、インターリーブされたコンテキストをサンプル単位のスレッドに分割し、明示的なバウンダリで再スティッチし、イメージ-テキストバインディングを復元する。
インフルエンススコア付きデモセレクタ(IDS)は、各候補者の限界影響を1つの余分なフォワードパスで推定し、冗長性を取り除き、下降値で生存者に命令する。
Wak-to-Strong Consistency Calibration (WSC)モジュールは、弱い兄弟モデルの再構成信頼性によって各デモをスコアし、復号時にその貢献をソフトに強調する。
インターリーブされた4ショットプロンプトを持つ5つの視覚言語ベンチマークにおいて、AVAは平均で最強の同セットベースラインを+1.7ポイント改善し、VizWizでは最大2.4ポイントまで上昇し、ScienceQA-IMGでの要求視パフォーマンスギャップを縮小し、30%ノイズの多いデモでは、オフラインキャッシュが再生する26%の遅延オーバヘッドを保った。
勾配は計算されず、LVLMは凍結されている。
関連論文リスト
- Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning [67.2146856614177]
ViMoDは、推論が進化するにつれて、元のきめ細かい証拠へのアクセスを保ちながら、コンパクトな視覚コンテキストを維持する軽量フレームワークである。
Qwen3-VL-4Bでは、ViMoDは8つの推論ベンチマークのベースラインを20%の視覚トークン予算で上回っている。
論文 参考訳（メタデータ） (2026-10-08T14:42:57Z) - TTRSD: Test-Time Reinforcement Learning with Self-Distillation for Vision-Language Models [27.31606612106555]
テスト時強化学習により、未ラベル入力を用いて視覚言語モデルに適応することができる。
我々は,多視点応答レベル自己蒸留と視覚的コントラストトークン選択を組み合わせたテスト時強化学習フレームワークTTRSDを提案する。
論文 参考訳（メタデータ） (2026-09-27T09:49:39Z) - VPRune: Efficient Training-free Pre-LLM Visual Token Pruning [1.001355398440049]
VPRuneは、視覚のみの多様性の選択、類似性の誘導されたトークンのリサイクル、位置保存修復からなる、トレーニングフリーのLLMプルーニングフレームワークである。
複数の視覚言語ベンチマークにおけるFastVLM-1.5Bの実験は、VPRuneが高い精度の圧縮トレードオフを達成することを示した。
論文 参考訳（メタデータ） (2026-09-21T12:24:39Z) - AdaVSkip: Adaptive Visual Token Skipping Across Layers For Efficient MLLMs Inference [14.50173720268662]
マルチモーダル・大規模言語モデル(MLLM)は、すべてのトランスフォーマー層にまたがる多数の視覚トークンを処理するために、かなりの計算を必要とする。
本稿では,AdaVSkipを提案する。AdaVSkipは各層に2つの軽量ルータを装備し,視覚トークンが通過するか否かを独立に判断する。
AdaVSkipは、計算量を大幅に減らしながら、強いタスク性能を維持している。
論文 参考訳（メタデータ） (2026-09-14T07:07:51Z) - Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning [14.508049757681862]
LLMベースのコーディングエージェントは、トークンの予算の大部分をリポジトリファイルを読むのに費やしている。
この定式化がモデリングのボトルネックを生み出すことを示す。
コード関連性を2つの解釈可能な品質次元に分解する構造化プルーニングフレームワークであるLaMRを提案する。
論文 参考訳（メタデータ） (2026-05-14T18:30:10Z) - UniCVR: From Alignment to Reranking for Unified Zero-Shot Composed Visual Retrieval [87.12447641908143]
組込みゼロショット合成ビジュアル検索フレームワークUniCVRを提案する。
UniCVRは、タスク固有の人間アノテーションのない3つのタスクすべてに共同で対処する。
ステージIでは,約3.5Mサンプルのキュレートされたデータセットに対して,コントラスト学習によりMLLMを合成クエリ埋め込み器として訓練する。
ステージIIでは,少数の上位候補に対して適応的予算付サブセットスコアを付与するMLLM誘導二重レベル再ランク機構を導入する。
論文 参考訳（メタデータ） (2026-04-22T08:16:50Z) - DIFFVSGG: Diffusion-Driven Online Video Scene Graph Generation [61.59996525424585]
DIFFVSGGはオンラインのVSGGソリューションで、このタスクを反復的なシーングラフ更新問題とみなしている。
オブジェクト分類の復号化、境界ボックス回帰、グラフ生成の3つのタスクを1つの共有特徴埋め込みを用いて統合する。
DIFFVSGGはさらに、後続のフレームの予測が過去のフレームの結果をLCMの条件入力として活用する継続的時間的推論を促進する。
論文 参考訳（メタデータ） (2025-03-18T06:49:51Z) - CLIPErase: Efficient Unlearning of Visual-Textual Associations in CLIP [57.49519639951552]
CLIPEraseは視覚的・テキスト的関連を選択的に忘れる新しいアプローチである。
CIFAR-100とFlickr30Kデータセットの実験は、CLIPEraseがマルチモーダルサンプルのゼロショットタスクにおける指定された関連性を効果的に忘れていることを示している。
論文 参考訳（メタデータ） (2024-10-30T17:51:31Z) - Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。
これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。
そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
論文 参考訳（メタデータ） (2021-09-24T07:20:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。