論文の概要: Semantic Allocation in Ordered Bottlenecks: Predictive Residual Inference for Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2606.25232v1
• Date: Tue, 23 Jun 2026 23:19:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.166046
• Title: Semantic Allocation in Ordered Bottlenecks: Predictive Residual Inference for Visual Representation Learning
• Title（参考訳）: 順序付きボトルネックにおける意味的アロケーション:視覚表現学習のための予測的残差推論
• Authors: Erik Ayari, Manuel Traub, Martin V. Butz,
• Abstract要約: 順序表現(PRIOR)の予測残差推論を導入する。 Priorはアクティベーションレート制御をlog2スケールレベルとレベルワイド予測器に置き換える。 これらの予測器は、既に説明されていない情報から説明されており、各レベルを残差に焦点を合わせている。
• 参考スコア（独自算出の注目度）: 2.867517731896504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ordered bottlenecks aim to provide utility at flexible budgets by assigning coarse information to early tokens and task-relevant detail to later ones. Prior work, including tail dropping (TD), typically enforces ordering by means of a masking-based ordering pressure (MBOP): Late tokens are masked more frequently than early tokens and are therefore encouraged to store less essential fine details. We introduce predictive residual inference for ordered representations (PRIOR), a framework designed to address inherent weaknesses of MBOP. MBOP is prone to weak late-token utility because it lacks an explicit refinement objective and uses gradient exposure as a proxy for importance. Furthermore, representations may become particularly brittle in optimization-sensitive settings, such as when using discrete or quantized token representations. PRIOR replaces activation-rate control with log2-scaled levels and level-wise predictors. These predictors separate already explained from unexplained information, focusing each level on residual error. We compare PRIOR against MBOP-TD and independent tail-biased dropout (MBOP-ITD) in contrastive learning and image reconstruction tasks. Unlike the baselines, PRIOR learns well-ordered representations across experiments: low budgets provide coarse descriptors, while high budgets add refinements. Simultaneously, full-budget performance with PRIOR is higher in all but one experimental setting, where performance remains comparable. MBOP baselines are severely limited in discrete and quantized settings, while PRIOR approaches the performance of continuous counterparts. Taken together, these findings establish PRIOR as an effective framework for ordered representation learning.
• Abstract（参考訳）: 順序付けられたボトルネックは、初期トークンに粗い情報を割り当て、後のトークンにタスク関連の詳細を割り当てることで、柔軟な予算でユーティリティを提供することを目的としています。 テールドロップ (TD) を含む以前の作業では、一般的にはマスクベースの順序付け圧力 (MBOP) によって順序付けを強制している。 本稿では,MBOP固有の弱点に対処するフレームワークである順序表現(PRIOR)について,予測残差推定を導入する。 MBOPは、明示的な洗練目標が欠如しており、重要なプロキシとして勾配露光を使用するため、遅滞ユーティリティが弱い傾向にある。 さらに、離散化または量子化トークン表現を使用する場合など、最適化に敏感な設定では、表現が特に脆弱になる可能性がある。 PRIORはアクティベーションレート制御をlog2スケールレベルとレベルワイド予測器に置き換える。 これらの予測器は、既に説明されていない情報から説明されており、各レベルを残差に焦点を合わせている。 PRIOR と MBOP-TD と独立尾偏差ドロップアウト (MBOP-ITD) を比較した。 PRIORはベースラインと異なり、低予算は粗い記述子を提供し、高予算は洗練する。 同時に、PRIORによるフル予算のパフォーマンスは、1つの実験的な設定以外は高く、パフォーマンスは相変わらず同等である。 MBOPベースラインは離散的かつ量子化された設定で著しく制限され、PRIORは連続的な設定のパフォーマンスにアプローチする。 これらの知見を合わせて,PRIORを順序表現学習の効果的な枠組みとして確立した。

関連論文リスト

• Accelerating Multimodal Large Language Models with Prior-Corrected Token Reduction [42.23525789989544]
  MLLM(Multimodal Large Language Models)において、しばしば注意がモデルによって引き起こされる。 我々は,タスク条件付き注意をモデル誘発前と区別するために,事前補正トークン削減(PriorTR)を提案する。 PriorTRは、強いトレーニングのないベースラインよりも精度と効率のトレードオフを一貫して改善する。
  論文  参考訳（メタデータ） (2026-06-23T05:24:50Z)
• PriorNet: Prior-Guided Engagement Estimation from Face Video [53.005382593686356]
  パイプラインの3段階(前処理、モデル適応、客観的設計)でタスク関連事前処理を注入する事前ガイダンスフレームワークであるPresideerNetを提案する。 それぞれのデータセットのネイティブ評価プロトコルを用いて, EngageNet, DAiSEE, DREAMS, PAFE 上の PreorNet を評価する。
  論文  参考訳（メタデータ） (2026-05-05T10:40:20Z)
• RCP: Representation Consistency Pruner for Mitigating Distribution Shift in Large Vision-Language Models [24.3914653184824]
  LVLM(Large Vision-Language Models)は、言語デコーダによって処理される膨大な数の視覚トークンによって、推論の禁止コストに悩まされる。 既存のプルーニング法は、視覚トークンの可逆的な除去が、事前訓練されたフルトケン状態から逸脱した隠れ状態の分布シフトを引き起こすため、大きな性能劣化を引き起こすことが多い。 本稿では,累積的視覚トークンプルーニングと遅延修復機構を統合した一貫性表現プルーナを提案する。
  論文  参考訳（メタデータ） (2026-04-04T13:31:45Z)
• Reasoning as Compression: Unifying Budget Forcing via the Conditional Information Bottleneck [12.360124156284305]
  既存の「予算強制」手法は、本質的な推論と冗長なフィラーの両方を抑える。 Information Bottleneck (IB) の原理により, 効率的な推論を損失のある圧縮問題として再放送する。 単純トークンカウントに基づくアプローチとは対照的に,先行する言語モデルの下でトークンコストを代入的に測定するセマンティック・プリミティブを導入する。
  論文  参考訳（メタデータ） (2026-03-09T14:56:57Z)
• FrugalPrompt: Reducing Contextual Overhead in Large Language Models via Token Attribution [3.4666771782038652]
  大規模言語モデル(LLM)は、その恒星の性能の大部分を入力コンテキストの拡大に負っているが、そのような冗長性は金銭的コスト、炭素フットプリント、推論時間の遅延を膨らませている。 本稿では,LLMのための新しいプロンプト圧縮フレームワークであるFrugalPromptを紹介する。 我々は,4つのNLPタスク(感性分析,コモンセンスQA,要約,数学的推論)にまたがるアプローチを評価する。
  論文  参考訳（メタデータ） (2025-10-18T10:22:13Z)
• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters [54.01228554126122]
  視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。 推論コストを削減するために、LLM(Large Language Models)を縮小するか、イメージを表すのに必要な入力トークンの数を削減できる。 高速圧縮に適したトークン圧縮アルゴリズムを設計する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2024-11-05T18:54:21Z)
• Toward Understanding BERT-Like Pre-Training for DNA Foundation Models [78.48760388079523]
  既存のDNA配列の事前訓練方法は、NLPからのBERT事前訓練の直接的な採用に依存している。 マスク境界を連続的に拡張することにより,BERTライクな事前学習作業の難易度を徐々に向上させるRandomMaskという新しい手法を提案する。 RandomMaskは、マシューのエピジェネティック・マーク・予測の相関係数の68.16%を突破し、ベースラインの19.85%を突破した。
  論文  参考訳（メタデータ） (2023-10-11T16:40:57Z)
• An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction [84.49035467829819]
  我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。 我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
  論文  参考訳（メタデータ） (2020-05-01T23:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。