論文の概要: Falcon Perception-HD: High Density Perception via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.18881v1
• Date: Wed, 19 Aug 2026 13:01:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.403274
• Title: Falcon Perception-HD: High Density Perception via Reinforcement Learning
• Title（参考訳）: Falcon Perception-HD:強化学習による高密度知覚
• Abstract要約: 訓練後の強化学習は、自己回帰知覚モデルと評価指標を一致させることができる。 複雑な参照表現と非常に密集したシーンに適した2つのハイブリッド自己アノテーションパイプラインを構築した。 偽陰性と正を罰する単純な報奨が十分であることを示す。
• 参考スコア（独自算出の注目度）: 17.45540959731451
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive perception models trained to localize visual entities under the open-vocabulary setting are mostly trained using Supervised fine-tuning (SFT) with maximum likelihood, yet it optimizes a proxy objective (per-token cross-entropy) that is fundamentally misaligned with perception metrics such as precision and recall. In this paper, we explore post-training reinforcement learning (RL), specifically GRPO, to directly align these models with their evaluation metrics. Building up on the recently introduced Falcon Perception, we design an RL framework that addresses perception-specific challenges: reward design for set-structured outputs and multi-head sampling control. We discover multiple benefits from RL for perception: first, RL unlocks state-of-the-art performance in very dense scenes (up to 500 objects per scene), a regime where most existing systems degrade sharply or collapse; furthermore it fixes common issues in autoregressive perception models like mask repetitions and removes almost entirely the need for NMS and coordinate deduplication, which improve both performance and efficiency and remove the need for hyperparameters tuning; overall, we notice improvements on all levels of difficulties in referring expression segmentation (on PBench and SACO-Gold), and we find an elegant way to preserve the knowledge of whether an object exists or not (as evaluated by MCC) without training on negative samples. We show that a simple reward that penalizes false negatives and positives is sufficient. We develop two hybrid self-annotation pipelines, respectively tailored for difficult referring expressions and very dense scenes, and show their benefits on RL-training. Model weights are released as a Falcon Perception revision~\footnote{https://huggingface.co/tiiuae/Falcon-Perception}. Datasets will be published.
• Abstract（参考訳）: オープンボキャブラリ設定下で視覚エンティティをローカライズするために訓練された自己回帰知覚モデルは、最大限の精度でスーパーバイザード・ファインチューニング(SFT)を用いて訓練されるが、基本的には精度やリコールのような知覚指標と一致しないプロキシ目的(個別のクロスエントロピー)を最適化する。 本稿では,実験後強化学習(RL),特にGRPOについて検討し,これらのモデルと評価指標を直接整合させる。 最近導入されたFalcon Perceptionに基づいて、私たちは認識固有の課題に対処するRLフレームワークを設計しました。 まず、RLは、非常に密集したシーン(シーン当たり最大500オブジェクト)における最先端のパフォーマンスをアンロックし、ほとんどの既存のシステムが急激な劣化または崩壊する体制、さらに、マスクの繰り返しのような自己回帰的知覚モデルにおける一般的な問題を修正し、NMSと座標の重複をほぼ完全に取り除き、パフォーマンスと効率性の両方を改善し、ハイパーパラメータチューニングの必要性を排除し、全体として、表現セグメンテーション(PBenchとSACO-Gold)を参照することの難しさのすべてのレベルの改善に気付き、負のサンプルをトレーニングせずにオブジェクトが存在するかどうか(MCCが評価したように)の知識を維持するためのエレガントな方法を見つけます。 偽陰性と正を罰する単純な報奨が十分であることを示す。 2つのハイブリッドな自己アノテーションパイプラインを開発し,RL学習に有効であることを示す。 モデルウェイトはFalcon Perception revision~\footnote{https://huggingface.co/tiiuae/Falcon-Perception}としてリリースされる。 データセットが公開される。

関連論文リスト

• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Improving Vision-language Models with Perception-centric Process Reward Models [94.51962346430248]
  トークンレベルのエラーグラウンドを可能にするプロセス報酬モデル(PRM)であるPercevalを提案する。 Percevalは、知覚集約的な教師付きトレーニングデータで訓練される。 次に、ポリシーモデルをトレーニングするために、PercevalをRLトレーニングプロセスに統合します。
  論文  参考訳（メタデータ） (2026-04-27T15:08:02Z)
• RCP: Representation Consistency Pruner for Mitigating Distribution Shift in Large Vision-Language Models [24.3914653184824]
  LVLM(Large Vision-Language Models)は、言語デコーダによって処理される膨大な数の視覚トークンによって、推論の禁止コストに悩まされる。 既存のプルーニング法は、視覚トークンの可逆的な除去が、事前訓練されたフルトケン状態から逸脱した隠れ状態の分布シフトを引き起こすため、大きな性能劣化を引き起こすことが多い。 本稿では,累積的視覚トークンプルーニングと遅延修復機構を統合した一貫性表現プルーナを提案する。
  論文  参考訳（メタデータ） (2026-04-04T13:31:45Z)
• Detect Anything via Next Point Prediction [51.55967987350882]
  Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。 COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
  論文  参考訳（メタデータ） (2025-10-14T17:59:54Z)
• ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs [32.13266235550995]
  強化学習(RL)は、大規模言語モデル(LLM)の標準化の標準パラダイムとなっている。 人間の学習から得られた観察から着想を得て、検証可能な結果とモデル自身の信頼度推定を統合するRL手法を導入する。
  論文  参考訳（メタデータ） (2025-09-22T13:00:35Z)
• Train Once, Forget Precisely: Anchored Optimization for Efficient Post-Hoc Unlearning [0.0]
  深層画像分類器におけるポストホックアンラーニングのための理論的基礎と計算効率のよいフレームワークであるtextbfForget-Aligned Model Reconstruction (FAMR) を導入する。 FAMRフレームは、モデルパラメータを元の値に固定しながら、忘れセット上の均一な予測損失を最小限に抑える制約付き最適化問題である。 CIFAR-10とImageNet-100 FAMRによるクラス忘れタスクの実証的な結果が得られた。
  論文  参考訳（メタデータ） (2025-06-17T13:40:48Z)
• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
  我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。 私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。 経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2024-02-01T17:10:35Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。