論文の概要: Rotated, but How Far? Diagnosing and Improving Object-Rotation Reasoning in VLMs
- arxiv url: http://arxiv.org/abs/2610.05715v1
- Date: Mon, 05 Oct 2026 02:55:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 04:55:55.93837
- Title: Rotated, but How Far? Diagnosing and Improving Object-Rotation Reasoning in VLMs
- Title(参考訳): 回転するがどこまで遠いか : VLMにおける物体回転共鳴の診断と改善
- Abstract要約: 視覚言語モデル(VLM)は、オブジェクトがビュー全体にわたって回転したことを検出できるが、どれだけの量で確実に検出することはできない。
オーベンチ(OR-Bench)は、回転検出、回転の大きさ推定、多視点回転推論を含む8つのタスクからなる、オブジェクト回転推論のためのきめ細かいベンチマークである。
12個のVLMで最強のモデルが検出に100%の精度で接近するが、粗い大きさの推定もほぼ可能である。
- 参考スコア(独自算出の注目度): 50.97803715180649
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) can detect that an object has rotated across views, but cannot reliably tell by how much. We introduce OR-Bench, a fine-grained benchmark for object-rotation reasoning with eight tasks covering rotation detection, rotation magnitude estimation, and multi-view rotation reasoning. Across 12 VLMs, the gap is stark: the strongest models approach 100% accuracy on detection, yet even coarse magnitude estimation is near chance. When asked for exact angles, models place 91.8--100% of their predictions on just $0^\circ$, $90^\circ$, and $180^\circ$, a failure we term canonical-angle collapse. This collapse persists even without visual input. Representation probing shows that missing information is only part of the explanation. Although rotation information becomes less recoverable at finer granularity, substantial coarse-grained information remains, and a simple linear probe outperforms the models' generated answers. This suggests that VLMs underuse rotation information they already encode. We therefore propose RotationCue, a lightweight decoder that recovers coarse rotation information from the VLM's own frozen representations and feeds it back to the model as intermediate textual context. Across three VLMs, RotationCue improves every model--task combination on OR-Bench, raising macro-average accuracy by 7.9--12.6 points while preserving general capabilities.
- Abstract(参考訳): 視覚言語モデル(VLM)は、オブジェクトがビュー全体にわたって回転したことを検出できるが、どれだけの量で確実に検出することはできない。
オーベンチ(OR-Bench)は、回転検出、回転の大きさ推定、多視点回転推論を含む8つのタスクからなる、オブジェクト回転推論のためのきめ細かいベンチマークである。
最強のモデルは検出に100%の精度でアプローチするが、粗い大きさの推定もほぼ可能である。
正確な角度を求めると、モデルは予測の91.8-100%を0^\circ$、90^\circ$、180^\circ$に置きます。
この崩壊は視覚的な入力なしに継続する。
表現探索は、欠落した情報が説明の一部に過ぎないことを示している。
回転情報はよりきめ細かい粒度では回復しにくくなるが、かなりの粗い情報が残っており、単純な線形プローブはモデルが生成した回答より優れる。
これは、VLMが既にエンコードしている回転情報をアンダーユースしていることを示唆している。
そこで本研究では,VLMの凍結表現から粗い回転情報を復元し,中間テキストコンテキストとしてモデルにフィードバックする軽量デコーダであるRotationCueを提案する。
3つのVLM全体にわたって、RotationCueはOR-Bench上のすべてのモデル-タスクの組み合わせを改善し、マクロ平均精度を7.9~12.6ポイント向上させ、一般的な機能を維持する。
関連論文リスト
- Readable Yet Unpredictable: Rotated-Outcome Prediction in Vision-Language Models [82.10380665213867]
視覚言語モデルでは、オリジナルの画像だけで180回転を予測できるのか?
我々はこの能力について,回転アウトカム予測を用いて検討する。
現在の視覚言語モデルは、表示された時に変換された視覚状態を認識できるが、しばしば元のビューからその状態を予測できない。
論文 参考訳(メタデータ) (2026-06-01T14:16:09Z) - RotBench: Evaluating Multimodal Large Language Models on Identifying Image Rotation [59.830657530592255]
MLLM(Multimodal Large Language Models)は、0deg, 90deg, 180deg, 270degで回転した入力画像の向きを正確に識別する。
このタスクは、方向に関係なく、回転キューを検出し、画像内の空間的関係を文脈化するための堅牢な視覚的推論機能を必要とする。
GPT-5, o3, Gemini-2.5-Pro など,最先端のオープンかつプロプライエタリなMLLM が入力画像の回転を確実に識別できないことを示す。
論文 参考訳(メタデータ) (2025-08-19T15:58:25Z) - RIDE: Boosting 3D Object Detection for LiDAR Point Clouds via Rotation-Invariant Analysis [15.42293045246587]
RIDEは3D LiDAR-point-based object DEtectorの回転不変性の先駆的な探索である。
回転に敏感ではあるが幾何をよく保持できる2機能抽出器と、幾何情報をある程度失うが回転に頑健な回転不変特徴を抽出する。
我々のRIDEは互換性があり、既存の1段と2段の3D検出器に簡単に接続でき、検出性能と回転ロバスト性の両方を高めることができる。
論文 参考訳(メタデータ) (2024-08-28T08:53:33Z) - CRIN: Rotation-Invariant Point Cloud Analysis and Rotation Estimation
via Centrifugal Reference Frame [60.24797081117877]
CRIN,すなわち遠心回転不変ネットワークを提案する。
CRINは点の座標を直接入力として取り、局所点を回転不変表現に変換する。
点に基づく3次元回転の連続分布を導入する。
論文 参考訳(メタデータ) (2023-03-06T13:14:10Z) - RSDet++: Point-based Modulated Loss for More Accurate Rotated Object
Detection [53.57176614020894]
我々は、回転感度誤差(RSE)として、5パラメータと8パラメータの回転物体検出法の両方における損失の不連続性を分類する。
問題を軽減するために新しい変調された回転損失を導入し、回転感度検出ネットワーク(RSDet)を提案する。
10ピクセル未満のオブジェクトに対する本手法の精度をさらに向上するため,新しいRSDet++を提案する。
論文 参考訳(メタデータ) (2021-09-24T11:57:53Z) - ReDet: A Rotation-equivariant Detector for Aerial Object Detection [27.419045245853706]
これらの問題に対処するために、回転等変性検出器(ReDet)を提案する。
回転同変ネットワークを検出器に組み込んで回転同変特徴を抽出する。
本手法は,空中物体検出作業における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-03-13T15:37:36Z) - RotNet: Fast and Scalable Estimation of Stellar Rotation Periods Using
Convolutional Neural Networks [0.903415485511869]
深層学習の力を利用して、ケプラー光曲線から恒星の自転周期を遅らせる。
我々は、回転周期を推定する現在の標準である、ランダムな森林回帰器、1D CNN、自動相関関数(ACF)に対して、我々の手法をベンチマークする。
論文 参考訳(メタデータ) (2020-12-02T07:14:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。