論文の概要: Exploring perceptual straightness in learned visual representations

• arxiv url: http://arxiv.org/abs/2610.34678v1
• Date: Mon, 26 Oct 2026 01:16:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.66364
• Title: Exploring perceptual straightness in learned visual representations
• Title（参考訳）: 学習した視覚表現における知覚的直感の探索
• Abstract要約: 人間は、時間とともに進化する自然の視覚世界を表現するために「ストレート化」エンコーディングを使用していることが示されている。 直感は表現と安定性の計算容易な尺度であり、コンピュータビジョンモデルに有利な人間の表現の指標であることを示す。
• 参考スコア（独自算出の注目度）: 34.38291285230221
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans have been shown to use a "straightened" encoding to represent the natural visual world as it evolves in time (Hénaff et al. 2019). In the context of discrete video sequences, "straightened" means that changes between frames follow a more linear path in representation space at progressively deeper levels of processing. While deep convolutional networks are often proposed as models of human visual processing, many do not straighten natural videos. In this paper, we explore the relationship between network architecture, differing types of robustness, biologically-inspired filtering mechanisms, and representational straightness in response to time-varying input; we identify strengths and limitations of straightness as a useful way of evaluating neural network representations. We find that (1) adversarial training leads to straighter representations in both CNN and transformer-based architectures but (2) this effect is task-dependent, not generalizing to tasks such as segmentation and frame-prediction, where straight representations are not favorable for predictions; and nor to other types of robustness. In addition, (3) straighter representations impart temporal stability to class predictions, even for out-of-distribution data. Finally, (4) biologically-inspired elements increase straightness in the early stages of a network, but do not guarantee increased straightness in downstream layers of CNNs. We show that straightness is an easily computed measure of representational robustness and stability, as well as a hallmark of human representations with benefits for computer vision models.
• Abstract（参考訳）: 人間は時間とともに進化する自然の視覚世界を表現するために「海峡化」エンコーディングを使用していることが示されている(Hénaff et al 2019)。 離散的なビデオシーケンスの文脈において、「ストレート化」とは、フレーム間の変化が、より深い処理レベルにおいて、表現空間におけるより線形な経路に従うことを意味する。 深層畳み込みネットワークは人間の視覚処理のモデルとしてしばしば提案されるが、多くは自然ビデオのストレート化はしない。 本稿では,ニューラルネットワークの表現評価に有用な手法として,ネットワークアーキテクチャ,強靭性の種類,生物学的に着想を得たフィルタリング機構,および時間変化に対応する表現的直線性の関係について検討する。 1)CNNとトランスフォーマーベースアーキテクチャの両方において、対角的トレーニングはより直接的な表現につながるが、(2)この効果はタスク依存であり、セグメンテーションやフレーム予測といったタスクには一般化しない。 さらに、(3) より直線的な表現は、アウト・オブ・ディストリビューションデータであっても、クラス予測に時間的安定性を与える。 最後に, ネットワークの初期において, 生物学的にインスパイアされた要素は直線性を増加させるが, CNNの下流層では直線性の向上は保証されない。 直線性は、表現の堅牢性と安定性の簡易な計算尺度であり、コンピュータビジョンモデルに有利な人間の表現の指標であることを示す。

関連論文リスト

• AI-Generated Video Detection via Perceptual Straightening [10.189379841180285]
  本稿では,AI生成ビデオと自然を区別する新しい手法であるReStraVを提案する。 知覚的直交」仮説に着想を得て、モデルの表現領域における時間的曲率と段階的距離を定量化する。 我々の分析によると、AI生成ビデオは実際のビデオと比べて、曲率と距離のパターンがかなり異なる。
  論文  参考訳（メタデータ） (2025-07-01T09:04:21Z)
• Brain-like representational straightening of natural movies in robust feedforward neural networks [2.8749107965043286]
  表現の直線化(Representational straightening)とは、自然映画から撮影された一連のフレームの視覚的特徴表現の曲率を減少させることである。 入力画像中の雑音に対するロバスト性は、フィードフォワードニューラルネットワークにおいて表現的ストレート化をもたらす。
  論文  参考訳（メタデータ） (2023-08-26T13:04:36Z)
• Direct Embedding of Temporal Network Edges via Time-Decayed Line Graphs [51.51417735550026]
  時間的ネットワーク上での機械学習の方法は、一般的に2つの制限のうちの少なくとも1つを示す。 ネットワークのライングラフは,各インタラクションのノードを含むもので,インタラクション間の時間差に基づいて,このグラフのエッジを重み付けする。 実世界のネットワークにおける実験結果から,エッジ分類と時間リンク予測の両方において,本手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2022-09-30T18:24:13Z)
• Dynamic Spatial Sparsification for Efficient Vision Transformers and Convolutional Neural Networks [88.77951448313486]
  視覚データにおける空間空間空間性を利用したモデルアクセラレーションのための新しい手法を提案する。 本稿では,冗長トークンを具現化する動的トークンスペーシフィケーションフレームワークを提案する。 提案手法は,CNNや階層型視覚変換器などの階層モデルに拡張する。
  論文  参考訳（メタデータ） (2022-07-04T17:00:51Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Local Frequency Domain Transformer Networks for Video Prediction [24.126513851779936]
  ビデオ予測は、現実世界の視覚的変化を予想するだけでなく、何よりも、教師なしの学習規則として登場した。 本稿では,解釈性を維持しつつ,これらのタスクを別々に実行することのできる,完全微分可能なビルディングブロックを提案する。
  論文  参考訳（メタデータ） (2021-05-10T19:48:42Z)
• Dynamic Inference: A New Approach Toward Efficient Video Action Recognition [69.9658249941149]
  ビデオにおけるアクション認識は近年大きな成功を収めているが、膨大な計算コストのために依然として難しい課題である。 本稿では,異なるビデオの識別可能性の変動を利用して,推論効率を向上させるための一般的な動的推論手法を提案する。
  論文  参考訳（メタデータ） (2020-02-09T11:09:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。