論文の概要: Contextual Feedback Loops: Amplifying Deep Reasoning with Iterative Top-Down Feedback

• arxiv url: http://arxiv.org/abs/2412.17737v5
• Date: Mon, 27 Jan 2025 17:14:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 20:37:52.245069
• Title: Contextual Feedback Loops: Amplifying Deep Reasoning with Iterative Top-Down Feedback
• Title（参考訳）: コンテキストフィードバックループ:反復的トップダウンフィードバックによる深い推論の増幅
• Authors: Jacob Fein-Ashley, Rajgopal Kannan, Viktor Prasanna,
• Abstract要約: 提案するEmphContextual Feedback Loops (CFLs) は,従来のレイヤにトップダウンコンテキストを再注入して反復的な改善を行う軽量なメカニズムである。 CFLはフィードフォワードとフィードバック駆動推論を統合することで、トップレベルのアウトプットが低レベルの機能を継続的に洗練します。 CIFAR-10、ImageNet-1k、SpeechCommands、GLUE SST-2などのタスクで一貫したゲインを得る。
• 参考スコア（独自算出の注目度）: 2.404163279345609
• License:
• Abstract: Conventional deep networks rely on one-way backpropagation that overlooks reconciling high-level predictions with lower-level representations. We propose \emph{Contextual Feedback Loops} (CFLs), a lightweight mechanism that re-injects top-down context into earlier layers for iterative refinement. Concretely, CFLs map the network's prediction to a compact \emph{context vector}, which is fused back into each layer via gating adapters. Unrolled over multiple feedback steps, CFLs unify feed-forward and feedback-driven inference, letting top-level outputs continually refine lower-level features. Despite minimal overhead, CFLs yield consistent gains on tasks including CIFAR-10, ImageNet-1k, SpeechCommands, and GLUE SST-2. Moreover, by a Banach Fixed Point argument under mild Lipschitz conditions, these updates converge stably. Overall, CFLs show that even modest top-down feedback can substantially improve deep models, aligning with cognitive theories of iterative perception.
• Abstract（参考訳）: 従来のディープネットワークは、高レベルの予測と低レベルの表現との整合性を見落としている一方通行のバックプロパゲーションに依存している。 本稿では,従来の階層にトップダウンコンテキストを再注入する軽量なメカニズムである「emph{Contextual Feedback Loops} (CFLs)」を提案する。 具体的には、CFLはネットワークの予測をコンパクトな \emph{context vector} にマッピングし、ゲーティングアダプタを介して各層に融合する。 複数のフィードバックステップにアンロールされたCFLは、フィードフォワードとフィードバック駆動推論を統一し、トップレベルのアウトプットが下位レベルの機能を継続的に改善する。 オーバーヘッドは最小限だが、CFLはCIFAR-10、ImageNet-1k、SpeechCommands、GLUE SST-2などのタスクで一貫したゲインを得る。 さらに、緩やかなリプシッツ条件下でのバナッハ固定点の議論により、これらの更新は安定に収束する。 全体として、CFLは、控えめなトップダウンフィードバックでさえ、反復的知覚の認知理論と整合して、ディープモデルを大幅に改善できることを示している。

関連論文リスト

• Vision-Language Model Fine-Tuning via Simple Parameter-Efficient Modification [46.25272949924458]
  VLMのパラメータの微調整は、CLIPモデルの微調整が性能を低下させるため、事前訓練された知識を損なうと考えられている。 ClipFitはCLIPを微調整する手法で、余分なパラメータのオーバーヘッドを発生させることなく提案する。 ClipFitが0ショットCLIPの性能を平均調和平均精度7.27%向上できることを実証した。
  論文  参考訳（メタデータ） (2024-09-25T08:07:18Z)
• RLVF: Learning from Verbal Feedback without Overgeneralization [94.19501420241188]
  本稿では,このような過度な一般化を伴わずに,言語フィードバックを取り入れることの課題について検討する。 制約付き選好最適化(C3PO)を用いた新しい文脈的批評手法を開発した。 提案手法は,他の文脈に対する既存行動を維持しながら,関連するシナリオに対して効果的な言語フィードバックを適用する。
  論文  参考訳（メタデータ） (2024-02-16T18:50:24Z)
• Layer-wise Representation Fusion for Compositional Generalization [26.771056871444692]
  合成一般化における失敗の主な理由は、エンコーダとデコーダの両方の最上層におけるシーケンスの構文的および意味的表現が絡み合っていることである。 トランスフォーマー層の下部から上部まで、表現の進化メカニズムを解析することにより、なぜそのメカニズムが存在するのかを説明する。 そこで我々は,従来のレイヤの情報を符号化・復号処理に融合させることを学習するCGのための新しい textbfLayer-wise textbfRepresentation textbfFusion フレームワークである LRF を提案する。
  論文  参考訳（メタデータ） (2023-07-20T12:01:40Z)
• Learning Sparse and Low-Rank Priors for Image Recovery via Iterative Reweighted Least Squares Minimization [12.487990897680422]
  本稿では,学習されたスパース制約と低ランク制約下での画像復元のための新しい最適化アルゴリズムを提案する。 提案アルゴリズムは、信号回復に使用されるIRLS(Iteratively Reweighted Least Squares)法を一般化する。 我々の再建結果は競争力が高く、多くの場合、既存の未登録ネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-04-20T17:59:45Z)
• Thunder: Thumbnail based Fast Lightweight Image Denoising Network [92.9631117239565]
  textbfThumbtextbfnail ベースの textbfDtextbfenoising Netwotextbfrk called Thunder が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T06:38:46Z)
• Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
  構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。 プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。 そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-25T05:30:26Z)
• Faster Convergence in Deep-Predictive-Coding Networks to Learn Deeper Representations [12.716429755564821]
  DPCN(Deep-Predictive-Coding Network)は、フィードフォワードとフィードバック接続に依存する階層的な生成モデルである。 DPCNの重要な要素は、動的モデルのスパース状態を明らかにする前向きの推論手順である。 我々は,加速近位勾配に基づく実験的および理論的収束性の向上した最適化戦略を提案する。
  論文  参考訳（メタデータ） (2021-01-18T02:30:13Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)
• A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
  本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。 既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。 移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T11:40:09Z)
• Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
  深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。 本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。 複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
  論文  参考訳（メタデータ） (2020-03-31T22:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。