論文の概要: Contextual Feedback Loops: Amplifying Deep Reasoning with Iterative Top-Down Feedback

• arxiv url: http://arxiv.org/abs/2412.17737v4
• Date: Sun, 19 Jan 2025 17:15:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:15:46.503932
• Title: Contextual Feedback Loops: Amplifying Deep Reasoning with Iterative Top-Down Feedback
• Title（参考訳）: コンテキストフィードバックループ:反復的トップダウンフィードバックによる深い推論の増幅
• Authors: Jacob Fein-Ashley, Rajgopal Kannan, Viktor Prasanna,
• Abstract要約: ニューラルネットワークの以前のレイヤにトップダウンコンテキストを注入する手段として,EmphContextual Feedback Loops (CFL)を提案する。 CFLはモデル自身の出力信号をフィードバックとして再導入し、繰り返し行われる洗練されたサイクルを導出する。 我々は、コンテキストを低レベルの処理段階に投影することで、CFLは純粋にボトムアップ推論とよりダイナミックでフィードバック駆動の推論のギャップを埋めることを提案する。
• 参考スコア（独自算出の注目度）: 2.404163279345609
• License:
• Abstract: We propose \emph{Contextual Feedback Loops} (CFLs) as a simple yet effective way to infuse top-down context into earlier layers of a neural network. Unlike standard backpropagation, which only revisits network parameters based on how far predictions deviate from labels, CFLs \emph{directly} re-introduce the model's own output signals as feedback to guide repeated cycles of refinement. This mechanism is broadly applicable across architectures (e.g., CNNs and transformers), and empirical results show that iterative top-down feedback boosts the accuracy and coherence of the resulting representations. We suggest that by projecting context back into lower-level processing stages, CFLs bridge the gap between purely bottom-up inference and more dynamic, feedback-driven reasoning.
• Abstract（参考訳）: 我々は、ニューラルネットワークの以前の層にトップダウンコンテキストを注入する簡単な方法として、emph{Contextual Feedback Loops} (CFLs)を提案する。 CFLs \emph{directly} CFLs \emph{directly} は、リファインメントの繰り返しサイクルを導くフィードバックとして、モデル自身の出力信号を再導入する。 このメカニズムはアーキテクチャ(例えばCNNやトランスフォーマー)に広く適用でき、反復的なトップダウンフィードバックが結果の正確さと一貫性を高めることを示す実証的な結果が得られる。 我々は、コンテキストを低レベルの処理段階に投影することで、CFLは純粋にボトムアップ推論とよりダイナミックでフィードバック駆動の推論のギャップを埋めることを提案する。

関連論文リスト

• Vision-Language Model Fine-Tuning via Simple Parameter-Efficient Modification [46.25272949924458]
  VLMのパラメータの微調整は、CLIPモデルの微調整が性能を低下させるため、事前訓練された知識を損なうと考えられている。 ClipFitはCLIPを微調整する手法で、余分なパラメータのオーバーヘッドを発生させることなく提案する。 ClipFitが0ショットCLIPの性能を平均調和平均精度7.27%向上できることを実証した。
  論文  参考訳（メタデータ） (2024-09-25T08:07:18Z)
• RLVF: Learning from Verbal Feedback without Overgeneralization [94.19501420241188]
  本稿では,このような過度な一般化を伴わずに,言語フィードバックを取り入れることの課題について検討する。 制約付き選好最適化(C3PO)を用いた新しい文脈的批評手法を開発した。 提案手法は,他の文脈に対する既存行動を維持しながら,関連するシナリオに対して効果的な言語フィードバックを適用する。
  論文  参考訳（メタデータ） (2024-02-16T18:50:24Z)
• Layer-wise Representation Fusion for Compositional Generalization [26.771056871444692]
  合成一般化における失敗の主な理由は、エンコーダとデコーダの両方の最上層におけるシーケンスの構文的および意味的表現が絡み合っていることである。 トランスフォーマー層の下部から上部まで、表現の進化メカニズムを解析することにより、なぜそのメカニズムが存在するのかを説明する。 そこで我々は,従来のレイヤの情報を符号化・復号処理に融合させることを学習するCGのための新しい textbfLayer-wise textbfRepresentation textbfFusion フレームワークである LRF を提案する。
  論文  参考訳（メタデータ） (2023-07-20T12:01:40Z)
• Learning Sparse and Low-Rank Priors for Image Recovery via Iterative Reweighted Least Squares Minimization [12.487990897680422]
  本稿では,学習されたスパース制約と低ランク制約下での画像復元のための新しい最適化アルゴリズムを提案する。 提案アルゴリズムは、信号回復に使用されるIRLS(Iteratively Reweighted Least Squares)法を一般化する。 我々の再建結果は競争力が高く、多くの場合、既存の未登録ネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-04-20T17:59:45Z)
• Thunder: Thumbnail based Fast Lightweight Image Denoising Network [92.9631117239565]
  textbfThumbtextbfnail ベースの textbfDtextbfenoising Netwotextbfrk called Thunder が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T06:38:46Z)
• Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
  構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。 プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。 そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-25T05:30:26Z)
• Faster Convergence in Deep-Predictive-Coding Networks to Learn Deeper Representations [12.716429755564821]
  DPCN(Deep-Predictive-Coding Network)は、フィードフォワードとフィードバック接続に依存する階層的な生成モデルである。 DPCNの重要な要素は、動的モデルのスパース状態を明らかにする前向きの推論手順である。 我々は,加速近位勾配に基づく実験的および理論的収束性の向上した最適化戦略を提案する。
  論文  参考訳（メタデータ） (2021-01-18T02:30:13Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)
• A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
  本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。 既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。 移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T11:40:09Z)
• Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
  深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。 本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。 複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
  論文  参考訳（メタデータ） (2020-03-31T22:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。