論文の概要: Contextual Feedback Loops: Amplifying Deep Reasoning with Iterative Top-Down Feedback

• arxiv url: http://arxiv.org/abs/2412.17737v4
• Date: Sun, 19 Jan 2025 17:15:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:15:46.503932
• Title: Contextual Feedback Loops: Amplifying Deep Reasoning with Iterative Top-Down Feedback
• Title（参考訳）: コンテキストフィードバックループ:反復的トップダウンフィードバックによる深い推論の増幅
• Authors: Jacob Fein-Ashley, Rajgopal Kannan, Viktor Prasanna,
• Abstract要約: ニューラルネットワークの以前のレイヤにトップダウンコンテキストを注入する手段として,EmphContextual Feedback Loops (CFL)を提案する。 CFLはモデル自身の出力信号をフィードバックとして再導入し、繰り返し行われる洗練されたサイクルを導出する。 我々は、コンテキストを低レベルの処理段階に投影することで、CFLは純粋にボトムアップ推論とよりダイナミックでフィードバック駆動の推論のギャップを埋めることを提案する。
• 参考スコア（独自算出の注目度）: 2.404163279345609
• License:
• Abstract: We propose \emph{Contextual Feedback Loops} (CFLs) as a simple yet effective way to infuse top-down context into earlier layers of a neural network. Unlike standard backpropagation, which only revisits network parameters based on how far predictions deviate from labels, CFLs \emph{directly} re-introduce the model's own output signals as feedback to guide repeated cycles of refinement. This mechanism is broadly applicable across architectures (e.g., CNNs and transformers), and empirical results show that iterative top-down feedback boosts the accuracy and coherence of the resulting representations. We suggest that by projecting context back into lower-level processing stages, CFLs bridge the gap between purely bottom-up inference and more dynamic, feedback-driven reasoning.
• Abstract（参考訳）: 我々は、ニューラルネットワークの以前の層にトップダウンコンテキストを注入する簡単な方法として、emph{Contextual Feedback Loops} (CFLs)を提案する。 CFLs \emph{directly} CFLs \emph{directly} は、リファインメントの繰り返しサイクルを導くフィードバックとして、モデル自身の出力信号を再導入する。 このメカニズムはアーキテクチャ(例えばCNNやトランスフォーマー)に広く適用でき、反復的なトップダウンフィードバックが結果の正確さと一貫性を高めることを示す実証的な結果が得られる。 我々は、コンテキストを低レベルの処理段階に投影することで、CFLは純粋にボトムアップ推論とよりダイナミックでフィードバック駆動の推論のギャップを埋めることを提案する。

関連論文リスト

• Multi-path Exploration and Feedback Adjustment for Text-to-Image Person Retrieval [21.639455548282303]
  MeFaは、イントラとインターモーダルの本質的なフィードバックを探索して、ターゲットの調整を行うフレームワークである。 MeFaは、追加のデータや複雑な構造を必要とすることなく、優れた人物検索性能を実現する。
  論文  参考訳（メタデータ） (2024-10-26T03:25:27Z)
• Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL [29.01858866450715]
  ソフトQ-ラーニングを利用した最適なプロンプトを見つけることを目的としたRLPromptを提案する。 結果は有望な結果を示す一方で,プロンプトが不自然に現れることがしばしばあり,その解釈可能性を妨げることが確認されている。 この制限をスパルス・ツァリスエントロピー正規化(英語版)を用いて解決する。
  論文  参考訳（メタデータ） (2024-07-20T03:10:19Z)
• RLVF: Learning from Verbal Feedback without Overgeneralization [94.19501420241188]
  本稿では,このような過度な一般化を伴わずに,言語フィードバックを取り入れることの課題について検討する。 制約付き選好最適化(C3PO)を用いた新しい文脈的批評手法を開発した。 提案手法は,他の文脈に対する既存行動を維持しながら,関連するシナリオに対して効果的な言語フィードバックを適用する。
  論文  参考訳（メタデータ） (2024-02-16T18:50:24Z)
• Recursive Chain-of-Feedback Prevents Performance Degradation from Redundant Prompting [0.4662017507844857]
  本稿では,このような反復行動とその効果について,新しい設定,CoF(Chain-of-Feedback)を定義することによって検討する。 これらの問題を緩和するために、新しい手法、Recursive Chain-of-Feedback (R-CoF)を提案する。
  論文  参考訳（メタデータ） (2024-02-05T00:44:28Z)
• Repetition In Repetition Out: Towards Understanding Neural Text Degeneration from the Data Perspective [91.14291142262262]
  この研究は、データの観点から、単純で基本的な説明を提示する。 予備調査では, 退化問題とトレーニングデータにおける反復の有無との間には強い相関関係がみられた。 実験の結果,訓練データにおける繰り返しのペナルティ化は,より大きなモデルサイズや命令のチューニングを考慮しても重要な課題であることがわかった。
  論文  参考訳（メタデータ） (2023-10-16T09:35:42Z)
• Counterfactual Cross-modality Reasoning for Weakly Supervised Video Moment Localization [67.88493779080882]
  ビデオモーメントのローカライゼーションは、自然言語クエリに従って、未トリミングされたビデオのターゲットセグメントを取得することを目的としている。 最近の研究は、マスキングクエリの再構築によって引き起こされるモダリティの類似性とは対照的である。 提案手法は, 対実的相互モダリティ推論法である。
  論文  参考訳（メタデータ） (2023-08-10T15:45:45Z)
• Bayesian Recurrent Units and the Forward-Backward Algorithm [91.39701446828144]
  ベイズの定理を用いることで、ユニットワイド・リカレンスとフォワード・バックワードアルゴリズムに類似した後方再帰を導出する。 その結果得られたベイジアン再帰ユニットは、ディープラーニングフレームワーク内で再帰ニューラルネットワークとして統合することができる。 音声認識の実験は、最先端の繰り返しアーキテクチャの最後に派生したユニットを追加することで、訓練可能なパラメータの点で非常に低コストで性能を向上させることを示唆している。
  論文  参考訳（メタデータ） (2022-07-21T14:00:52Z)
• Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning [113.58691755215663]
  一般化と記憶のバランスをとるためにRetroPromptを開発した。 バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。 大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
  論文  参考訳（メタデータ） (2022-05-29T16:07:30Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。