論文の概要: Attention when you need

• arxiv url: http://arxiv.org/abs/2501.07440v1
• Date: Mon, 13 Jan 2025 16:08:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:22:48.938251
• Title: Attention when you need
• Title（参考訳）: 必要なときの注意
• Authors: Lokesh Boominathan, Yizhou Chen, Matthew McGinley, Xaq Pitkow,
• Abstract要約: タスク関連機能に注意を払っていると、タスクのパフォーマンスが向上するが、注意を払うには、独自のメタボリックコストが伴う。 本研究は,マウスの強化学習に基づく規範モデルを構築し,その利点と注意コストのバランスについて考察する。
• 参考スコア（独自算出の注目度）: 8.925919456992279
• License:
• Abstract: Being attentive to task-relevant features can improve task performance, but paying attention comes with its own metabolic cost. Therefore, strategic allocation of attention is crucial in performing the task efficiently. This work aims to understand this strategy. Recently, de Gee et al. conducted experiments involving mice performing an auditory sustained attention-value task. This task required the mice to exert attention to identify whether a high-order acoustic feature was present amid the noise. By varying the trial duration and reward magnitude, the task allows us to investigate how an agent should strategically deploy their attention to maximize their benefits and minimize their costs. In our work, we develop a reinforcement learning-based normative model of the mice to understand how it balances attention cost against its benefits. The model is such that at each moment the mice can choose between two levels of attention and decide when to take costly actions that could obtain rewards. Our model suggests that efficient use of attentional resources involves alternating blocks of high attention with blocks of low attention. In the extreme case where the agent disregards sensory input during low attention states, we see that high attention is used rhythmically. Our model provides evidence about how one should deploy attention as a function of task utility, signal statistics, and how attention affects sensory evidence.
• Abstract（参考訳）: タスク関連機能に注意を払っていると、タスクのパフォーマンスが向上するが、注意を払うには、独自のメタボリックコストが伴う。 したがって、効果的にタスクを実行するためには、注意の戦略的割り当てが不可欠である。 この仕事は、この戦略を理解することを目的としている。 最近、De Geeらは、聴覚を持続する注意-価値タスクを実行するマウスに関する実験を行った。 この作業では、マウスはノイズの中で高次音響特性が存在するかどうかを判断するために注意を払わなければならなかった。 試行期間と報酬の規模を変えることで、エージェントが彼らの利益を最大化し、コストを最小限に抑えるために、どのように戦略的に注意を配置すべきかを調査することができる。 本研究は,マウスの注意コストと利益とのバランスを理解するために,強化学習に基づく規範モデルを構築した。 このモデルでは、マウスは各瞬間に2つの注意レベルを選択し、報酬を得るためのコストの高いアクションをいつ行うかを決定することができる。 本モデルでは,注目資源の効率的な利用には,注目度の高いブロックと注目度の高いブロックを交互に交互に行うことが示唆されている。 低注意状態においてエージェントが感覚入力を無視する極端な場合、高い注意がリズム的に使用されることが分かる。 本モデルでは,タスクユーティリティの機能として注意をどう展開すべきか,信号統計,注意が感覚的証拠にどのように影響するかを示す。

関連論文リスト

• On the Surprising Effectiveness of Attention Transfer for Vision Transformers [118.83572030360843]
  従来の知恵は、事前学習型視覚変換器(ViT)が有用な表現を学習することで、下流のパフォーマンスを向上させることを示唆している。 予備学習で学んだ特徴や表現は必須ではない。
  論文  参考訳（メタデータ） (2024-11-14T18:59:40Z)
• Attention Schema in Neural Agents [66.43628974353683]
  認知神経科学において、注意理論(AST)は、注意をASと区別する考え方を支持している。 ASTは、エージェントが自身のASを使用して他のエージェントの注意の状態を推測できると予測する。 我々は、注意とASが相互に相互作用する様々な方法を探求する。
  論文  参考訳（メタデータ） (2023-05-27T05:40:34Z)
• Top-Down Visual Attention from Analysis by Synthesis [87.47527557366593]
  我々は、古典的分析・合成(AbS)の視覚的視点からトップダウンの注意を考察する。 本稿では,AbSを変動的に近似したトップダウン変調ViTモデルであるAbSViT(Analytic-by-Synthesis Vision Transformer)を提案する。
  論文  参考訳（メタデータ） (2023-03-23T05:17:05Z)
• Do Transformer Models Show Similar Attention Patterns to Task-Specific Human Gaze? [0.0]
  最先端のNLPモデルにおける自己注意機能は、人間の注意と相関することが多い。 本研究では、大規模事前学習言語モデルにおける自己注意が、人間の注意の古典的認知モデルとしての課題読解における人間の眼球固定パターンの予測であるかどうかを検討する。
  論文  参考訳（メタデータ） (2022-04-25T08:23:13Z)
• Attention in Reasoning: Dataset, Analysis, and Modeling [31.3104693230952]
  本稿では,タスクの成果につながるプロセスを理解し,改善するために注意を向けたAttention with Reasoning(AiR)フレームワークを提案する。 まず,原子推論操作のシーケンスに基づいて評価基準を定義し,注意度を定量的に測定する。 次に、人間の視線追跡と正当性データを収集し、その推論能力に基づいて、様々な機械および人間の注意機構を解析する。
  論文  参考訳（メタデータ） (2022-04-20T20:32:31Z)
• Attention cannot be an Explanation [99.37090317971312]
  私たちは、人間の信頼と信頼を高める上で、注意に基づく説明がどの程度効果的か尋ねる。 我々は,注意に基づく説明が適している程度を質的かつ定量的に評価することを目的とした広範囲な人間実験を行った。 実験の結果,注意は説明として利用できないことが明らかとなった。
  論文  参考訳（メタデータ） (2022-01-26T21:34:05Z)
• Counterfactual Attention Learning for Fine-Grained Visual Categorization and Re-identification [101.49122450005869]
  本稿では,因果推論に基づくより効果的な注意力学習法を提案する。 具体的には,学習した視覚的注意がネットワーク予測に与える影響を分析する。 本手法は,広範囲の粒度認識タスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-08-19T14:53:40Z)
• Understanding top-down attention using task-oriented ablation design [0.22940141855172028]
  トップダウンの注目により、ニューラルネットワークは、人工的および生物学的の両方において、与えられたタスクに最も関連性の高い情報に集中することができる。 我々は,タスク指向アブレーション設計と呼ばれる一般的なフレームワークに基づく計算実験により,この問題に対処することを目指している。 2つのニューラルネットワークの性能を比較する。
  論文  参考訳（メタデータ） (2021-06-08T21:01:47Z)
• Joint Attention for Multi-Agent Coordination and Social Learning [108.31232213078597]
  共同注意がマルチエージェント協調とソーシャルラーニングを改善するメカニズムとして有用であることを示す。 共同の注意は、複数の環境にまたがる競争集中型批評家のベースラインよりも高いパフォーマンスをもたらす。 これらの結果から,共同注意は多エージェント学習に有用な帰納的バイアスである可能性が示唆された。
  論文  参考訳（メタデータ） (2021-04-15T20:14:19Z)
• AiR: Attention with Reasoning Capability [31.3104693230952]
  本稿では,タスクの成果につながるプロセスを理解し,改善するために注意を向けたAttention with Reasoning(AiR)フレームワークを提案する。 まず,原子的推論処理のシーケンスに基づいて評価基準を定義し,推論過程を考慮した注意度の測定を可能にする。 次に、人間の視線追跡と正当性データを収集し、その推論能力とそれがタスクパフォーマンスに与える影響について、さまざまなマシンおよび人間の注意を解析する。
  論文  参考訳（メタデータ） (2020-07-28T18:09:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。