論文の概要: Human-Guided Complexity-Controlled Abstractions

• arxiv url: http://arxiv.org/abs/2310.17550v1
• Date: Thu, 26 Oct 2023 16:45:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 19:07:28.887698
• Title: Human-Guided Complexity-Controlled Abstractions
• Title（参考訳）: 人間誘導複雑度制御抽象化
• Authors: Andi Peng, Mycal Tucker, Eoin Kenny, Noga Zaslavsky, Pulkit Agrawal, Julie Shah
• Abstract要約: 我々は、離散表現のスペクトルを生成し、複雑さを制御するためにニューラルネットワークを訓練する。 タスクに適した複雑性レベルに表現をチューニングすることは、最高の微調整性能をサポートすることを示す。 以上の結果から,人間の洞察を生かしてモデルファインタニングを迅速化するための有望な方向性が示唆された。
• 参考スコア（独自算出の注目度）: 30.38996929410352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks often learn task-specific latent representations that fail to generalize to novel settings or tasks. Conversely, humans learn discrete representations (i.e., concepts or words) at a variety of abstraction levels (e.g., ``bird'' vs. ``sparrow'') and deploy the appropriate abstraction based on task. Inspired by this, we train neural models to generate a spectrum of discrete representations, and control the complexity of the representations (roughly, how many bits are allocated for encoding inputs) by tuning the entropy of the distribution over representations. In finetuning experiments, using only a small number of labeled examples for a new task, we show that (1) tuning the representation to a task-appropriate complexity level supports the highest finetuning performance, and (2) in a human-participant study, users were able to identify the appropriate complexity level for a downstream task using visualizations of discrete representations. Our results indicate a promising direction for rapid model finetuning by leveraging human insight.
• Abstract（参考訳）: ニューラルネットワークはしばしば、新しい設定やタスクに一般化できないタスク固有の潜在表現を学ぶ。 逆に、人間は様々な抽象レベル(例えば ``bird'' 対 ``sparrow'')で離散表現(概念や言葉)を学び、タスクに基づいた適切な抽象化をデプロイする。 これにより、ニューラルネットワークを訓練して離散表現のスペクトルを生成し、表現上の分布のエントロピーをチューニングすることにより、表現の複雑さ(入力を符号化するために割り当てられるビット数)を制御する。 微調整実験では,新しいタスクのラベル付き例のみを用いて,(1)タスクに適した複雑性レベルへの表現のチューニングが最高の微調整性能をサポートすること,(2)人間参加型研究では,個別表現の可視化を用いて下流タスクの適切な複雑さレベルを識別できることを示した。 結果は,人間の洞察を活かし,迅速なモデルの微調整に有望な方向を示す。

関連論文リスト

• VisualPredicator: Learning Abstract World Models with Neuro-Symbolic Predicates for Robot Planning [86.59849798539312]
  本稿では,記号的・神経的知識表現の強みを組み合わせた一階抽象言語Neuro-Symbolic Predicatesを提案する。 提案手法は, サンプルの複雑さの向上, 分布外一般化の強化, 解釈可能性の向上を実現する。
  論文  参考訳（メタデータ） (2024-10-30T16:11:05Z)
• Gradient-based inference of abstract task representations for generalization in neural networks [5.794537047184604]
  ニューラルネットワークを介してタスク表現層に逆伝播する勾配は、現在のタスク要求を推測する効率的な方法であることを示す。 勾配に基づく推論は、学習効率の向上と、新しいタスクや制限への一般化をもたらすことを実証する。
  論文  参考訳（メタデータ） (2024-07-24T15:28:08Z)
• Interpretable time series neural representation for classification purposes [3.1201323892302444]
  提案したモデルは、一貫した、離散的で、解釈可能で、可視化可能な表現を生成する。 実験の結果,提案したモデルでは,複数のデータセットに対する他の解釈可能なアプローチよりも平均的に優れた結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-25T15:06:57Z)
• Complexity of Representations in Deep Learning [2.0219767626075438]
  データ複雑性の観点からクラスを分離する際の学習表現の有効性を分析する。 データ複雑性がネットワークを通じてどのように進化するか、トレーニング中にどのように変化するのか、そして、ネットワーク設計とトレーニングサンプルの可用性によってどのように影響を受けるのかを示す。
  論文  参考訳（メタデータ） (2022-09-01T15:20:21Z)
• SeqTR: A Simple yet Universal Network for Visual Grounding [88.03253818868204]
  本稿では,視覚的接地作業のためのシンプルな汎用ネットワークSeqTRを提案する。 画像とテキストの入力を条件とした点予測問題として,視覚的グラウンドリングを行った。 このパラダイムの下では、視覚的なグラウンドタスクはタスク固有のブランチやヘッドなしでSeqTRネットワークに統合されます。
  論文  参考訳（メタデータ） (2022-03-30T12:52:46Z)
• Explaining, Evaluating and Enhancing Neural Networks' Learned Representations [2.1485350418225244]
  より効率的で効率的な表現への障害ではなく、いかに説明可能性が助けになるかを示す。 我々は,2つの新しいスコアを定義して,潜伏埋め込みの難易度と難易度を評価する。 表現学習課題の訓練において,提案したスコアを制約として採用することで,モデルの下流性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T19:00:01Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)
• Differentiable Multi-Granularity Human Representation Learning for Instance-Aware Human Semantic Parsing [131.97475877877608]
  カテゴリーレベルの人間のセマンティックセグメンテーションとマルチパーソンポーズ推定を共同およびエンドツーエンドで学習するために,新たなボトムアップ方式を提案する。 さまざまな人間の粒度にわたって構造情報を利用する、コンパクトで効率的で強力なフレームワークです。 3つのインスタンス認識型ヒューマンデータセットの実験は、我々のモデルがより効率的な推論で他のボトムアップの代替案よりも優れていることを示している。
  論文  参考訳（メタデータ） (2021-03-08T06:55:00Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。