論文の概要: LLC: Accurate, Multi-purpose Learnt Low-dimensional Binary Codes

• arxiv url: http://arxiv.org/abs/2106.01487v1
• Date: Wed, 2 Jun 2021 21:57:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 16:27:10.951695
• Title: LLC: Accurate, Multi-purpose Learnt Low-dimensional Binary Codes
• Title（参考訳）: LLC: 正確な多目的学習低次元バイナリコード
• Authors: Aditya Kusupati, Matthew Wallingford, Vivek Ramanujan, Raghav Somani, Jae Sung Park, Krishna Pillutla, Prateek Jain, Sham Kakade, Ali Farhadi
• Abstract要約: 本稿では,クラスだけでなくインスタンスの低次元バイナリコード(LLC)を学習するための新しい手法を提案する。 アノテーション付き属性やラベルメタデータなど,副作用は一切不要です。 学習したコードは、クラスに対して直感的な分類法を発見することによって、データの中で本質的に重要な特徴をキャプチャすることを示した。
• 参考スコア（独自算出の注目度）: 55.32790803903619
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning binary representations of instances and classes is a classical problem with several high potential applications. In modern settings, the compression of high-dimensional neural representations to low-dimensional binary codes is a challenging task and often require large bit-codes to be accurate. In this work, we propose a novel method for Learning Low-dimensional binary Codes (LLC) for instances as well as classes. Our method does not require any side-information, like annotated attributes or label meta-data, and learns extremely low-dimensional binary codes (~20 bits for ImageNet-1K). The learnt codes are super-efficient while still ensuring nearly optimal classification accuracy for ResNet50 on ImageNet-1K. We demonstrate that the learnt codes capture intrinsically important features in the data, by discovering an intuitive taxonomy over classes. We further quantitatively measure the quality of our codes by applying it to the efficient image retrieval as well as out-of-distribution (OOD) detection problems. For ImageNet-100 retrieval problem, our learnt binary codes outperform 16 bit HashNet using only 10 bits and also are as accurate as 10 dimensional real representations. Finally, our learnt binary codes can perform OOD detection, out-of-the-box, as accurately as a baseline that needs ~3000 samples to tune its threshold, while we require none. Code and pre-trained models are available at https://github.com/RAIVNLab/LLC.
• Abstract（参考訳）: インスタンスとクラスのバイナリ表現を学ぶことは、いくつかの高ポテンシャルアプリケーションを持つ古典的な問題である。 現代の設定では、高次元のニューラル表現を低次元のバイナリコードに圧縮することは難しい作業であり、しばしば大きなビットコードが必要である。 本稿では,インスタンスやクラスに対して,低次元バイナリコード(llc)を学習するための新しい手法を提案する。 本手法では,アノテート属性やラベルメタデータなどのサイド情報を必要としないため,超低次元バイナリコード(ImageNet-1Kでは約20ビット)を学習する。 学習したコードは超効率的であり、ImageNet-1K上のResNet50のほぼ最適な分類精度を保証している。 学習したコードは、クラスを直感的に分類することで、データの中で本質的に重要な特徴を捉える。 さらに,効率的な画像検索やoed(out-of-distribution)検出問題に適用することにより,コードの品質を定量的に測定する。 imagenet-100検索問題では、学習したバイナリコードは10ビットのみを使用して16ビットハッシュネットを上回り、10次元の実表現と同じくらい正確である。 最後に、学習したバイナリコードは、しきい値を調整するのに3000近いサンプルを必要とするベースラインと同じくらい正確にood検出を実行できます。 コードと事前訓練されたモデルはhttps://github.com/RAIVNLab/LLC.comで入手できる。

関連論文リスト

• How Far Have We Gone in Stripped Binary Code Understanding Using Large Language Models [51.527805834378974]
  バイナリコード理解におけるLarge Language Models(LLM)の有効性を評価するためのベンチマークを提案する。 評価の結果、既存のLLMはバイナリコードをある程度理解でき、それによってバイナリコード解析の効率が向上することが明らかとなった。
  論文  参考訳（メタデータ） (2024-04-15T14:44:08Z)
• SkCoder: A Sketch-based Approach for Automatic Code Generation [44.39900916450189]
  そこで我々は,SkCoderというスケッチベースのコード生成手法を提案する。 自然言語の要件が与えられたら、SkCoderは同様のコードスニペットを取得し、コードスケッチとして関連する部分を抽出し、スケッチを所望のコードに編集する。 実験結果によると、SkCoderはより正確なプログラムを生成でき、3つのデータセットで最先端のCodeT5ベースを30.30%、35.39%、29.62%上回っている。
  論文  参考訳（メタデータ） (2023-02-13T07:05:39Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)
• Rate Coding or Direct Coding: Which One is Better for Accurate, Robust, and Energy-efficient Spiking Neural Networks? [4.872468969809081]
  スパイキングニューラルネットワーク(SNN)は画像分類タスクに重点を置いているため、画像を時間的バイナリスパイクに変換するための様々なコーディング技術が提案されている。 これらのうち、レートコーディングとダイレクトコーディングは、実用的なSNNシステムを構築するための候補として期待されている。 我々は3つの視点から2つの符号化を包括的に分析する。
  論文  参考訳（メタデータ） (2022-01-31T16:18:07Z)
• InferCode: Self-Supervised Learning of Code Representations by Predicting Subtrees [17.461451218469062]
  本稿では,自己言語学習機構をソースコードモデルに適用することにより,制限を克服するinfercodeを提案する。 ASTのサブツリーは、人間のラベル付けや高価なグラフ構築のオーバーヘッドなしにコード表現をトレーニングするためのラベルとして、InferCodeで扱われる。 Code2Vec、Code2Seq、ASTNNなど、同じ下流タスクに適用される以前のコード学習技術と比較して、事前に訓練されたInferCodeモデルを使用して、より高いパフォーマンスを達成できます。
  論文  参考訳（メタデータ） (2020-12-13T10:33:41Z)
• COSEA: Convolutional Code Search with Layer-wise Attention [90.35777733464354]
  我々は、畳み込みニューラルネットワークを階層的注意で活用し、コード固有の構造論理をキャプチャする新しいディープラーニングアーキテクチャ、COSEAを提案する。 COSEAは、コード検索タスクの最先端メソッドよりも大幅に改善できる。
  論文  参考訳（メタデータ） (2020-10-19T13:53:38Z)
• Towards Demystifying Dimensions of Source Code Embeddings [5.211235558099913]
  Code2vecニューラルソースコードの埋め込み内容の理解を深めるための予備的な結果を示す。 以上の結果から,手工芸品は高次元のcode2vec 埋め込みに非常に近い性能が得られることが示唆された。 また、code2vecの埋め込みは、手作りの特徴よりも情報ゲインの少ない次元の除去に対して、より弾力性が高いことが判明した。
  論文  参考訳（メタデータ） (2020-08-29T21:59:11Z)
• A Little Bit More: Bitplane-Wise Bit-Depth Recovery [43.99368427233748]
  本稿では,残像をビットプレーン単位で復元するトレーニングと推論手法を提案する。 我々のビットプレーン学習フレームワークは、トレーニング中に複数のレベルの監督が可能であり、最先端の結果を得ることができるという利点がある。
  論文  参考訳（メタデータ） (2020-05-03T14:06:33Z)
• Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need? [72.00712736992618]
  メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。 追加の増量は自己蒸留によって達成できる。 我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
  論文  参考訳（メタデータ） (2020-03-25T17:58:42Z)
• Auto-Encoding Twin-Bottleneck Hashing [141.5378966676885]
  本稿では,効率よく適応的なコード駆動グラフを提案する。 自動エンコーダのコンテキストでデコードすることで更新される。 ベンチマークデータセットの実験は、最先端のハッシュ手法よりもフレームワークの方が優れていることを明らかに示しています。
  論文  参考訳（メタデータ） (2020-02-27T05:58:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。