論文の概要: Do LLMsMakeNeural Distinguishers Wise?
- arxiv url: http://arxiv.org/abs/2606.10692v1
- Date: Tue, 09 Jun 2026 10:51:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.451573
- Title: Do LLMsMakeNeural Distinguishers Wise?
- Title(参考訳): LLMsMakeNeural Distinguishers Wise?
- Authors: Tatsuya Sakagami, Masashi Hisai, Naoto Yanai,
- Abstract要約: 大規模言語モデル (LLM) は, ニューラルディファレンサの性能向上に寄与しないことを示す。
ハイラウンドでは、違いの選択は、LLMベースの神経識別器やResNetではもはや有効ではない。
我々は,XOR演算結果のみを即時設計に組み込むことで,LLMに基づくニューラルディファレンサの性能を著しく向上できることを示す。
- 参考スコア(独自算出の注目度): 0.7136933021609079
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Neural distinguishers are a cryptanalysis method for symmetric-key cryptography that trains machine learning models on pairs of plaintexts and ciphertexts with specific differences in order to recover a secret key. To the best of our knowledge, no existing work has explored the use of large language models (LLMs) for neural distinguishers. In this paper, we propose LLM-based neural distinguishers through a prompt design and conduct extensive experiments with them on SPECK-32/64 to investigate whether LLMs can strengthen neural distinguishers. We then found three key insights. First, by comparing the results of LLM-based neural distinguishers with ResNet in the existing work, we demonstrate that LLMs provide no observable improvement in the performance of neural distinguishers. Second, we confirm that, at high rounds, the choice of differences is no longer effective for LLM-based neural distinguishers as well as ResNet. Third, we show that the performance of LLM-based neural distinguishers can be significantly improved by incorporating only the XOR operation results as a prompt design.
- Abstract(参考訳): ニューラル差別化器は、秘密鍵を復元するために、一対の平文と暗号文で機械学習モデルを訓練する対称鍵暗号の暗号解析手法である。
我々の知る限りでは、ニューラル差別化のための大規模言語モデル(LLM)の使用について、既存の研究は行われていない。
本稿では,SPECK-32/64において,LLMを用いたニューラルディファクタを高速に設計し,広範囲な実験を行い,LLMがニューラルディファクタを強化できるかどうかを検討する。
そして、3つの重要な洞察を得た。
まず,LLMをベースとしたニューラルディペンサとResNetを比較し,LLMがニューラルディペンサの性能改善に寄与しないことを実証した。
第二に、高ラウンドでは、LLMベースの神経識別器やResNetでは、違いの選択がもはや有効ではないことを確認します。
第3に、XOR演算結果のみを即時設計に組み込むことで、LLMに基づくニューラル差別化器の性能を大幅に向上できることを示す。
関連論文リスト
- Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer [65.72553715508691]
我々は,多段階の推論と構成決定を必要とするタスクにおいて,LVLMが強いテキストのみの大規模言語モデル(LLM)に遅れていることを示す。
LLMからLVLMへ成熟型推論回路を転送するパラメータ効率の高いフレームワークである共有ニューロン低ランク融合(SNRF)を提案する。
その結果、共有ニューロンはLLMとLVLMの間の解釈可能なブリッジを形成し、低コストでマルチモーダルモデルへの推論能力の移行を可能にした。
論文 参考訳(メタデータ) (2026-02-22T06:04:05Z) - RL makes MLLMs see better than SFT [96.508432109136]
マルチモーダル言語モデル(MLLM)の視覚エンコーダの批判的かつ未探索な解析を行う。
その結果、MLLMの学習後戦略(SFTまたはRL)は、下流タスクにおいて異なる結果をもたらすだけでなく、MLLMの根底にある視覚的表現を根本的に再認識することを示した。
次に、私たちの知見をMLLMのための強力なビジョンエンコーダを構築するための簡単なレシピ、Preference-Instructed Vision OpTimization (PIVOT) に再構成する。
論文 参考訳(メタデータ) (2025-10-18T03:37:17Z) - Pruning Large Language Models by Identifying and Preserving Functional Networks [41.601762545495255]
構造化プルーニング(Structured pruning)は、大きな言語モデル(LLM)を圧縮してGPUメモリの消費を減らし、推論速度を高速化する技術である。
ほとんどの構造化プルーニング法は、LLMの機能に不可欠な人工ニューロン間の相互作用と協調を見落としている。
人工ニューラルネットワークと人間の脳における機能的ニューラルネットワークの固有の類似性から着想を得て,機能的ネットワークを同定・保存し,LLMを創出することを提案する。
論文 参考訳(メタデータ) (2025-08-07T10:27:01Z) - Probing Neural Topology of Large Language Models [12.298921317333452]
本稿では,大規模言語モデルの機能的接続を明らかにするためのグラフ探索手法を提案する。
多様なLLMファミリーやスケールのモデルを探索することにより、次の予測性能の普遍的な予測可能性を見出す。
興味深いことに、トポロジーの探索は、最大130.4%のアクティベーションでの探索よりも優れている。
論文 参考訳(メタデータ) (2025-06-01T14:57:03Z) - Aligning Large Language Models to Follow Instructions and Hallucinate Less via Effective Data Filtering [66.5524727179286]
NOVAは、幻覚を減らすための学習知識とよく一致した高品質なデータを特定するために設計されたフレームワークである。
内部整合性探索(ICP)とセマンティック等価同定(SEI)が含まれており、LLMが命令データとどれだけ親しみやすいかを測定する。
選択したサンプルの品質を確保するため,親しみ以上の特性を考慮した専門家による報酬モデルを導入する。
論文 参考訳(メタデータ) (2025-02-11T08:05:56Z) - What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
大規模言語モデル (LM) は文字列上の分布である。
RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。
RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
論文 参考訳(メタデータ) (2024-06-06T17:34:24Z) - What Are Large Language Models Mapping to in the Brain? A Case Against Over-Reliance on Brain Scores [1.8175282137722093]
大規模言語モデル(LLM)の内部表現は最先端の脳スコアを達成し、人間の言語処理と計算原理を共有するという憶測に繋がる。
本稿では、LLM-to-Brainマッピングに関する衝撃的な研究で使用される3つのニューラルデータセットを分析し、参加者が短いパスを読み取るfMRIデータセットに特に焦点をあてる。
このデータセット上で訓練されたLLMの脳のスコアは、文の長さ、位置、代名詞による単語の埋め込みによって大きく説明できる。
論文 参考訳(メタデータ) (2024-06-03T17:13:27Z) - Dissecting Language Models: Machine Unlearning via Selective Pruning [0.7373617024876725]
本稿では,大規模言語モデル(LLM)に特化して設計された機械学習手法を提案する。
我々は,LLMの選択的プルーニング法を導入し,ネットワーク全体の性能と比較して,標的能力に対するニューロンの重要性から神経細胞を除去する。
LLMのフィードフォワードニューロンとアテンションニューロンはどちらも専門的であり、特定のタスクにおいては、特定のニューロンは他のニューロンよりも重要である。
論文 参考訳(メタデータ) (2024-03-02T17:10:44Z) - On the Relation between Internal Language Model and Sequence Discriminative Training for Neural Transducers [52.88268942796418]
内部言語モデル(ILM)のサブトラクションは、RNN-Transducerの性能向上に広く応用されている。
列識別訓練は, 理論的, 経験的両面からILMサブトラクションと強く相関していることを示す。
論文 参考訳(メタデータ) (2023-09-25T13:35:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。