論文の概要: Key-Augmented Neural Triggers for Knowledge Sharing

• arxiv url: http://arxiv.org/abs/2508.03340v1
• Date: Tue, 05 Aug 2025 11:40:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:55.936126
• Title: Key-Augmented Neural Triggers for Knowledge Sharing
• Title（参考訳）: 知識共有のためのキー強化ニューラルトリガー
• Authors: Alex Wolf, Marco Edoardo Palma, Pooja Rani, Harald C. Gall,
• Abstract要約: Key-Augmented Neural Triggersは、知識アンカーをトレーニングと推論の両方に組み込む。 局所的なコンテキストにおけるフラグメンテーションとグラウンドディング推論を減らす。 スケーラブルで低レイテンシでオンプレミスのデプロイメントに適している。
• 参考スコア（独自算出の注目度）: 3.8718804267599416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Repository-level code comprehension and knowledge sharing remain core challenges in software engineering. Large language models (LLMs) have shown promise by generating explanations of program structure and logic. However, these approaches still face limitations: First, relevant knowledge is distributed across multiple files within a repository, aka semantic fragmentation. Second, retrieval inefficiency and attention saturation degrade performance in RAG pipelines, where long, unaligned contexts overwhelm attention. Third, repository specific training data is scarce and often outdated. Finally, proprietary LLMs hinder industrial adoption due to privacy and deployment constraints. To address these issues, we propose Key-Augmented Neural Triggers (KANT), a novel approach that embeds knowledge anchors into both training and inference. Unlike prior methods, KANT enables internal access to repository specific knowledge, reducing fragmentation and grounding inference in localized context. Moreover, we synthesize specialized data directly from code. At inference, knowledge anchors replace verbose context, reducing token overhead and latency while supporting efficient, on premise deployment. We evaluate KANT via: a qualitative human evaluation of the synthesized dataset's intent coverage and quality across five dimensions; compare against SOTA baselines across five qualitative dimensions and inference speed; and replication across different LLMs to assess generalizability. Results show that the synthetic training data aligned with information-seeking needs. KANT achieved over 60% preference from human annotators and a LocalStack expert (preferring 79% of cases). Also, KANT reduced inference latency by up to 85% across all models. Overall, it is well-suited for scalable, low-latency, on-premise deployments, providing a strong foundation for code comprehension.
• Abstract（参考訳）: リポジトリレベルのコード理解と知識共有は、ソフトウェア工学における中核的な課題である。 大規模言語モデル(LLM)は、プログラム構造とロジックの説明を生成することで、将来性を示す。 まず、関連する知識はリポジトリ内の複数のファイルに分散します。 第2に、RAGパイプラインにおける検索の非効率性とアテンション飽和は、長時間の非整合コンテキストが注意を圧倒する性能を低下させる。 第3に、リポジトリ固有のトレーニングデータは少なく、時代遅れであることが多い。 最後に、プロプライエタリなLLMは、プライバシとデプロイメントの制約により、産業的採用を妨げる。 これらの問題に対処するために、我々は、知識アンカーをトレーニングと推論の両方に組み込む新しいアプローチであるKey-Augmented Neural Triggers (KANT)を提案する。 従来の方法とは異なり、KANTはリポジトリ固有の知識への内部アクセスを可能にし、断片化を減らし、ローカライズされたコンテキストで推論を基底にする。 さらに,コードから直接専門データを合成する。 推論では、知識アンカーが冗長なコンテキストを置き換え、トークンのオーバーヘッドとレイテンシを低減し、効率的なオンプレミスデプロイメントをサポートする。 合成データセットの意図範囲と5次元にわたる品質の質的評価,5次元の定性的次元と推論速度のSOTAベースラインの比較,一般化性を評価するために異なるLLM間でのレプリケーション,などを行う。 以上の結果から,情報探索ニーズに適合した総合学習データが得られた。 KANTは、人間のアノテータとLocalStackの専門家から60%以上の選好を得た(ケースの79%が好まれる)。 また、KANTはすべてのモデルで推論遅延を最大85%削減した。 全体としては、スケーラブルで低レイテンシでオンプレミスのデプロイメントに適している。

関連論文リスト

• CAAD: Context-Aware Adaptive Decoding for Truthful Text Generation [31.469511576774252]
  大規模言語モデルに対する文脈対応適応型復号法を提案する。 当社のアプローチは、TrathfulQAで平均2.8%の改善を実現しています。 モデルに依存しない,スケーラブルで,効率的な手法では,1世代パスしか必要としない。
  論文  参考訳（メタデータ） (2025-08-04T08:28:25Z)
• BLUR: A Bi-Level Optimization Approach for LLM Unlearning [105.98410883830596]
  未学習問題の階層構造をモデル化することが重要であると論じる。 本稿では,より優れた性能を実現する新しいアルゴリズムであるBi-Level UnleaRning(textttBLUR)を提案する。
  論文  参考訳（メタデータ） (2025-06-09T19:23:05Z)
• Is Compression Really Linear with Code Intelligence? [60.123628177110206]
  textitFormat Annealingは、事前訓練されたモデルの本質的な能力を同等に評価するために設計された、軽量で透明なトレーニング手法である。 我々の経験的結果は、測定されたコードインテリジェンスとビット・パー・キャラクタ(BPC)の基本的な対数関係を明らかにする。 私たちの研究は、コードインテリジェンスの開発における圧縮の役割をより微妙に理解し、コードドメインにおける堅牢な評価フレームワークに貢献します。
  論文  参考訳（メタデータ） (2025-05-16T16:59:14Z)
• Enhancing Repository-Level Software Repair via Repository-Aware Knowledge Graphs [8.467850621024672]
  リポジトリレベルのソフトウェア修復は、問題記述とコードパッチの間のセマンティックギャップを埋める際の課題に直面します。 既存のアプローチは、主に大きな言語モデル(LLM)に依存しており、意味的曖昧さ、構造的コンテキストの理解の制限、推論能力の不足に悩まされている。 本稿では,リポジトリのアーティファクト(課題とプル要求)とエンティティを正確にリンクする新しいリポジトリ対応知識グラフ(KG)を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:21:47Z)
• Systematic Knowledge Injection into Large Language Models via Diverse Augmentation for Domain-Specific RAG [24.660769275714685]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) にドメイン知識を組み込む重要な手法として登場した。 本稿では,学習データを2つの方法で強化することで,微調整プロセスを大幅に強化する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T12:39:51Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
  大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。 本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T20:38:41Z)
• SEER-ZSL: Semantic Encoder-Enhanced Representations for Generalized Zero-Shot Learning [0.6792605600335813]
  Zero-Shot Learning (ZSL)は、トレーニング中に見えないカテゴリを特定するという課題を示す。 ゼロショット学習のためのセマンティック強化表現(SEER-ZSL)を提案する。 まず,確率的エンコーダを用いて意味のある意味情報を抽出し,意味的一貫性とロバスト性を高めることを目的とする。 第2に、学習したデータ分布を逆向きに訓練した発電機で利用することにより、視覚空間を蒸留し、第3に、未確認なカテゴリを真のデータ多様体にマッピングできるようにする。
  論文  参考訳（メタデータ） (2023-12-20T15:18:51Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• LORD: Leveraging Open-Set Recognition with Unknown Data [10.200937444995944]
  LORDは未知のデータを活用することでオープンセット認識を活用するためのフレームワークである。 我々は、背景データを利用した3つのモデルに依存しない訓練戦略を特定し、それらを確立された分類器に適用する。
  論文  参考訳（メタデータ） (2023-08-24T06:12:41Z)
• KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
  知識集約型言語タスク(KILT)のベンチマークを示す。 KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。 共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
  論文  参考訳（メタデータ） (2020-09-04T15:32:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。