論文の概要: Synthetic Hallucinations, Real Gains: Hard Negatives from Frontier Models for FIM Hallucination Mitigation

• arxiv url: http://arxiv.org/abs/2606.03130v1
• Date: Tue, 02 Jun 2026 04:15:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.754217
• Title: Synthetic Hallucinations, Real Gains: Hard Negatives from Frontier Models for FIM Hallucination Mitigation
• Title（参考訳）: 合成幻覚, リアルゲイン:FIM幻覚緩和のためのフロンティアモデルからのハードネガティクス
• Authors: Mahdi Erfanian, Nelson Daniel Troncoso, Aashna Garg, Amabel Gale, Xiaoyu Liu, Pareesa Ameneh Golnari, Shengyu Fu,
• Abstract要約: オートコンプリートを動かす小さなオープンソースコードモデルでは、Fill-in-the-Middle(FIM)の補完が出力される。 そこで我々は,フロンティア符号モデルを用いて,強陰性として可塑性/反極性補完を合成する,実行自由な代替案を提案する。
• 参考スコア（独自算出の注目度）: 4.089259624354187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small open-source code models that power IDE autocomplete still emit hallucinated Fill-in-the-Middle (FIM) completions: syntactically natural calls to methods, parameters, variables, and imports that do not exist in the surrounding project. Existing mitigations either require per-language execution sandboxes that do not apply at mid-keystroke or preference-optimisation pipelines that need large human-labelled corpora. We propose an execution-free alternative: use frontier code models to synthesise plausible-but-wrong completions as hard negatives, then leverage the contrast between these synthetic hallucinations and the ground-truth developer edit as a supervised fine-tuning signal. Our pipeline scrapes multilingual FIM contexts from public GitHub across eight languages and asks a panel of three frontier generators to produce one hard negative per context for each of four hallucination types drawn from the Delulu taxonomy, a Docker-verified multilingual FIM hallucination benchmark, yielding a paired chosen/rejected dataset. Fine-tuning Qwen2.5-Coder-7B-Instruct on a 100K-row curated subset lifts Delulu exact match by +18.8 points and edit similarity by +0.22 on every language and every type, while also improving every HumanEval-Infilling split and every SAFIM subset. The same recipe at 3B lifts Delulu by +12.8 EM with a small, characterised general-FIM trade-off. Five-axis ablations (size, type mix, language coverage, base-model family, and a difficulty-aware fool rate) plus a head-to-head SFT vs. DPO/ORPO comparison map which design choices drive the gain. We release the full pipeline source code -- generation, fool-rate LLM judging, curation, and the FIM fine-tuning recipe -- so that the experiments in this paper can be reproduced end-to end on any permissively licensed corpus.
• Abstract（参考訳）: IDEオートコンプリートを駆動する小さなオープンソースコードモデルは、いまだに幻覚的なFill-in-the-Middle(FIM)補完を出力している。 既存の緩和策は、キーストロークの途中で適用されない言語ごとの実行サンドボックスや、大きなヒューマンラベリングコーパスを必要とする好み最適化パイプラインを必要とする。 我々は、フロンティア符号モデルを用いて、プラウチブル・ブラング完了をハードネガティブとして合成し、これらの合成幻覚と接地トルース開発者編集のコントラストを教師付き微調整信号として活用する、実行自由な方法を提案する。 パイプラインは8つの言語にわたるGitHubの多言語FIMコンテキストをスクラップし、3つのフロンティアジェネレータのパネルに、Dockerが検証したマルチ言語FIM幻覚ベンチマークであるDelulu分類から引き出された4つの幻覚のそれぞれに対して、コンテキスト毎に1つの強い負の1つを生成するように要求します。 Qwen2.5-Coder-7B-Instruct on a 100K-row curated subset はDeluluの正確なマッチを+18.8ポイント引き上げ、全ての言語と全ての型で+0.22の類似性を編集し、HumanEval-InfillingのスプリットとSAFIMのサブセットも改善した。 3Bでの同じレシピは、Dluluを+12.8 EMで持ち上げる。 5軸の短縮(サイズ、型混合、言語カバレッジ、ベースモデルファミリ、難易度対応の愚かさ率)に加えて、設計上の選択がゲインを駆動するヘッドツーヘッドのSFT対DPO/ORPO比較マップ。 我々は,全パイプラインソースコード – 生成,愚かなレート LLM 判定,キュレーション,FIM 微調整のレシピ -- をリリースし,任意のパーミッシブライセンスコーパス上で,実験をエンドツーエンドに再現できるようにした。

関連論文リスト

• MIPIAD: Multilingual Indirect Prompt Injection Attack Defense with Qwen -- TF-IDF Hybrid and Meta-Ensemble Learning [0.7161783472741748]
  MIPIADは英語とバングラ語で評価された防衛フレームワークである。 これは、Qwen2.5-1.5BからLoRA(XLPID)、TF-IDFレキシカル特徴、検証調整アンサンブルを通じて微調整されたシーケンスを組み合わせたものである。
  論文  参考訳（メタデータ） (2026-05-08T05:34:28Z)
• Delulu: A Verified Multi-Lingual Benchmark for Code Hallucination Detection in Fill-in-the-Middle Tasks [4.089259624354187]
  コード生成のための大規模言語モデルは、Fillin-theMiddle (FIM)タスクにおいて幻覚を頻繁に生成する。 Deluluは、7つの言語と4つの幻覚型で1,951個のFIMサンプルを検証した多言語ベンチマークである。 0.5B-32Bパラメータにまたがる5つのファミリーから,11個のオープンウェイトFIMモデルを評価した。
  論文  参考訳（メタデータ） (2026-05-07T23:12:00Z)
• Mitigating Hallucinations in Multimodal LLMs via Object-aware Preference Optimization [55.543583937522804]
  MLLM(Multimodal Large Language Models)は、様々なタスクに対処するための統一インターフェースとして登場した。 多くのベンチマークで最先端の結果が誇示されているにもかかわらず、長年の問題はMLLMが幻覚を起こす傾向にある。 本稿では,幻覚の問題をアライメント問題として取り上げ,幻覚を伴わないコンテンツを生成するためのMLLMのステアリングを試みる。
  論文  参考訳（メタデータ） (2025-08-27T18:02:04Z)
• ETF: An Entity Tracing Framework for Hallucination Detection in Code Summaries [36.63923402713602]
  大型言語モデル(LLM)は幻覚の傾向があり、意図した意味から逸脱する。 コード要約における幻覚検出に特化してキュレートされた10Kサンプルを備えた,ファーストオブザキンドデータセットであるCodeSumEvalを紹介した。
  論文  参考訳（メタデータ） (2024-10-17T19:38:55Z)
• Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
  Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。 さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
  論文  参考訳（メタデータ） (2024-05-29T17:55:03Z)
• Aligning Modalities in Vision Large Language Models via Preference Fine-tuning [67.62925151837675]
  本研究では,幻覚の問題をアライメント問題とみなし,好みのチューニングで対処する。 具体的には,AIモデルを用いたフィードバックデータを生成するPOVIDを提案する。 提案手法は,好ましくないデータを生成するための2段階のアプローチである。 広範ベンチマークを用いた実験では、幻覚を減らすだけでなく、標準ベンチマークでのモデル性能を向上させることができ、従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-02-18T00:56:16Z)
• OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
  OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。 私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。 この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
  論文  参考訳（メタデータ） (2023-11-29T18:57:07Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。