論文の概要: Short-form Text Rewriting with Phi Silica
- arxiv url: http://arxiv.org/abs/2606.00462v1
- Date: Sat, 30 May 2026 00:55:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.474241
- Title: Short-form Text Rewriting with Phi Silica
- Title(参考訳): Phi Silicaを用いた短文書き直し
- Abstract要約: 我々は,SLM,Phi Silicaを用いて,データセットのキュレーション,蒸留の迅速化,パラメータ効率の高い微調整,評価を行う。
以上の結果から,微調整により意味的忠実度が向上し,幻覚が減少し,GPT-5-chat書き換えに対する選好勝利率が向上することが示唆された。
- 参考スコア(独自算出の注目度): 1.6251343084083734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Short-form text rewriting is a constrained variant of paraphrasing in which limited context and high semantic density leave little room for variation. While large language models perform well on general paraphrasing, small language models (SLMs) often struggle with semantic fidelity and hallucination robustness in short-form settings. In this work, we present an empirical study of adapting an SLM, Phi Silica, for short-form rewrite through dataset curation, prompt distillation, parameter-efficient fine-tuning, and evaluation. We curate a dataset of short presentation-style text from public slide decks and use GPT-5-chat both to generate rewrite supervision and to conduct LLM-as-a-judge evaluation. Our results show that finetuning improves semantic fidelity, reduces hallucinations, and increases preference win rate against GPT-5-chat rewrites. The findings suggest that targeted adaptation for SLMs can substantially narrow the gap to cloud models and provide practical guidance for adapting SLMs to precision-critical rewrite tasks.
- Abstract(参考訳): 短い形式のテキストの書き直しは、制限された文脈と高い意味密度が変化の余地をほとんど残さないパラフレーズの制約付き変種である。
大きな言語モデルは一般的な言い換えではうまく機能するが、小さな言語モデル(SLM)は短い形式の設定において意味的忠実さと幻覚的堅牢性に苦慮することが多い。
本研究では,SLM (Phi Silica) をデータセットキュレーション, 急速蒸留, パラメータ効率の良い微調整, 評価により短時間の書き換えを行う実験的検討を行った。
公開スライドから短いプレゼンテーションスタイルのテキストのデータセットをキュレートし, GPT-5-chat を用いて書き直し管理とLCM-as-a-judge 評価を行う。
以上の結果から,微調整により意味的忠実度が向上し,幻覚が減少し,GPT-5-chat書き換えに対する選好勝利率が向上することが示唆された。
その結果, SLM のターゲット適応は, クラウドモデルとのギャップを著しく狭くし, SLM を高精度に書き直し作業に適用するための実践的ガイダンスを提供する可能性が示唆された。
関連論文リスト
- SWIM: Student Writing Simulation via Proficiency-Conditioned Generation [54.69949380133243]
この研究は、言語モデルが学生の文章を現実的にシミュレートし、SWIMを導入することができるかどうかを考察する。
我々は、プロファイルアライメントの尺度として自動エッセイスコアを用いたシミュレーションのプロンプト、教師付き微調整、強化学習手法の評価を行った。
以上の結果から,明示的監督は単独で行うよりもプロファイルアライメントを著しく向上させるが,信頼性の低い筆記法では再現が困難であることが示唆された。
論文 参考訳(メタデータ) (2026-09-02T23:10:51Z) - The Text Uncanny Valley: Non-Monotonic Performance Degradation in LLM Information Retrieval [21.243421703047037]
単語境界の破損がLarge Language Modelベンチマークのターゲット情報の検出方法に与える影響について検討する。
単語に空白文字を挿入して断片に分解することで、LLMの精度は挿入率の増加とともにU字型曲線に従う。
論文 参考訳(メタデータ) (2026-05-08T03:26:42Z) - Robust LLM-based Column Type Annotation via Prompt Augmentation with LoRA Tuning [0.749377967268953]
カラムタイプ。
CTAはスキーマアライメントとセマンティック理解を実現するための基本的なステップです。
既存のエンコーダのみの言語モデルでは,ラベル付き列を微調整すると高い精度が得られる。
本稿では,CTAのパラメータ効率向上のためのフレームワークを提案する。
論文 参考訳(メタデータ) (2025-12-28T02:04:17Z) - Multi-stage Prompt Refinement for Mitigating Hallucinations in Large Language Models [49.435669307386156]
MPR(Multi-stage Prompt Refinement)は、複数のステージにわたる不整形プロンプトを体系的に改善するためのフレームワークである。
MPRは、追加の文脈でプロンプトの明快さを反復的に強化し、最も関連する入力を優先順位付けするためにランク付けされた自己回帰機構を使用する。
幻覚ベンチマークの結果、MPRは原型と比較して85%以上の勝利率を達成した。
論文 参考訳(メタデータ) (2025-10-14T00:31:36Z) - Efficient Layer-wise LLM Fine-tuning for Revision Intention Prediction [0.70303436819479]
大規模言語モデル(LLM)は、様々なテキスト生成タスクで驚くべき成功を収めている。
しかし、単純だが本質的なテキスト分類の可能性はいまだ未解明のままである。
本稿では, IR-Tuning という, プラグ・アンド・プレイ方式のパラメータ効率向上のためのファインチューニングフレームワークを提案する。
論文 参考訳(メタデータ) (2025-09-30T20:42:13Z) - Lost in Translation? Vocabulary Alignment for Source-Free Adaptation in Open-Vocabulary Semantic Segmentation [90.5844979560448]
VocAlignは、セマンティックセグメンテーションにおいてVLM用に特別に設計された、ソースフリーのドメイン適応フレームワークである。
提案手法は,CityScapesデータセットの6.11mIoU改善を実現し,ゼロショットセグメンテーションベンチマークにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2025-09-18T17:59:58Z) - Language Bottleneck Models: A Framework for Interpretable Knowledge Tracing and Beyond [55.984684518346924]
我々は、知識追跡を逆問題として再考する: 過去の回答を説明できる最小限の自然言語要約を学習し、将来の回答を予測できる。
我々のLanguage Bottleneck Model(LBM)は、解釈可能な知識要約を書くエンコーダLLMと、その要約テキストのみを使用して生徒の反応を再構成し予測しなければならないフリーズデコーダLLMで構成されている。
合成算術ベンチマークと大規模Eediデータセットの実験により、LBMは最先端のKT法と直接LLM法の精度に匹敵する一方で、受講者軌道のオーダーを少なくすることを示した。
論文 参考訳(メタデータ) (2025-06-20T13:21:14Z) - Discourse Features Enhance Detection of Document-Level Machine-Generated Content [53.41994768824785]
機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。
既存のMGC検出器は、しばしば表面レベルの情報のみに焦点を当て、暗黙的かつ構造的な特徴を見渡す。
これらの課題を克服するために、新しい方法論とデータセットを導入します。
論文 参考訳(メタデータ) (2024-12-17T08:47:41Z) - Train More Parameters But Mind Their Placement: Insights into Language Adaptation with PEFT [0.8702432681310401]
我々は、構造化されていないテキストコーパスを用いて、LLMの生成性能を向上させることを目的としている。
トレーニング可能なパラメータの数が増加すると、言語適応性が向上し、堅牢になる。
0ショットの要約では改善は一貫しているが、いくつかの適応されたモデルは、より長いコンテキストの長さで苦労する。
論文 参考訳(メタデータ) (2024-12-17T08:44:00Z) - Analysing Zero-Shot Readability-Controlled Sentence Simplification [54.09069745799918]
本研究では,異なる種類の文脈情報が,所望の可読性を持つ文を生成するモデルの能力に与える影響について検討する。
結果から,全ての試験されたモデルは,原文の制限や特徴のため,文の簡略化に苦慮していることがわかった。
実験では、RCTSに合わせたより良い自動評価指標の必要性も強調した。
論文 参考訳(メタデータ) (2024-09-30T12:36:25Z) - Surgical Feature-Space Decomposition of LLMs: Why, When and How? [8.826164604720738]
トランス言語モデルにおける重みと特徴空間の分解の有効性を実験的に検討する。
本稿では, 外科的切除が, 圧縮と言語モデリング性能のトレードオフに関する重要な洞察を与えることを示す。
モデルバイアスに対する低ランク近似の影響について検討する。
論文 参考訳(メタデータ) (2024-05-17T07:34:03Z) - Improving Factual Consistency of News Summarization by Contrastive Preference Optimization [65.11227166319546]
大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。
これらの幻覚は、従来の方法による検出が困難である。
本稿では,LLMの適合性を解消し,忠実で偽のコンテンツを生成するコントラスト優先最適化(CPO)を提案する。
論文 参考訳(メタデータ) (2023-10-30T08:40:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。