論文の概要: Odysseus Navigates the Sirens' Song: Dynamic Focus Decoding for Factual and Diverse Open-Ended Text Generation

• arxiv url: http://arxiv.org/abs/2503.08057v1
• Date: Tue, 11 Mar 2025 05:27:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:44:27.109802
• Title: Odysseus Navigates the Sirens' Song: Dynamic Focus Decoding for Factual and Diverse Open-Ended Text Generation
• Title（参考訳）: Odysseus Navigates the Sirens' Song: Dynamic Focus Decoding for Factual and Diverse Open-Ended Text Generation
• Authors: Wen Luo, Feifan Song, Wei Li, Guangyue Peng, Shaohang Wei, Houfeng Wang,
• Abstract要約: 大規模言語モデル(LLM)は、事実的正確かつ多様な様々なオープンエンドアプリケーションにまたがるテキストを生成するためにますます必要とされる。 我々は、新たなデータや知識、モデルを必要とすることなく、このトレードオフを解決する新しいプラグイン・アンド・プレイアプローチであるDynamic Focus Decoding (DFD)を紹介します。 DFDはレイヤ間の分布差に基づいてデコード焦点を適応的に調整し、LLM内の事実知識のモジュール的および階層的性質を活用する。
• 参考スコア（独自算出の注目度）: 18.835969818281125
• License:
• Abstract: Large Language Models (LLMs) are increasingly required to generate text that is both factually accurate and diverse across various open-ended applications. However, current stochastic decoding methods struggle to balance such objectives. We introduce Dynamic Focus Decoding (DFD), a novel plug-and-play stochastic approach that resolves this trade-off without requiring additional data, knowledge, or models. DFD adaptively adjusts the decoding focus based on distributional differences across layers, leveraging the modular and hierarchical nature of factual knowledge within LLMs. This dynamic adjustment improves factuality in knowledge-intensive decoding steps and promotes diversity in less knowledge-reliant steps. DFD can be easily integrated with existing decoding methods, enhancing both factuality and diversity with minimal computational overhead. Extensive experiments across seven datasets demonstrate that DFD significantly improves performance, providing a scalable and efficient solution for open-ended text generation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事実的正確かつ多様な様々なオープンエンドアプリケーションにまたがるテキストを生成するためにますます必要とされる。 しかし、現在の確率的復号法は、そのような目的のバランスをとるのに苦労している。 我々は、新しいプラグアンドプレイ確率的アプローチであるDynamic Focus Decoding (DFD)を導入し、追加のデータや知識、モデルを必要とすることなく、このトレードオフを解決する。 DFDはレイヤ間の分布差に基づいてデコード焦点を適応的に調整し、LLM内の事実知識のモジュール的および階層的性質を活用する。 この動的調整は、知識集約的なデコーディングステップにおける事実性を改善し、知識依存度が低いステップにおいて多様性を促進する。 DFDは既存の復号法と容易に統合でき、計算オーバーヘッドを最小限に抑え、事実性と多様性を両立させることができる。 7つのデータセットにわたる大規模な実験により、DFDはパフォーマンスを大幅に改善し、オープンエンドテキスト生成のためのスケーラブルで効率的なソリューションを提供する。

関連論文リスト

• A Text-Based Knowledge-Embedded Soft Sensing Modeling Approach for General Industrial Process Tasks Based on Large Language Model [16.842988666530204]
  データ駆動型ソフトセンサー(DDSS)は、プロセス産業において重要なパフォーマンス指標を予測する主要な手法となっている。 開発には、モデリングプロセス中に様々なタスクに合わせてカスタマイズされた複雑でコストがかかる設計が必要である。 本稿では,LLM-TKESS(テキストベース知識埋め込み型ソフトセンシングのための大規模言語モデル)というフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-09T08:59:14Z)
• SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Models [34.3296459569307]
  大規模言語モデル(LLM)は目覚ましい能力を示しているが、その出力は信頼できないことや、事実的に間違っていることがある。 本稿では,LLMの真性を高める新しいデコードフレームワークであるSelf Logits Evolution Decoding(SLED)を紹介する。 既存の復号法と比較して,SLEDは実写精度を最大20%向上することを示す。
  論文  参考訳（メタデータ） (2024-11-01T17:33:34Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• EDDA: A Encoder-Decoder Data Augmentation Framework for Zero-Shot Stance Detection [23.38633461323637]
  スタンス検出は、与えられたターゲットに対してテキストで表現された姿勢を決定することを目的としている。 ZSSDの最近のデータ拡張技術は、ターゲット間の伝達可能な知識を増加させる。 本稿では,エンコーダとデコーダのデータ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-23T04:29:29Z)
• Unified Generation, Reconstruction, and Representation: Generalized Diffusion with Adaptive Latent Encoding-Decoding [90.77521413857448]
  深層生成モデルは,3つのコア機能 – 新たなインスタンスの生成,入力の再構築,コンパクト表現の学習 – に固定されている。 一般化逆変換拡散確率モデル(EDDPM)を導入する。 EDDPMはパラメタライズされた符号化復号を導入することで標準拡散におけるガウス雑音化を一般化する。 テキスト、タンパク質、画像の実験は、多様なデータやタスクを扱う柔軟性を示している。
  論文  参考訳（メタデータ） (2024-02-29T10:08:57Z)
• CREMA: Generalizable and Efficient Video-Language Reasoning via Multimodal Modular Fusion [58.15403987979496]
  CREMAは、ビデオ推論のための一般化可能、高効率、モジュラリティ融合フレームワークである。 本稿では,軽量核融合モジュールとモーダリティ・シークエンシャル・トレーニング・ストラテジーによって支援された,新しいプログレッシブ・マルチモーダル・フュージョン設計を提案する。 ビデオQA や Video-Audio/3D/Touch/Thermal QA を含む7つのビデオ言語推論タスクについて検証を行った。
  論文  参考訳（メタデータ） (2024-02-08T18:27:22Z)
• FiD-Light: Efficient and Effective Retrieval-Augmented Text Generation [19.17759446168802]
  我々は、最先端の検索強化FiDモデルの効率を高めるためにFiD-Lightを導入する。 我々は、最上位の精度を改善するために、ソースポインタを介してFiD-Lightを再ランク機能に適応する。
  論文  参考訳（メタデータ） (2022-09-28T17:54:55Z)
• CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for Natural Language Understanding [67.61357003974153]
  我々はCoDAと呼ばれる新しいデータ拡張フレームワークを提案する。 CoDAは、複数の変換を有機的に統合することで、多種多様な情報付加例を合成する。 すべてのデータサンプルのグローバルな関係を捉えるために、対照的な正則化の目的を導入する。
  論文  参考訳（メタデータ） (2020-10-16T23:57:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。