Fugu-MT 論文翻訳(概要): Structure-Conditional Minimum Bayes Risk Decoding

論文の概要: Structure-Conditional Minimum Bayes Risk Decoding

arxiv url: http://arxiv.org/abs/2510.20700v1
Date: Thu, 23 Oct 2025 16:13:49 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-25 03:08:18.328943
Title: Structure-Conditional Minimum Bayes Risk Decoding
Title（参考訳）: 構造制約最小ベイズリスクデコード
Authors: Bryan Eikema, Anna Rutkiewicz, Mario Giulianelli,
Abstract要約: 最小ベイズリスク(MBR)復号法は、従来の世代戦略に代わるものとして、新たな関心を集めている。構造感度の向上は,最大13.7%の勝利率で生成品質を向上させることを示す。
参考スコア（独自算出の注目度）: 6.741287957900943
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Minimum Bayes Risk (MBR) decoding has seen renewed interest as an alternative to traditional generation strategies. While MBR has proven effective in machine translation, where the variability of a language model's outcome space is naturally constrained, it may face challenges in more open-ended tasks such as dialogue or instruction-following. We hypothesise that in such settings, applying MBR with standard similarity-based utility functions may result in selecting responses that are broadly representative of the model's distribution, yet sub-optimal with respect to any particular grouping of generations that share an underlying latent structure. In this work, we introduce three lightweight adaptations to the utility function, designed to make MBR more sensitive to structural variability in the outcome space. To test our hypothesis, we curate a dataset capturing three representative types of latent structure: dialogue act, emotion, and response structure (e.g., a sentence, a paragraph, or a list). We further propose two metrics to evaluate the structural optimality of MBR. Our analysis demonstrates that common similarity-based utility functions fall short by these metrics. In contrast, our proposed adaptations considerably improve structural optimality. Finally, we evaluate our approaches on real-world instruction-following benchmarks, AlpacaEval and MT-Bench, and show that increased structural sensitivity improves generation quality by up to 13.7 percentage points in win rate.
Abstract（参考訳）: 最小ベイズリスク(MBR)復号法は、従来の世代戦略に代わるものとして、新たな関心を集めている。 MBRは機械翻訳において有効であることが証明されているが、言語モデルの結果空間の可変性は自然に制約されている。このような設定では、標準の類似性に基づくユーティリティ関数を MBR に適用すると、モデル分布に広く代表される応答が選択されるが、下層の潜在構造を共有する特定の世代のグループ化に関して、準最適である、という仮説を立てる。本研究は,MBRが結果空間の構造的変動に対してより敏感になるように設計された実用機能に,3つの軽量な適応を導入するものである。仮説を検証するために、対話行動、感情、応答構造(例えば、文、段落、リスト)の代表的な3種類の潜在構造を抽出したデータセットをキュレートする。さらに,MBRの構造的最適性を評価するための2つの指標を提案する。我々の分析は、共通類似性に基づくユーティリティ関数がこれらの指標によって不足していることを示します。対照的に、提案手法は構造的最適性を大幅に改善する。最後に,AlpacaEval や MT-Bench といった実世界の命令追従ベンチマークに対するアプローチを評価し,構造感度の向上により,勝利率の最大 13.7 ポイントが生成品質を向上させることを示す。

関連論文リスト

Grounding Long-Context Reasoning with Contextual Normalization for Retrieval-Augmented Generation [57.97548022208733]
キー値抽出における表面的選択が精度と安定性のシフトを引き起こすことを示す。生成前の文脈表現を適応的に標準化する戦略であるコンテキスト正規化を導入する。
論文参考訳（メタデータ） (2025-10-15T06:28:25Z)
ReSSFormer: A Recursive Sparse Structured Transformer for Scalable and Long-Context Reasoning [0.0]
本稿では,ReSSFormerについて述べる。Recursive Sparse Structured Transformerは3つの相補的なイノベーションを統合している。 ReSSFormerは、従来のディープスタックをリカレント推論に置き換え、トークンレベルのスペーサと専門家レベルのスペーサに置き換え、コンテンツから直接潜在トークントポロジをモデル化する。
論文参考訳（メタデータ） (2025-10-02T02:05:30Z)
Reflection-Enhanced Meta-Optimization Integrating TextGrad-style Prompt Optimization with Memory-Driven Self-Evolution [0.0]
本稿では,メモリ拡張リフレクションRetrievalRAGモジュールと自己適応型メタコントローラを統合するフレームワークを提案する。 REMOは、計算オーバーヘッドの増加にもかかわらず、より安定で堅牢なチューニングを実現する。
論文参考訳（メタデータ） (2025-08-26T07:25:45Z)
Iterative Augmentation with Summarization Refinement (IASR) Evaluation for Unstructured Survey data Modeling and Analysis [0.43988112145759295]
本研究は,大規模言語モデル(LLM)に基づくテキスト拡張のための原則的評価フレームワークを導入する。実証評価の結果, GPT-3.5 Turbo はセマンティック忠実度, 多様性, 生成効率の最良のバランスを達成できた。
論文参考訳（メタデータ） (2025-07-16T10:49:30Z)
SCoRE: Streamlined Corpus-based Relation Extraction using Multi-Label Contrastive Learning and Bayesian kNN [0.2812395851874055]
本稿では,モジュール型かつ費用対効果の高い文レベルの関係抽出システムであるSCoREを紹介する。 SCoREは簡単なPLMスイッチングを可能にし、微調整を必要とせず、多様なコーパスやKGにスムーズに適応する。 SCoREは, エネルギー消費を大幅に削減しつつ, 最先端の手法に適合するか, 超越しているかを示す。
論文参考訳（メタデータ） (2025-07-09T14:33:07Z)
NAP-Tuning: Neural Augmented Prompt Tuning for Adversarially Robust Vision-Language Models [72.58372335140241]
AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における対向的ロバスト性を高めるための学習可能なテキストプロンプトを導入した。マルチモーダル適応型プロンプトチューニング(NAP-Tuning)のためのニューラルネットワークフレームワークを提案する。我々のアプローチは、挑戦的なAutoAttackベンチマークの下で最強のベースラインよりも大幅に改善され、ViT-B16では33.5%、ViT-B32アーキテクチャでは33.0%を上回りました。
論文参考訳（メタデータ） (2025-06-15T03:34:23Z)
Structural Entropy Guided Probabilistic Coding [52.01765333755793]
構造エントロピー誘導型確率的符号化モデルSEPCを提案する。我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
論文参考訳（メタデータ） (2024-12-12T00:37:53Z)
Diversity Explains Inference Scaling Laws: Through a Case Study of Minimum Bayes Risk Decoding [32.02732402635305]
推論手法は大規模言語モデル(LLM)の性能を引き出す上で重要な役割を果たす現在、LLMは生成した複数のサンプルを利用した推論手法を使用しており、最小ベイズリスク(MBR)復号から導出することができる。従来,MBR復号化による生成性能の向上を実証的に検討してきた。我々は、バイアス-多様性分解の観点から、MBR復号の新たな理論的解釈を提供する。
論文参考訳（メタデータ） (2024-10-19T07:32:10Z)
A Refreshed Similarity-based Upsampler for Direct High-Ratio Feature Upsampling [54.05517338122698]
一般的な類似性に基づく機能アップサンプリングパイプラインが提案されている。本稿では,セマンティック・アウェアとディテール・アウェアの両方の観点から,明示的に制御可能なクエリキー機能アライメントを提案する。我々は,モーザイクアーティファクトを緩和する上ではシンプルだが有効であるHR特徴に対して,きめ細かな近傍選択戦略を開発する。
論文参考訳（メタデータ） (2024-07-02T14:12:21Z)
RAGGED: Towards Informed Design of Scalable and Stable RAG Systems [51.171355532527365]
Retrieval-augmented Generation (RAG)は、外部知識を統合することで言語モデルを強化する。 RAGGEDは、RAGシステムを体系的に評価するためのフレームワークである。
論文参考訳（メタデータ） (2024-03-14T02:26:31Z)
Revisiting GANs by Best-Response Constraint: Perspective, Methodology, and Application [49.66088514485446]
ベストレスポンス制約(Best-Response Constraint、BRC)は、ジェネレータのディスクリミネータへの依存性を明示的に定式化する一般的な学習フレームワークである。モチベーションや定式化の相違があっても, フレキシブルBRC法により, 様々なGANが一様に改善できることが示される。
論文参考訳（メタデータ） (2022-05-20T12:42:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。