論文の概要: Revisiting Self-Consistency from Dynamic Distributional Alignment Perspective on Answer Aggregation

• arxiv url: http://arxiv.org/abs/2502.19830v1
• Date: Thu, 27 Feb 2025 07:07:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:59:15.915133
• Title: Revisiting Self-Consistency from Dynamic Distributional Alignment Perspective on Answer Aggregation
• Title（参考訳）: 動的分布アライメントの観点からの自己整合性の再検討
• Authors: Yiwei Li, Ji Zhang, Shaoxiong Feng, Peiwen Yuan, Xinglin Wang, Jiayi Shi, Yueqi Zhang, Chuyi Tan, Boyuan Pan, Yao Hu, Kan Li,
• Abstract要約: 自己整合性は、多様なサンプルを集約することで推論を改善する。 復号化温度がランダム性を制御し,応答分布を積極的に形成することを示す。 温度を動的に校正する信頼性駆動機構を提案する。
• 参考スコア（独自算出の注目度）: 21.64693536216534
• License:
• Abstract: Self-consistency improves reasoning by aggregating diverse stochastic samples, yet the dynamics behind its efficacy remain underexplored. We reframe self-consistency as a dynamic distributional alignment problem, revealing that decoding temperature not only governs sampling randomness but also actively shapes the latent answer distribution. Given that high temperatures require prohibitively large sample sizes to stabilize, while low temperatures risk amplifying biases, we propose a confidence-driven mechanism that dynamically calibrates temperature: sharpening the sampling distribution under uncertainty to align with high-probability modes, and promoting exploration when confidence is high. Experiments on mathematical reasoning tasks show this approach outperforms fixed-diversity baselines under limited samples, improving both average and best-case performance across varying initial temperatures without additional data or modules. This establishes self-consistency as a synchronization challenge between sampling dynamics and evolving answer distributions.
• Abstract（参考訳）: 自己整合性は、様々な確率的なサンプルを集約することによって推論を改善するが、その効果の背後にある力学は未解明のままである。 我々は,動的分布アライメント問題として自己整合性を再設定し,復号化温度がサンプリングランダム性だけでなく,潜時応答分布を積極的に形成することを明らかにする。 高温では試料径が不規則に大きめの安定化が必要であり, 低温はバイアスを増幅する一方で, 温度を動的に調整する信頼性駆動機構を提案し, 高い確率モードに合わせるために不確実性の下で試料分布を研ぎ澄まし, 信頼性が高い場合の探索を促進する。 数学的推論タスクの実験では、このアプローチは限られたサンプルの下での固定多様性ベースラインよりも優れており、追加のデータやモジュールを使わずに、様々な初期温度における平均値と最高値の両方のパフォーマンスを向上させる。 これは、サンプリング力学と進化する解分布の間の同期チャレンジとして自己整合性を確立する。

関連論文リスト

• Federated Learning with Sample-level Client Drift Mitigation [15.248811557566128]
  Federated Learningは、クライアント間のデータの不均一性によって、パフォーマンスが大幅に低下する。 本稿では,まず不均一性問題をサンプルレベルで緩和するFedBSSを提案する。 また,特徴分布とノイズラベルデータセット設定の効果的な結果を得た。
  論文  参考訳（メタデータ） (2025-01-20T09:44:07Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Efficient Sampling for Data-Driven Frequency Stability Constraint via Forward-Mode Automatic Differentiation [5.603382086370097]
  本稿では,フォワードモード自動微分による勾配データ生成手法を提案する。 この方法では、元の力学系は、元の状態の感度のダイナミクスを表す新しい状態で拡張される。 提案アルゴリズムは, 非線形微分法と有限差分法と比較して, サンプリングアルゴリズムの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-21T03:50:11Z)
• Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
  敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。 我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。 我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
  論文  参考訳（メタデータ） (2024-02-27T13:49:12Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Generalized Robust Test-Time Adaptation in Continuous Dynamic Scenarios [18.527640606971563]
  テスト時間適応(TTA)は、未ラベルのテストデータストリームのみを使用する推論フェーズにおいて、事前訓練されたモデルに分散をテストする。 本稿では,問題に効果的に対応する汎用ロバストテスト時間適応(GRoTTA)法を提案する。
  論文  参考訳（メタデータ） (2023-10-07T07:13:49Z)
• Dynamically Scaled Temperature in Self-Supervised Contrastive Learning [11.133502139934437]
  本稿では,コサインの類似性に依存した温度スケーリング機能を提案することで,自己教師型学習におけるInfoNCE損失の性能向上に着目する。 実験的な証拠は、提案フレームワークが損失ベースのSSLアルゴリズムよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-08-02T13:31:41Z)
• Breaking the Spurious Causality of Conditional Generation via Fairness Intervention with Corrective Sampling [77.15766509677348]
  条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。 これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。 この問題を緩和するための一般的な2段階戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-05T08:09:33Z)
• Inference in conditioned dynamics through causality restoration [0.0]
  条件付き分布から独立したサンプルを生成する方法を提案する。 この方法は一般化された力学モデルのパラメータを学習する。 本手法の重要な応用、すなわち(不完全な)臨床検査による伝染病リスク評価の問題について論じる。
  論文  参考訳（メタデータ） (2022-10-18T21:58:58Z)
• Robust Calibration with Multi-domain Temperature Scaling [86.07299013396059]
  我々は,複数の領域からのデータを活用することで,分散シフトを処理するシステムキャリブレーションモデルを開発した。 提案手法は,分布シフト時のキャリブレーションを改善するために,領域内のロバスト性を利用する。
  論文  参考訳（メタデータ） (2022-06-06T17:32:12Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。