Fugu-MT 論文翻訳(概要): Refine Thought: A Test-Time Inference Method for Embedding Model Reasoning

論文の概要: Refine Thought: A Test-Time Inference Method for Embedding Model Reasoning

arxiv url: http://arxiv.org/abs/2511.13726v1
Date: Tue, 14 Oct 2025 09:35:27 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-07 19:06:32.190034
Title: Refine Thought: A Test-Time Inference Method for Embedding Model Reasoning
Title（参考訳）: Refine Thought: 埋め込みモデル推論のためのテスト時間推論手法
Authors: Guangzhi Wang, Kai Li, Yinghao Jiao, Zhi Liu,
Abstract要約: テキスト埋め込みモデルのセマンティック表現を強化する手法であるRT(Refine Thought)を提案する。実験の結果、RTはBRIGHTと人事マッチングベンチマークPJ1で意味論的推論タスクを大幅に改善した。以上の結果から,RTが有効であることは,事前学習時に学習した意味的推論能力をさらに活性化させることを示唆している。
参考スコア（独自算出の注目度）: 16.43445430969637
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We propose RT (Refine Thought), a method that can enhance the semantic rea-soning ability of text embedding models. The method obtains the final semanticrepresentation by running multiple forward passes of the text embedding model.Experiments show that RT achieves significant improvements on semantic reason-ing tasks in BRIGHT and the person job matching benchmark PJBenchmark1, while maintaining consistent performance on general-purpose semantic under-standing tasks such as C-MTEB. Our results indicate that RT is effective becauseit further activates the semantic reasoning ability learned during pretraining bydecoder-only text embedding models(e.g., Qwen3-Embedding-8B). RT canbe seen as a test-time inference method.
Abstract（参考訳）: テキスト埋め込みモデルのセマンティックリアソニング能力を向上するRT(Refine Thought)を提案する。提案手法は,テキスト埋め込みモデルの複数前方パスを実行することで,最終的な意味表現を得る。実験により,RTは,C-MTEBなどの汎用的意味論的下位課題における一貫した性能を維持しつつ,BRIGHTと人事マッチングベンチマークPJBenchmark1における意味的推論タスクにおいて,大幅な改善を達成できることが示されている。以上の結果から,RTが有効であることは,事前学習時に学習した意味的推論能力(例えばQwen3-Embedding-8B)が活性化されることを示唆している。 RTはテスト時間推論の方法と見なすことができる。

関連論文リスト

PTEB: Towards Robust Text Embedding Evaluation via Stochastic Paraphrasing at Evaluation Time with LLMs [0.21485350418225244]
評価時に意味的パラフレーズを生成し,複数の実行で結果を集約する動的プロトコルであるParaphrasing Text Embedding Benchmark (PTEB) を導入する。文エンコーダの性能は意味論が固定されたままでもトークン空間の変化に敏感であるという仮説を検証する。結果は複数の実行に対して統計的に堅牢であり、実験を10言語をカバーする3つのデータセットに拡張しました。
論文参考訳（メタデータ） (2025-10-08T07:37:19Z)
Hybrid Training for Vision-Language-Action Models [10.451756630631609]
本稿では,視覚言語モデルを用いて思考から学習し,関連するパフォーマンス向上の恩恵を受けることができるフレームワークを提案する。多様な出力のセットを条件付きで予測することを学ぶことで、HyTは推論時の柔軟性をサポートし、モデルが直接アクションを予測するか、思考を生成するか、指示に従うことができる。
論文参考訳（メタデータ） (2025-10-01T07:27:15Z)
Test-Time Alignment for Large Language Models via Textual Model Predictive Control [63.508812485566374]
Textual Model Predictive Control (TMPC) は、推論時に大規模言語モデルを調整するために適応された新しい予測計画フレームワークである。 TMPCは、談話レベル翻訳、長文応答生成、プログラム合成の3つの異なるセグメンテーション特性を持つタスクで評価される。その結果、TMPCはパフォーマンスを継続的に改善し、一般性を強調している。
論文参考訳（メタデータ） (2025-02-28T07:24:33Z)
Learning Task Representations from In-Context Learning [67.66042137487287]
大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な習熟性を示した。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。提案手法は,テキスト中の実演からタスク固有の情報を抽出し,テキストと回帰タスクの両方で優れる。
論文参考訳（メタデータ） (2025-02-08T00:16:44Z)
Test-Time Training on Graphs with Large Language Models (LLMs) [68.375487369596]
グラフニューラルネットワーク(GNN)をトレーニングするための有望なアプローチとして,TTT(Test-Time Training)が提案されている。テキスト分散グラフ(TAG)上でのLLM(Large Language Models)の優れたアノテーション能力に着想を得て,LLMをアノテータとしてグラフ上でのテスト時間トレーニングを強化することを提案する。 2段階のトレーニング戦略は、限定的でノイズの多いラベルでテストタイムモデルを調整するように設計されている。
論文参考訳（メタデータ） (2024-04-21T08:20:02Z)
Fuzzy Fingerprinting Transformer Language-Models for Emotion Recognition in Conversations [0.7874708385247353]
会話における感情認識(ERC)を実現するための2つのアプローチを組み合わせることを提案する。我々は,事前に訓練したRoBERTaに発話と以前の会話のターンを供給し,文脈的埋め込み発話表現を得る。広く使われているDailyDialog ERCベンチマークデータセットに対するアプローチを検証する。
論文参考訳（メタデータ） (2023-09-08T12:26:01Z)
Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
論文参考訳（メタデータ） (2022-04-15T07:38:08Z)
Distributed Word Representation in Tsetlin Machine [14.62945824459286]
Tsetlin Machine (TM) は命題論理に基づく解釈可能なパターン認識アルゴリズムである。 tmに事前学習した単語表現を用いる新しい手法を提案する。このアプローチはTM性能を大幅に向上させ、同時に解釈性を維持します。
論文参考訳（メタデータ） (2021-04-14T14:48:41Z)
On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
論文参考訳（メタデータ） (2020-11-02T13:14:57Z)
Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
論文参考訳（メタデータ） (2020-10-12T19:42:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。