### Feature request / 功能建议 经过对比测试,MiniCPM Reranker模型的效果非常之好,然而响应速度较慢,请问何时可以支持vllm部署,万分感谢
Activity
Kaguya-19 commentedon Nov 7, 2024
您好,由于Reranker采用的是双向注意力,无kv cache机制,因此使用vllm部署并不会有较大的提升。您可以尝试转成onnx