Kserve

KServe 主要用于模型推理，支持多种模型格式和框架，如 TensorFlow、PyTorch、ONNX 等。它提供了一个统一的 API 来管理和部署机器学习模型，并支持自动扩缩容、版本控制等功能。