OpenShift AI (RHOAI) pre ML workloady
Jupyter, KServe a pipeline pre model training.
OpenShift AI (predtým Red Hat OpenShift Data Science, RHODS) je platforma pre data science, ML training a model serving na OpenShift. Balí Jupyter workbenches, KServe, Data Science Pipelines, distribuovaný training a model registry.
Workbenches sú predpripravené Jupyter images s kúskami TensorFlow, PyTorch, scikit-learn a ROCm/CUDA drivermi. Data scientist si klikne "Create workbench", zvolí resource profile (napr. 4 vCPU + 16 GB + 1 GPU) a za minútu má lokálne prostredie v prehliadači. PVC drží notebooks medzi restartami.
KServe je next-gen model serving (nástupca ModelMesh). Definuje InferenceService CR – dáš mu S3 URI s modelom, runtime (TensorFlow Serving, TorchServe, OpenVINO, vLLM pre LLM) a KServe vystaví HTTPS endpoint s auto-scaling, canary rollout a metrikami. Pre veľké LLM (7B+) siahni po vLLM runtime s continuous batching.
Data Science Pipelines sú Kubeflow Pipelines packagované pre OpenShift. Definuješ pipeline v Pythone (`@dsl.component` dekorátor), skompiluješ na Argo Workflow YAML a spustíš cez UI alebo API. Typický flow: fetch data → preprocess → train → evaluate → register model → deploy. Každý krok je pod, artefakty v S3.
GPU podpora je cez NVIDIA GPU Operator (pre A100/H100/L40) a AMD ROCm Operator (pre MI300). Operator nasadí drivery ako DaemonSet, DevicePlugin a MIG (multi-instance GPU) config pre partitioning. Pre inference sharing GPU cez MIG dovolí bežať 7 malých modelov na jednom A100 – exceloné pre cost optimization pri LLM.