AI推理引擎算法工程师
- NIO
- Shanghai, Beijing, China
- CNY 300,000 – CNY 500,000
北京、上海校招正式数字技术 - 算法博士及以上Super Sparks 招聘计划职位 ID：A169287
职位描述
- 参与大模型推理引擎的设计和研发，支撑自研以及开源模型的快速部署和高性能推理；
- 通过各种技术手段持续优化性能，降低推理成本，包括但不限于:算子/编译优化、异构推理、分布式并行等；
- 学习并应用业界前沿的推理优化技术，KV Cache优化、模型量化(Quantization)、剪枝(Pruning)，跨机分布式推理优化等；
- 对 Transformer 架构及主流大模型(如GPT、Llama、Qwen等)的推理特性有基本理解，了解大模型推理的基本流程和常见挑战(如延迟、吞吐、内存占用)；
- 在资深工程师指导下，参与优化内存管理、计算资源分配与调度策略，提升模型推理速度和资源利用率。学习并使用性能分析工具(如Nvidia Nsight)进行瓶颈定位和优化。
职位要求
- 熟练掌握 C++ 和 Python 编程语言，具备扎实的数据结构、算法和操作系统基础熟悉至少一种主流的深度学习框架(如 PyTorch、TensorFlow)，了解其基本实现原理了解GPU编程(如 CUDA)或并行计算，有相关的课程项目或实验经验；
- 有开源大模型推理框架(vllm/sglang/trt-llm)使用和优化经验者优先;
- 有cuda或triton开发优化gpu算子经验者优先；
- 有NVIDIA 等算力芯片优化经验者优先。
投递
Skills
- C++
- Python
- CUDA
- PyTorch
- TensorFlow
- vLLM
- Model Quantization
