vLLM1 [vllm] 설치하기 (Linux 환경을 위해, WSL 2 환경에서 설치) vllm을 설치하고 실행해보자.vllm은 기본적으로 CUDA 11.8 이상이 필요합니다.AMD GPU는 현재 공식적으로 지원되지 않으므로 NVIDIA GPU 사용을 권장. https://github.com/vllm-project/vllm/blob/main/vllm/entrypoints/llm.py vllm/vllm/entrypoints/llm.py at main · vllm-project/vllmA high-throughput and memory-efficient inference and serving engine for LLMs - vllm-project/vllmgithub.com 1. Python 3.10 설치 (Windows)python --version # Python 3.10.x가 출력되어야 함.. 2025. 2. 24. 이전 1 다음
