Installera NVIDIA-drivrutiner på en GPU instans

Linux

Följande steg är testade på Ubuntu 20.04.4 LTS (Focal Fossa)

1. Verifiera att instansen kan se grafikkortet
   

$ lspci | grep -i nvidia

Exempelsvar:

00:05.0 VGA compatible controller: NVIDIA Corporation Device 2236 (rev a1)

2. För att installera drivrutinen så behöver g++ och make vara installerat, vi installerar även DKMS för att registrera NVIDIA Kernel Module.

$ sudo apt update
$ sudo apt -y install build-essential dkms 

3. Ladda ner drivrutinerna

NVIDIA-drivrutinen är beroende av NVIDIA VGPU Manager versionen.

För närvarande kör vi version 470.82 på VGPU Manager vilket innebär att ni behöver köra version 470.82.01 av drivrutinen. Mer information om kompatibla versioner finns här https://docs.nvidia.com/grid/

$ wget https://storage.googleapis.com/nvidia-drivers-us-public/GRID/GRID13.1/NVIDIA-Linux-x86_64-470.82.01-grid.run
$ chmod +x NVIDIA-Linux-x86_64-470.82.01-grid.run
$ sudo ./NVIDIA-Linux-x86_64-470.82.01-grid.run --dkms --no-cc-version-check --ui=none --no-questions

Vi kan verifiera att drivrutinen installerades korrekt genom att kolla i loggen /var/log/nvidia-installer.log

4. Kör nvidia-smi för att verifiera

Fri Mar  4 16:00:20 2022
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.82.01    Driver Version: 470.82.01    CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA A10-6Q       On   | 00000000:00:05.0 Off |                    0 |
| N/A   N/A    P8    N/A /  N/A |    576MiB /  5976MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

Notera att ni behöver kontakta oss för att få en licens till er instans, prestandan på instansen kommer vara låst till 10% innan ni aktiverat licensen.

5. När ni har fått licens-nyckeln av vår support kan ni lägga den i /etc/nvidia/ClientConfigToken/
   
   ex. /etc/nvidia/ClientConfigToken/client_configuration_token.tok

Starta om nvidia.gridd

$ sudo systemctl restart nvidia-gridd

6. Verifiera licensstatus med nvidia-smi -q | grep License

License Status                    : Licensed (Unrestricted)

7. Installera CUDA Toolkit

$ wget https://developer.download.nvidia.com/compute/cuda/11.2.0/local_installers/cuda_11.2.0_460.27.04_linux.run
$ chmod +x cuda_11.2.0_460.27.04_linux.run
$ sudo ./cuda_11.2.0_460.27.04_linux.run --silent --toolkit --override --no-opengl-libs --no-drm

8. Installera CudNN

$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/libcudnn8_8.1.0.77-1+cuda11.2_amd64.deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/libcudnn8-dev_8.1.0.77-1+cuda11.2_amd64.deb
$ dpkg -i libcudnn8_8.1.0.77-1+cuda11.2_amd64.deb libcudnn8-dev_8.1.0.77-1+cuda11.2_amd64.deb

9. Installera Tensorflow (valfritt)

$ sudo apt install python3-zip
$ pip3 install tensorflow==2.6.0

Windows

NVIDIA-drivrutinen är beroende av NVIDIA VGPU Manager versionen.

För närvarande kör vi version 470.82 på VGPU Manager vilket innebär att ni behöver köra version 470.82.01 av drivrutinen. Mer information om kompatibla versioner finns här https://docs.nvidia.com/grid/

1. Ladda ner drivrutinen från https://storage.googleapis.com/nvidia-drivers-us-public/GRID/GRID13.1/472.39_grid_win10_win11_server2016_server2019_server2022_64bit_international.exe
2. Kör filen

3. Efter installationen är klar så behöver ni starta om instansen
4. Öppna enhetshanteraren devmgmt.msc
5. Verifiera att windows har upptäckt grafikkortet under Display Adapters

Notera att ni behöver kontakta oss för att få en licens till er instans, prestandan på instansen kommer vara låst till 10% innan ni aktiverat licensen.

6. Kopiera klient-token till mappen %SystemDrive%:\Program Files\NVIDIA Corporation\vGPU Licensing\ClientConfigToken det finns mer information från nvidia här: https://docs.nvidia.com/grid/latest/grid-licensing-user-guide/#configuring-nls-licensed-client-on-windows
7. Öppna tjänster services.msc och starta om NvDisplayContainer