유리상자 속 이야기

이번 포스팅에서는 RedHat 에 Tensorflow 를 GPU 모드로 설치해 보려고 합니다.

방법은 VirtualEnv 를 사용할 것입니다. 그리고 Tensorflow 는 pip 를 통해서 설치합니다.

현재 최신 Tensorflow 는 1.3.0 입니다.

그리고 제가 사용하는 그래픽카드는 Tesla K80 입니다.

CUDA 설치

1. gcc 설치

sudo yum groupinstall 'Development Tools'

2. Kernel header 와 development package 설치

sudo yum install kernel-devel-$(uname -r) kernel-headers-$(uname -r)

3. Nouveau driver 종료

설치를 위해서는 현재 실행중인 Nouveau driver 를 종료시켜야 합니다.

Nouveau driver 의 실행유무는 아래 명령어를 통해서 확인 가능합니다.

lsmod | grep nouveau

어떤 항목이라도 출력되는게 있다면, Nouveau driver 가 로드되었다는 뜻입니다.

실행을 막기 위해서 아래 절차를 실행합니다.

/etc/modprobe.d/blacklist-nouveau.conf 파일을 아래 내용으로 만들어 넣습니다.

blacklist nouveau
options nouveau modeset=0

그 뒤에 아래 명령어를 통해서, kernel initramfs 를 재생성 합니다.

sudo dracut --force

runlevel

lsmod | grep nouveau

$ sudo sh cuda_<version>_linux.run

sudo sh NVIDIA-Linux-x86_64-375.51.run

8. Device Node 검증

/dev/nvidia* 에 파일들이 있는지 확인합니다.

그 어떤 파일도 없다면 아래 스크립트를 만들고 실행하여, 생성합니다.

#!/bin/bash 

/sbin/modprobe nvidia 

if [ "$?" -eq 0 ]; then 
    # Count the number of NVIDIA controllers found. 
    NVDEVS=`lspci | grep -i NVIDIA` 
    N3D=`echo "$NVDEVS" | grep "3D controller" | wc -l` 
    NVGA=`echo "$NVDEVS" | grep "VGA compatible controller" | wc -l` 
    
    N=`expr $N3D + $NVGA - 1` 
    for i in `seq 0 $N`; do 
        mknod -m 666 /dev/nvidia$i c 195 $i 
    done 
    
    mknod -m 666 /dev/nvidiactl c 195 255 
    
else 
    exit 1 
fi 

/sbin/modprobe nvidia-uvm 

if [ "$?" -eq 0 ]; then 
    # Find out the major device number used by the nvidia-uvm driver 
    D=`grep nvidia-uvm /proc/devices | awk '{print $1}'` 
    
    mknod -m 666 /dev/nvidia-uvm c $D 0 
else 
    exit 1 
fi

9. Driver 설치 확인

간혹 CUDA 8.0 에 포함된 Nvidia 드라이버가 현재 설치된 그래픽카드를 지원하지 않는 경우가 있다.

아래 명령어를 통해서 그래픽 카드 이름이 제대로 표시되는지 확인한다.

nvidia-smi

만약 제대로 표시되지 않는다면, Nvidia 홈페이지에서 그래픽카드 드라이버를 새로 받아서 드라이버만 재설치하면 된다.

설치 한 뒤에, 재부팅하고 아래 명령어를 실행해 준다.

modprobe --force-modversion nvidia-uvm

10. 환경변수 설정

설치가 완료되고나면, CUDA 와 Libary 경로를 잡아줍니다.

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}

64비트일 경우,

export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64\
                         ${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

32비트일 경우,

export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib\
                         ${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

tar -xzvf cudnn-8.0-linux-x64-v6.0.tgz

sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64

그리고나서 헤더파일에 읽기 권한을 줍니다.

sudo chmod a+r /usr/local/cuda/include/cudnn.h

export CUDA_HOME=/usr/local/cuda

sudo rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm

sudo yum install python-pip python-devel.x86_64 python-virtualenv

sudo pip install --upgrade pip
sudo pip install --upgrade setuptools
sudo pip install --upgrade virtualenv

virtualenv --system-site-packages ~/tensorflow

source ~/tensorflow/bin/activate

3. Tensorflow 설치

pip install --upgrade tensorflow-gpu

>>> import tensorflow as tf 
>>> hello = tf.constant('Hello, TensorFlow!') 
>>> sess = tf.Session() 
>>> print(sess.run(hello))

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64/

source ~/.bash_profile

CUDA Toolkit 은 9.0

cuDNN 은 7.0

버전별로 해당 의존 라이브러리 버전만 다릅니다 :)

이를 참고하여 버전만 맞게 설치하시면 됩니다.