PySpark Import Error

from pyspark import SparkContext

ImportError: No module named py4j.java_gateway

echo $SPARK_HOME 을 확인할것, 만일 spark 설치 폴더가 아닐경우, export 할것

해당 라이브러리를 사용하고자 할경우, 2개의 PATH (SPARK_HOME, PYTHONPATH) 를 설정해야 한다. 

export SPARK_HOME=/working/spark/spark-1.3.1-bin-hadoop2.6

export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

py4j 를 사용하기 위해서 해당 디렉토리의 zip 파일을 path로 설정해야 한다. 

.bashrc에 포함하여 해당 account의 shell이 실행될 때마다 위의 path export가 실행 될 수 있도록 한다.