코드 설명: 1. 연루 클래스를 `스파크` 세션으로 가져옵니다. 2. `df` DataFrame의 스키마 인쇄. 3. `df` DataFrame에서 모든 레코드의 이름을 표시합니다. 클러스터에서 스파크 응용 프로그램을 시작하는 가장 일반적인 방법은 셸 명령 스파크 제출을 사용하는 것입니다. 스파크 제출 셸 명령을 사용하는 경우 스파크 제출 셸 스크립트가 단일 인터페이스를 통해 클러스터 관리자를 사용하기 때문에 스파크 응용 프로그램은 각 클러스터에 대해 특별히 구성할 필요가 없습니다. Spark-submit 스크립트에는 아파치 스파크 응용 프로그램에서 사용하는 리소스를 제어하는 데 도움이 되는 여러 플래그가 있습니다.

스파크 제출 플래그는 스파크 컨텍스트 개체에 구성을 동적으로 공급합니다. @Hardik 데이브 아마 세 가지 최고의 자원은 아파치 스파크 프로그래밍 가이드가 될 것입니다 [1], 이는 스파크 쉘 또는 스칼라에서 Zeppelin 노트북에서 실행할 수있는 많은 예를 배치, 파이썬 또는 자바, HDP 스파크 자습서 [2], 그리고 GitHub의 예제 프로그램 [3]. 예제 프로그램에는 모두 일괄 처리 작업에 대해 설정하는 방법을 보여 주는 기본 방법이 포함되어 있습니다. 마지막으로 Sbt 네이티브 패키지 [4] 또는 sbt 어셈블리 [5]를 체크 아웃할 수 있습니다.이 앱은 지방 항아리에 스칼라 앱을 패키징하는 데 유용합니다. 위의 줄 ~/.bashrc 파일을 추가하고 저장합니다. PATH 변수를 설정하면 위치 /usr/local/spark/bin에서 스파크 실행 되는 저장소가 찾습니다. 그런 다음 트윗에 대한 의미 분석을 실행하여 현재 지진 발생을 참조하는 것으로 보이는지 확인해야 합니다. 예를 들어 “지진!” 또는 “지금은 흔들리고 있다”와 같은 트윗은 긍정적인 일치를 고려하는 반면 “지진 컨퍼런스 참석” 또는 “어제 지진은 무서웠다”와 같은 트윗은 그렇지 않습니다.

논문의 저자는 이를 위해 지원 벡터 머신(SVM)을 사용했습니다. 여기에서도 동일한 작업을 수행하지만 스트리밍 버전을 시도할 수도 있습니다. MLlib의 결과 코드 예제는 다음과 같습니다. 그러나 몇 가지 수정 1) 다른 문이 아니라 식,2) 스칼라 3) 목록에서 변경할 수없는 경우 목록은 파이썬과 달리 균일합니다.