본문 바로가기

전체 글76

[Spark] No space available in any of the local directories 이슈 org.scala-lang.modules#scala-xml_2.11;1.2.0 from spark-list in [default] org.slf4j#slf4j-api;1.7.25 from spark-list in [default] xml-apis#xml-apis;1.4.01 from spark-list in [default] xml-resolver#xml-resolver;1.2 from spark-list in [default] :: evicted modules: org.slf4j#slf4j-api;1.7.21 by [org.slf4j#slf4j-api;1.7.25] in [default] org.slf4j#slf4j-api;1.7.16 by [org.slf4j#slf4j-api;1.7.21] in [d.. 2022. 1. 26.
NGINX Logrotate 적용 1. rotate 스크립트 작성 sudo vim /etc/logrotate.d/{my} /home1/irteam/logs/nginx/*.log { daily dateext missingok rotate 14 sharedscripts # 로그 파일이 여러개 있어도 스크립트를 공유하여 postrotate~endscript 한 번만 실행 postrotate # 스크립트 [ -f /home1/irteam/logs/nginx/nginx.pid ] && kill -USR1 `cat /home1/irteam/logs/nginx/nginx.pid` endscript } 2. logrotate 수행 sudo /usr/sbin/logrotate -f /etc/logrotate.d/my 3. Cron 스케줄링 59 23 *.. 2022. 1. 11.
갤럭시 S21 Ultra 개발자 모드 활성화 방법 갤럭시 S21 Ultra 개발자 모드 켜는 방법이다. 갤럭시 S2 시절부터 잘 켜고 댕겼는데 갑자기 까먹어서 정리해봄. 1. 설정 > 휴대전화 정보에 접근 2. 소프트웨어 정보 클릭 빌드번호를 7번 클릭하면 된다. 클릭 횟수에 따라 아래와 같이 토스트 메시지가 뜸 계속 클릭하다 보면 되는데, 개발자 모드를 이미 켜서 필요하지 않습니다 라는 메시지가 뜨면 활성화 된 것. 3. 활성화 된 설정 화면 2021. 10. 29.
[Shell] wget 명령어로 FTP 파일 or 폴더 다운로드 외부 FTP에 있는 파일들을 Linux 서버로 다운로드 받아야하는 상황이다. 구현 방법에는 여러가지가 있지만 wget 명령어를 통해 특정 파일 또는 디렉토리에 있는 파일들을 한 번에 받는 방법이 있다. 특정 파일 다운로드 wget --user={username} --password={password} ftp://{host}/{directory_path}/{file_path} -O {download_path} # Example (FTP경로 /picture/20211015/01.jpg 파일 다운로드하는 경우) wget --user=user1 --password=test1234 ftp://111.222.333.444/picture/20211015/01.jpg -O ~/download/01.jpg 특정 폴더 내.. 2021. 10. 15.
Mac 자물쇠 비밀번호 안되는 문제 시스템 설정을 하는 과정에서 자물쇠 비밀번호가 로그인할 때와 같이 입력해도 되지 않는 문제가 있었다. macOS Big Sur 버전 11.1 예전 버전에는 잘 됐었는데 업데이트 후 이런 현상이 발생했다. 찾아보니 Big Sur 11.1 버전부터 T2 보안칩이 탑재된 Mac에 SMC(시스템 관리 컨트롤러)를 재설정 한다고 나와있다. T2 보안 칩 탑재 여부 확인 모델명으로 으로 볼 수 있지만, 시스템 정보에서 확인 가능하다. (최신형 Mac 대부분 적용) SMC 재설정 노트북이라면 아래와 같이 적용. Mac 종료 전원 버튼 10초 이상 꾹 누르고 뗌 몇 초 기다린 후 전원 버튼 눌러 켠다 이 후 자물쇠 비밀번호가 잘 되는 것을 확인 참고 https://support.apple.com/ko-kr/HT2031.. 2021. 2. 16.
[Spark] RDD에서 DataFrame 변환 시 NullPointerException 문제 RDD를 DataFrame으로 변환하여 뭔가를 하는 과정에서 NPE 예기치 않은 오류가 발생했다. StackTrace를 보니 흔하디 흔한 NPE 가 발생했는데 아무리 봐도 정확한 원인을 찾을 수가 없었다. 내가 짠 코드에서 발생한 NPE라면 해당 클래스와 라인이 찍혔을텐데, 전혀 그런 흔적은 보이지 않았다. r1.map(_._2.toString).map(xml => RawParser.parse(Jsoup.parse(xml))).toDF.show [Stage 1:> (0 + 1) / 1]21/01/25 20:39:44 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 1.0 (TID 1, xx, executor 52): java.lang.NullPointerE.. 2021. 1. 26.
Mac OS 멀티 윈도우 (Space) 순서가 자주 바뀌는 문제 Mac OS를 사용하면서 멀티 윈도우 기능을 뺄 수가 없는것 같아요. 특히나 개발하는 경우 여러 개발 툴들을 전체화면해서 Space마다 지정하고 간혹 스플릿 뷰를 통해 화면을 분할해서 쓰기도 하는데요. 기분탓인지 기껏 정렬해놓은 윈도우들이 바뀌는 케이스가 발생하곤 했습니다. 만약 윈도우마다 왔다갔다 하면서 작업 해야하는 경우 정렬이 바뀌니 당황스럽더라구요. 가끔씩 짜증 날때도..ㅎㅎ. 이럴 때 유지하기 위해서 설정을 통해 바꿀 수 있습니다. Mac → 시스템 환경설정 → Mission Control 로 들어가서 첫번째 체크박스를 보면 Space를 최근 사용내역에 따라 자동으로 재정렬 항목이 있는데 기본으로 체크가 되어있을겁니다. 이 항목만 봐도 말 그대로 자동으로 재정렬 해준다는 것을 알 수 있죠. (기.. 2020. 6. 30.
배치 파이프라인 도입을 위한 Workflow 리서치 (Airflow VS Azkaban VS Oozie) 현업에서 데이터 처리를 위한 Workflow가 잘 되어있지 않은 상황이다. 외부에서 데이터를 끌어와 변환하고 적재하는 ETL 작업 뿐만 아니라 비즈니스 로직에서 처리해야할 배치가 수십개가 넘어가는데, 이 플로우를 한 눈에 파악하고 수행할 도구가 없다 보니 손이 많이 간다. 개발된 배치의 형태는 다양하다. Spark Job 이 대부분이고 전처리 단계에서는 Shell Script, Python Script, Command Line 등 다양한 형태로 존재한다. 하나의 단위(Task)가 끝나면 다음 단위를 수행하고 마지막으로 처리할 단위를 끝으로 하나의 플로우가 마무리된다. 이들은 각각 Linux상에서 crontab 으로 구현되어 있다. Cron 표현식을 통해 한 단위를 주기적으로 Triggering 하는데, .. 2020. 6. 29.
IntelliJ SBT compile Error (Out Of Memory) Intellj 로컬에서 Scala Compile을 할 때 SBT compile을 사용한다. SBT Console SBT Action 에서 compile 커맨드로 컴파일을 하지만 다음과 같은 Out Of Memory (OOM) 오류가 발생했다. [debug] Forcing garbage collection... java.util.concurrent.ExecutionException: java.lang.OutOfMemoryError: GC overhead limit exceeded at java.util.concurrent.FutureTask.report(FutureTask.java:122) at java.util.concurrent.FutureTask.get(FutureTask.java:192) at sb.. 2020. 6. 23.
웹사이트 분석 도구 비교! Google Analytics VS Matomo 사용자 분석도구로 가장 많이 쓰이는 GA와 대체제인 Matomo를 비교해본다. 웹 기반의 서비스를 런칭한 후 어떤 툴이 비즈니스 적으로 더 도움이 되고 더 편리할지 리서칭을 하기 위함. Matomo Matomo: Complete Analytics. 100% Yours. 국제 개발자 팀이 개발한 오픈소스 웹 분석 프로그램이다. Google Analytics와 기능이 유사하며 Matomo 진영에서는 GA의 대안으로 주장한다. 특징 오픈소스 PHP, MySQL 기반 다양한 분석 기능 제공 visitor profile, heatmap, session recording, funnels 등 Customizing 가능 마켓플레이스 유/무료 플러그인 존재 및 제공 (https://plugins.matomo.org/) .. 2020. 6. 22.