개발 18

Hyper-V 에서 Kubernetes 설치하기

Ubuntu 18.04 / 20.04 를 Hyper-V에 띄운 후 K8s를 Step By Step으로 설치합니다. 이 포스트는 일반적인 minikube / kubespray 등 설치 패키지를 사용하지 않고 kubernetes 구성을 이해하기 위해 마스터, 워커 노드 구성 요소를 하나하나 바이너리 레벨로 설치하는 것을 목표로 합니다. Linux 기본 지식이 필요합니다. 먼저 마스터노드와 워커노드에 공통으로 필수적인 Kubelet, containerd, cni plugins, runC를 설치합니다. sudo su cd ~ # dsn resolve sh -c 'echo "DNS=8.8.8.8 8.8.4.4" >> /etc/systemd/resolved.conf' systemctl restart systemd-..

개발/Kubernetes 2022.05.27

오픈소스 무료 윈도우 도커 컨테이너 실행하기

도커 데스크탑이 라이센스 변경으로 유료화 되었습니다. 소규모 기업이나 개인은 무료로 사용가능 하지만 일정 규모 이상 기업에서는 개발이나 테스트용으로도 유료를 구매해야 쓸 수 있습니다. 도커 데스크탑이 아닌 아직 도커 CLI와 도커엔진은 무료이므로 일반적인 리눅스 기반 컨테이너라면 윈도우10과 Hyper-V에 리눅스를 설치하거나 WSL2에 Docker를 설치해 리눅스 컨테이너를 실행해 개인 개발 환경 등에 사용할 수는 있습니다. 하지만 윈도우를 도커라이즈한 윈도우 컨테이너라면 리눅스 도커로 실행이 안됩니다. 이럴때는 다음과 같은 조합을 사용하면 무료 오픈소스로 사용 가능합니다. 윈도 도커 컨테이너 유료화 대응 무료진영 https://github.com/containerd/containerd containe..

개발/Kubernetes 2022.03.30

AI, ML, 머신러닝, 딥러닝의 한계에 대한 생각

게리 마커스의 딥러닝의 한계 (https://nautil.us/deep-learning-is-hitting-a-wall-14467/)에 대한 글을 보고 제가 실무에서 딥러닝 모델을 사용하는 서비스를 개발하며 겪은 AI와 머신러닝에 대해 이야기 해보려고 합니다. AI와 머신러닝을 배우는 사람, 무엇인지 알고있는 사람은 이 딥러닝에 대해 엄청난 기대감을 가지게 됩니다. 그럴 수밖에 없는 것이 이것은 마치 사람처럼, 어떨 때는 사람이 놓친 부분들에 대해 사람보다 뛰어나게 판단을 해주기 때문에 곧바로 이것을 쓰면 내가 봉착해있는 어떤 문제에 대한 솔루션을 이 딥러닝 학습된 AI를 적용하면 뭐든 해결될 것 같은 희망을 보기 때문입니다. 그러나 실제 현장에서 실무에 딥러닝 AI를 넣는 것은 생각보다 제한적이며 어렵..

개발/ETC 2022.03.12

JAVA Log4J2 취약점 - CVE-2021-44228

JAVA에서 굉장히 흔하게 사용하는 Log4J2에 크리티컬한 취약점이 발견되었다. Steam, AWS, Apple 등 거의 대부분의 자바를 사용하는 웹서버가 취약점에 노출되었으며, 실행 난이도가 너무 쉬워서 파급력이 상상을 초월할 지경이다. RIP... https://www.lunasec.io/docs/blog/log4j-zero-day/ RCE 0-day exploit found in log4j, a popular Java logging package | LunaSec Given how ubiquitous this library is, the impact of this vulnerability is quite severe. Learn how to patch it, why it's bad, and mor..

개발/ETC 2021.12.11

AWS Athena Partition Projection 이란?

AWS Athena 사용중 Partition Projection을 통해 테이블 조회 쿼리 실행 시간이 3~5분에서 5초로 절감되는 케이스가 있었습니다. 오늘은 비교적 최근에 나온 이 기능에 대해 간단히 설명하는 포스팅입니다. AWS S3에 적재된 대규모 로그 데이터를 쿼리하기 위해 AWS Athena에서 테이블을 생성해 S3의 경로를 지정하고 테이블을 만들어 쿼리하게 됩니다. 데이터의 양이 많은 경우 데이터 저장 방식을 Parquet로 개선하고, S3의 저장 경로를 Athena가 파티셔닝할 수 있게 Key에 Partition 구분자를 두어 쿼리가 실행될 때 Scan 되는 데이터의 양을 줄여 속도를 개선시키게 됩니다. Athena Partition Doc : https://docs.aws.amazon.co..

개발/AWS 2021.10.15

Backend System Architecture 구성 경험담 정리

대규모, 특히 글로벌 서비스 규모나 그 규모로 확장이 예상될때 시스템 플랫폼에 어떤 장비나 오픈소스, 상용 서비스를 검토하면 좋은 선택이 될 수 있는가에 대한 선택과 사용 경험을 정리해 보려고 합니다. 주로 Kubernetes에서 운영되는 것과 AWS 서비스로 경험하였기 때문에 이것들 위주로 정리했습니다. 여기 나열된 것은 정답지가 아닙니다. 100가지 상황에는 100가지 해답이 있다고 생각합니다. Container Orchestration Kubernetes 대규모 서비스의 인프라는 현재 쿠버네티스 이외의 선택지가 존재하지 않습니다. AWS의 경우 EKS, Azure는 AKS, Google의 경우 GKE를 사용하면 됩니다. 온프레미스로 직접 구축하는 경우... 글로벌 서비스를 이걸로 할 생각 하는 거면..

개발/ETC 2021.09.02