yayz's devlog

99클럽 코테 스터디 16일차 TIL

bandal-gom — Tue, 15 Apr 2025 23:08:08 +0900

뜨문뜨문한 TIL...이대로 괜찮은가?

오늘의 문제

백준 25757 – 임스와 친구들

문제요약

게임 종류(Y/F/O)에 따라 참여 인원 수가 다름 (2/3/4)
중복된 닉네임 제거 후, 최대 몇 게임 가능한지 계산

풀이 전략

입력값을 받은 후, set으로 중복된 닉네임 제거
게임에 따라 추가로 필요한 인원수를 dict로 저장
중복이 제거된 플레이어 이름에서 선택된 게임에서 필요한 인원수를 나눈값만큼 게임 플레이 가능

코드

import sys

prmpt = sys.stdin.readline().split()
names = [sys.stdin.readline().strip() for _ in range(int(prmpt[0]))]

games = {'Y': 1, 'F': 2, 'O': 3}
curr_game = games[prmpt[1]]

names_set = set(names)
print(len(names_set)//curr_game)

Leetcode 191 – Number of 1 Bits

문제 요약

정수 n에서 이진수로 나타낸 1의 개수 세기 (= Hamming Weight)

풀이 전략

bin 함수를 사용해서 이진수로 변환 후, 1의 개수 세기
&, >> 연산자를 사용해서 1의 개수 카운트하는 방법
- n & 1로 마지막 bit 검사
- >>로 비트 오른쪽으로 쉬프트

코드

# bin, count 함수 사용 
class Solution:
    def hammingWeight(self, n: int) -> int:
        return bin(n).count('1')

# bit operation 
class Solution:
    def hammingWeight(self, n: int) -> int:
        count = 0
        while n:
            count += n & 1
            n >>= 1
        return count

99클럽 코테 스터디 11일차 TIL

bandal-gom — Thu, 10 Apr 2025 23:53:41 +0900

오늘의 문제

706. Design HashMap

문제 요약

직접 해시맵 구현하기 (내장 hashmap 라이브러리 사용X)
key 범위: 0 <= key <= 10^6
최대 10^4번의 호출

풀이 전략

튜플 사용

고정 크기 버킷 배열 사용: self.map = [...]
충돌 해결 방식 → 각 버킷에 (key, value) 튜플을 리스트로 저장

class MyHashMap:

    def __init__(self):
        self.size = 10000 # 10^4 operation 대비? 
        self.map = [[] for _ in range(self.size)]

    def put(self, key: int, value: int) -> None:
        index = hash(key) % self.size
        for i , (k,v) in enumerate(self.map[index]):
            if k == key:
                self.map[index][i] = (key, value)
                return
        self.map[index].append((key, value))

    def get(self, key: int) -> int:
        index = hash(key) % self.size
        for i , (k,v) in enumerate(self.map[index]):
            if k == key: 
                return v
        return -1

    def remove(self, key: int) -> None:
        index = hash(key) % self.size
        self.map[index] = [(k,v) for (k,v) in self.map[index] if k != key]

LinkedList, Node 구현

배열 index당 LinkedList가 생성되는 구조 (Java의 Hashmap구조와 비슷..?)
단점: 구현해야하는 것이...조금 귀찮다

class MyHashMap:

    def __init__(self, size=10000):
        self.map = [LinkedList() for _ in range(size)]       

    def put(self, key: int, value: int) -> None:
        index = hash(key) % len(self.map)
        self.map[index].insert(key, value)        

    def get(self, key: int) -> int:
        index = hash(key) % len(self.map)
        ret = self.map[index].get(key)        
        if ret == None: 
            return -1
        else: 
            return ret

    def remove(self, key: int) -> None:
        index = hash(key) % len(self.map)
        self.map[index].remove(key)

class LinkedList:
    def __init__(self): 
        self.head = None 

    def insert(self, key, value): 
        node = self.head
        while node: 
            if node.key == key:
                node.value = value
                return 
            node = node.next
        new_node = Node(key, value, self.head)
        self.head = new_node

    def get(self, key): 
        node = self.head
        while node: 
            if node.key == key:
                return node.value 
            node = node.next 
        return None

    def remove(self, key): 
        prev = None
        node = self.head
        while node: 
            if node.key == key:
                if prev: 
                    prev.next = node.next
                else: 
                    self.head = node.next
                return 
            prev = node
            node = node.next 

class Node: 
    def __init__(self, key, value, next=None):
        self.key = key
        self.value = value
        self.next = next

Python: 배운 문법 & 구조

리스트 컴프리헨션

[...] 바깥이 최종 리스트
안에 for문 돌면서 채우는 방식
조건 필터링도 가능

튜플

(key, value) 형태
(1,) ← 하나만 있을 땐 쉼표 필요
리스트 안에 튜플 넣어서 사용

`remove()` 구현 이유

list.remove()는 전체 튜플을 알아야 동작함 → value 모르면 불가능
그래서 조건 필터링으로 새 리스트 생성하는 방식이 현실적

성능 관련 고찰

문제점:

get() / put() / remove() 전부 충돌 시 리스트 선형 탐색 → O(n)
버킷 수가 작으면 충돌 많아서 느려짐

해결 전략:

버킷 수 늘리기: 10007, 20011 같은 소수 추천
튜플 대신 Node 클래스 쓸 수도 있지만, 느림
Open Addressing 방식은 구현 복잡하지만 더 빠름 -> dict가 이런 방식으로 구현되어있다고 함

99클럽 코테 스터디 10일차 TIL

bandal-gom — Wed, 9 Apr 2025 23:56:22 +0900

오늘의 문제

LeetCode 347: Top K Frequent Elements
LeetCOde 2283: Check if Number Has Equal Digit Count and Digit Value

문제 요약

Top K Frequent Elements

nums 배열에서 가장 많이 등장한 k개의 숫자 return (배열로)
시간복잡도 O(nlogn)

풀이 전략

시간복잡도 O(nlogn) 이라, brute-force는 불가능

Counter 함수와 Heap을 사용해서 풀이
Counter 함수: 주어진 배열에서의 빈도수를 dictionary 형태로 생성 -> 시간복잡도 O(n)
Heap: 빈도 높은 k개를 추출하기 위해 사용 -> 시간복잡도 O(nlogn)

코드

from collections import Counter
import heapq 

class Solution:
    def topKFrequent(self, nums: List[int], k: int) -> List[int]:
        count_dict = Counter(nums)
        return heapq.nlargest(k, count_dict.keys(), key=count_dict.get)

heapq.nlargest(): 빈도 높은 k개의 요소 추출
count_dict.keys() 키값을 기준으로 iterate
count_dict.get (=value, 즉 빈도수) 를 비교 기준으로 삼아서 k개 추출

고민

함수만 사용해서 구현한것같은데 이게 맞나 싶음
직접 구현한 내용도 추가해보자

NHN FORWARD 2022 발표 후기

bandal-gom — Tue, 8 Apr 2025 23:57:19 +0900

25년에 올리는 22년도의 발표후기 (...) 22년도에 따끈하게 작성해두고 비공개 처리 해둔 글을 발견해서 다시 재발행 합니다... 유튜브 링크도 올라와서 추가했습니다!

내가 발표라니?!?!? 한번쯤은 해보고 싶다..라는 생각이 들었었지만 이렇게 하게 될 줄은 몰랐다! 우당탕탕 준비 하기는 했지만 겪어 보고 나니 정말 좋은 경험을 했다!

3년 만의 오프라인 컨퍼런스!

NHN FORWARD??

NHN에서 주최하는 기술 컨퍼런스이다. 2018년 부터 매년 주최하였고, 코로나로 인해 20년,21년은 온라인으로 진행되었다!

BE, FE, 그리고 앱개발 등 기술적인 내용을 발표하는 자리이기도 하고, 라운지 토크 처럼 시간은 라이트하지만 내용은 알찬! 세션들도 준비되어있다.

https://forward.nhn.com/2022

NHN FORWARD 22

기술로 더 나은 세상을 만들어 가는 사람들과 함께하는 NHN 기술 콘퍼런스 - 11월 24일에 만나요.

forward.nhn.com

이전년도 컨퍼런스는 사이트 하단에 링크 되어있다!

제가 발표한 것은.. Jenkins에서 Jenkins로의 여정!

현재 팀에서 진행했던 CI (= Jenkins)를 개선한 내용에 대한 경험을 공유하는 발표를 하였다. Jenkins X, Tekton, 그리고 Kubernetes Jenkins에 대해서 조사하고, 고민했던 내용들을 주로 얘기했다. 발표에 대한 내용은 아마 유튜브에 올라오게 될텐데, 업로드가 되는대로 본문에 링크 추가하겠습니다 ~.~

후기

너무나도 귀여웠던 뒷풀이 배너

떨리기도 떨렸고, 교수법 강의를 진행했을 때, 그리고 지금까지 했던 리허설 환경이랑은 아무래도 좀 다른 감이 있었다. 예를 들면, 교수법 강의때는 움직이며 (!) 청중과 상호작용하는 듯한 발표방식을 배웠었는데, 리허설 당시에는 프리뷰 화면 없이 저 너머의 누군가를 바라보는 영혼없는 동공으로 눈을 어디다 둬야할지 몰라서 갈곳을 잃었었다. 하지만 발표 당일 현장은 프리뷰 화면도 있고! 유튜브 업로드를 위한 촬영이 진행되었기에, 지정된 구역에서 벗어나면 안되었고, 또 스크린을 쳐다보는 것 보다는 프리뷰 화면을 쳐다보고 발표하는 것을 권장했었다. 발표하는 내내 연습 했던 것 처럼 무의식 적으로 스크린 화면을 쳐다보고 얘기하다가 아차! 싶어서 다시 프리뷰 화면으로 눈을 돌리고를 계속 반복했다. 그래도 결론적으로 발표는 잘 했다고 생각한다! 만족!

그리고 참석해주신 분들이 정말 많아서 놀랐다. 무려 만석! 타이핑 하시는 분들도, 슬라이드 장표를 찍으시는 분들도 많이 계셔서 뿌듯했다 :)

또 다시 기회가 생긴다면...다시 참여할 것 같다! ㅎ_ㅎ

발표영상

링크

99클럽 코테 스터디 9일차 TIL

bandal-gom — Tue, 8 Apr 2025 23:48:48 +0900

문제

BOJ 3986 - 좋은 단어

문제 요약

문자열에서 같은 알파벳끼리 짝을 지어야 함
선이 교차하지 않도록, 즉 스택 구조처럼 처리해야 함
모든 문자가 정확히 한 번만 짝지어지면 → "좋은 단어"

풀이 전략:

문자를 하나씩 순회하며:
- 스택이 비었거나 top이 다르면 → append()
- top과 현재 문자가 같으면 → pop()
단어 순회 후 스택이 비어 있으면 → 좋은 단어로 카운트
python에는 peek()이 없으므로, 배열 마지막 요소를 확인하는 것으로 대체

‍ 코드

import sys

n = int(sys.stdin.readline())
count = 0

for _ in range(n):
    word = sys.stdin.readline().strip()
    stack = []
    for c in word:
        if stack and stack[-1] == c:
            stack.pop()
        else:
            stack.append(c)
    if not stack:
        count += 1

print(count)

⏱ 시간 복잡도

O(n × m): (n = 단어 수, m = 평균 단어 길이)

공간 복잡도

O(m) (입력 문자열 한 줄씩 처리 → 리스트 저장 없이 공간 최소화) or O(m * n)

배운 점

스택 문제는 짝짓기 문제랑 매우 밀접함 (ex: 괄호, 알파벳, 연산자 등)
입력을 한 줄씩 처리하면 불필요한 공간 사용 줄일 수 있음 (백준에서 이런거 되는지 몰랐음)
str 같은 내장 타입 이름은 변수명으로 쓰지 않기

조금의 개선사항

첫 코드는 O(n × m) + 저장용 리스트로 메모리 조금 더 씀
개선된 버전은 저장 없이 바로 처리 → 메모리가 그렇게 크게..줄지는 않음!

[오브젝트] 01. 객체 설계

bandal-gom — Sun, 16 Mar 2025 23:25:02 +0900

책에서 기억하고 싶은 내용

절차지향에서의 객체는 수동적이며, 그저 데이터를 담는 존재일 뿐이다. 하지만 객체지향에서는 객체를 생명과 지능을 가진 능동적인 존재로 설계해야 한다.

이 책은 단순히 "객체지향이란 무엇인가?" 에서 멈추지 않고, "어떻게 하면 좋은 객체지향 설계를 할 수 있을까?" 라는 고민을 해결해준다.

훌륭한 객체지향 설계란 객체 간의 협력을 고려하면서, 의존성을 적절히 관리하는 설계다.
어떤 설계든 정답이 존재하는 것은 아니지만, 객체의 자율성을 높이고 불필요한 의존성을 줄이는 것이 좋은 설계로 이어진다.

"설계는 코드를 배치하는 것이다." 이 문장이 특히 인상적이었다.

절차지향에서는 데이터와 절차가 분리되어 있지만, 객체지향에서는 데이터와 절차가 하나의 모듈 안에 공존한다.
즉, 코드를 어떻게 배치하느냐에 따라 설계 방식이 결정된다.

✅ 3줄 요약

자신의 일은 스스로 하자! 정신을 가진 객체를 개발하자
"설계는 코드를 배치하는 것이다"
좋은 설계는 오늘 요구하는 기능을 온전히 수행하면서, 내일의 변경을 매끄럽게 수용할 수 있는 설계다

Docker Desktop for Mac + JDK 17이 실행되지 않는 이유 deep dive!

bandal-gom — Thu, 6 Mar 2025 23:45:25 +0900

최근 Docker Desktop for Mac 환경에서 JDK 17을 사용하는 Spring Boot 애플리케이션이 실행되지 않는 문제를 발견했다.

이상한 점은 Windows 환경에서는 정상 실행되지만, Mac에서는 실행 후 바로 종료된다는 것이다.
"환경 차이 때문인가?" 하지만 Docker는 OS와 무관하게 동일하게 실행되어야 하는데, 왜 이런 문제가 발생한 걸까?

정확한 원인을 찾기 위해 Deep Dive 해보았다.

문제상황

Mac에서 실행한 Docker Container의 로그를 확인한 결과,
JVM이 컨테이너 내부 리소스를 감지하는 과정에서 NullPointerException 발생했다.

java.lang.NullPointerException: Cannot invoke "jdk.internal.platform.CgroupInfo.getMountPoint()" because "anyController" is null

"왜 NPE가 발생하는 거지?"
"설마 Docker 컨테이너에 메모리 제한이 걸려있나?"
"JVM 설정이 뭔가 잘못됐나?"
여러 의문이 들었고, 하나씩 검증해보기로 했다.

Docker container 메모리 제한 확인

Docker 컨테이너는 실행할 때 각 컨테이너별로 자원 할당을 설정할 수 있다.
혹시 이 설정이 적용된 건 아닌지 확인하기 위해 아래 명령어를 실행했다.

docker exec -it <container_id> java -XX:+PrintFlagsFinal | grep -iE 'heap|memory'

실행결과:

size_t MaxHeapSize                              = 2055208960                                {product} {ergonomic}

별다른 JVM 설정을 하지 않았는데 heap 메모리가 제한된 것처럼 보인다.
Docker 컨테이너 자체에 리소스 제한이 있는지 추가로 확인해보았다.

docker inspect <container_id> | grep -i memory

실행결과:

"Memory": 0,
"MemoryReservation": 0,
"MemorySwap": 0,
"MemorySwappiness": null,

“Memory”: 0 값은 Docker container에 별다른 리소스 제한이 설정되지 않았다는 의미다.

그런데 JVM에서는 왜 제한이 걸린 것처럼 보일까?

검색을 통해 알아보니,
Docker Desktop for Mac은 내부적으로 Linux VM을 실행해 동작하며, 이 VM의 cgroup 설정이 JVM이 인식하는 것과 다를 수 있다는 것을 발견했다.
이게 정말 문제의 원인일까? 더 깊이 살펴보았다.

Docker Desktop 의 cgroup 확인

먼저, JVM이 cgroup 정보를 올바르게 읽을 수 있는지 확인했다.
아래 명령어를 실행하면 컨테이너 내부에서 사용 중인 cgroup 버전과 마운트 정보를 확인할 수 있다.

docker exec -it <container_id> cat /proc/self/mountinfo | grep cgroup

실행결과:

215 214 0:39 / /sys/fs/cgroup ro,nosuid,nodev,noexec,relatime - cgroup2 cgroup rw

이 결과로 볼 때, 컨테이너는 cgroup v2를 사용하고 있다.
Docker Desktop이 어떤 cgroup 버전을 사용하는지 추가 확인해보았다.

docker info | grep -i cgroup

실행결과:

Cgroup Driver: cgroupfs
Cgroup Version: 2

여기까지 확인했을 때 중요한 점은

Docekr Desktop for Mac은 cgroup v2를 사용
하지만! Driver는 cgroupfs(cgroup v1스타일) 사용

그런데...JVM도 cgroup v2, Docker Desktop도 cgroup v2라면...잘 동작해야하는거 아닌가?
또 다른 의문이 생겼다.

JDK 17의 Cgroup 설정 방식

이제 글 초반에 언급했던 NPE 에러 로그를 다시 살펴보자.
에러가 발생하는 위치를 확장해보면 아래와 같다.

Caused by: java.lang.NullPointerException: Cannot invoke "jdk.internal.platform.CgroupInfo.getMountPoint()" because "anyController" is null
    at java.base/jdk.internal.platform.cgroupv2.CgroupV2Subsystem.getInstance(CgroupV2Subsystem.java:81) ~[na:na]
    at java.base/jdk.internal.platform.CgroupSubsystemFactory.create(CgroupSubsystemFactory.java:113) ~[na:na]
    at java.base/jdk.internal.platform.CgroupMetrics.getInstance(CgroupMetrics.java:167) ~[na:na]
    at java.base/jdk.internal.platform.SystemMetrics.instance(SystemMetrics.java:29) ~[na:na]

이 에러가 발생하는 CgroupSubsystemFactory.java 코드를 보면 원인을 알 수 있다!!!!
CgroupSubsystemFactory.java가 갑자기 왜 나오나?! 라고 생각할 수 있겠지만,

JDK 9 버전 이상부터는 UseContainerSupport 옵션이 기본적으로 활성화된다.
이 옵션은 JVM이 컨테이너 환경을 감지하고 리소스 제한을 적용하는 기능이다.
해당 옵션을 제외하지 않는다면, CgroupSubsystemFactory.java 클래스를 실행하여 리소스 설정을 한다.
위의 목적으로 아래 코드들에서는 cgroup과 관련된 설정을 읽어온후 리소스에 대한 설정을 저장한다.

에러는 create 메서드에서 시작하지만, 좀 더 중요한 메서드, 코드 위주로 설명하도록 하겠다.

determineType() 메서드

현재 시스템의 cgroup설정을 파악하고 저장하기 위해서 아래 디렉토리들의 정보를 확인하고, 필요한 정보들을 저장하는 역할을 수행한다.

Optional<CgroupTypeResult> optResult = null;
try {
    optResult = determineType("/proc/self/mountinfo", "/proc/cgroups", "/proc/self/cgroup");
}
...
CgroupTypeResult result = optResult.get();
...    
Map<String, CgroupInfo> infos = result.getInfos();

여기서 주어진 디렉토리들은 각각 다음과 같은 역할을 한다.

/proc/cgroups: 시스템에서 사용가능한 cgroup 목록 제공
/proc/self/mountinfo: 현재 프로세스가 접근할 수 있는 파일시스템, 마운트 정보 제공.(v1인지, v2인지 판단하기 위해 사용)
/proc/self/cgorup: 현재 프로세스가 속한 cgroup 경로 확인

여기서 눈여겨볼 것은 /proc/cgroups 파일을 읽고 컨트롤러 목록을 수집하는 부분이다.
아래 코드에서는 사용가능한 cgroup을 수집하고(cpu, memory, blkio 등) infos에 저장한다.

final Map<String, CgroupInfo> infos = new HashMap<>();
List<String> lines = CgroupUtil.readAllLinesPrivileged(Paths.get(cgroups));
for (String line : lines) {
    if (line.startsWith("#")) {
        continue;
    }
    CgroupInfo info = CgroupInfo.fromCgroupsLine(line);
    switch (info.getName()) {
    case CPU_CTRL:      infos.put(CPU_CTRL, info); break;
    case CPUACCT_CTRL:  infos.put(CPUACCT_CTRL, info); break;
    case CPUSET_CTRL:   infos.put(CPUSET_CTRL, info); break;
    case MEMORY_CTRL:   infos.put(MEMORY_CTRL, info); break;
    case BLKIO_CTRL:    infos.put(BLKIO_CTRL, info); break;
    }
}

그러나...

현재 docker container의 cgroups 정보에는 memory 컨트롤러가 없다.

docker exec -it <container-id> cat /proc/cgroups
#subsys_name    hierarchy    num_cgroups    enabled
cpu    0    21    1
cpuacct    0    21    1
blkio    0    21    1
devices    0    21    1
freezer    0    21    1
net_cls    0    21    1
perf_event    0    21    1
net_prio    0    21    1
hugetlb    0    21    1
pids    0    21    1
rdma    0    21    1

determineType() 메서드를 수행한 이후 코드를 살펴보자.

private static final String MEMORY_CTRL = "memory";
...  
Map<String, CgroupInfo> infos = result.getInfos();
if (result.isCgroupV2()) {
    // For unified it doesn't matter which controller we pick.
    CgroupInfo anyController = infos.get(MEMORY_CTRL);
    CgroupSubsystem subsystem = CgroupV2Subsystem.getInstance(anyController);
    return subsystem != null ? new CgroupMetrics(subsystem) : null;
} else {
    CgroupV1Subsystem subsystem = CgroupV1Subsystem.getInstance(infos);
    return subsystem != null ? new CgroupV1MetricsImpl(subsystem) : null;
}

determineType() 메서드를 통해 설정된 infos를 기준으로 memory에 대한 controller를 조회하지만,
infos에는 해당값이 없기 때문에 CgroupInfo는 null 이 된다.
이 이후로 별다른 null 처리가 없어서,
CgroupSubsystem subsystem = CgroupV2Subsystem.getInstance(anyController)
해당 코드에서 NPE가 발생한다.

결국 Spring Boot 어플리케이션이 실행되지 않고 종료되는 이슈가 발생한다 (or JVM으로 실행되는 어플리케이션 모두).

NPE원인은 찾았지만 진짜진짜진짜진짜최종 원인은?

Docker Desktop git issue에서 발췌해온 내용인데, 현재 JDK 17 + Docker Desktop for Mac 을 사용한다면, 공통적으로 겪고있는 상황이라고 한다. 어플리케이션이 정상적으로 동작하지 않는 원인은 크게 두가지 인데,

JDK17에서 memory에 대한 설정이 없는 경우에 대한 Null 처리가 제대로 되어있지 않음 (해당 부분은 픽스됨)
Docker Desktop for Mac이 사용하는 Linux Kernel 버전 6.12부터 /proc/cgroups 에 memory가 다른 곳으로 이동함

이 모든것이...Linux Kernel의 문제였다니!
Windows에서 정상동작했던 이유는, Docker Desktop이 Hyper-V 기반의 LinuxKit VM을 사용하고, Mac용 Docker Desktop과는 다른 Linux Kernel버전을 사용하고 있어서이다.

✅ 어떻게 해결할까?

Docker Desktop for Mac 버전을 다운그레이드 하여 사용한다. 현재 최신버전 이전은 다른 버전의 Linux Kernel을 사용하기 때문에, 현재와 같은 에러가 발생하지 않을 가능성이 높다. release note 확인
Docker Desktop for Mac을 삭제하고, podman, rancher와 같은 다른 대체제로 전환하여 사용한다. (podman에서 실행해보니 정상적으로 잘 동작했음)
JVM 옵션으로 UseContainerSupport 옵션을 제외시켜서, JVM이 구동될 때, 컨테이너 리소스 제한을 따르지 않도록 설정하면, 문제가 되고있는 클래스 (CgroupSubsystemFactory.java)를 참조하지 않고 바로 호스트의 리소스 설정을 따라 실행된다.

놀고있는 노트북으로 homelab을 꾸려보자-2

bandal-gom — Sat, 1 Feb 2025 23:15:42 +0900

서버랙 (feat. 다이소)

오늘의 설정 ⚒️

✅ ubuntu-server 설치

✅ 맥북 --> 홈랩 서버 원격 설정

✅ 홈랩서버 클램쉘 모드 설정

✅ k3s cluster 구성

ubuntu-server 설치

노트북 각각 ubuntu-server를 깔고, docker로 설치완료했다.

ubuntu-server를 깔기 위해서는 ISO 이미지를 다운받아 bootable usb를 만들어야 한다!

ubuntu-server ISO를 다운받는다
https://etcher.balena.io/ 를 다운받는다 (ubuntu 오피셜 사이트에서 추천해 준 툴)
다운받은 ISO 이미지를 선택 -> usb 드라이브 선택 -> usb드라이브에 설치되기까지 대기
다운이 완료된 usb를 ubuntu-server를 설치하고자 하는 컴퓨터에 연결
부팅 시 usb로 실행

여튼 설치 완료했으니, 이제 k3s를 설정하면 된다. 2대밖에 없지만, 나름 control-plane, agent-node 구성으로 세팅할 것이다.

삼성 노트북 - control plane
hp 노트북 - agent node

삼성 노트북이 디스크 용량이 좀 떨어지지만, hp보다는 cpu성능이 좋아서 control plane으로 설정했다. 둘 다 좋은 성능의 노트북은 아니라서 사실 비교하기도 민망함.. 좀 더 써보고 괜찮다 싶으면 라즈베리 파이를 투입하는 것도 좋을 것 같다!

맥북 -> 홈랩 서버 원격 설정

각 노트북이 오래되기도 하고, 아예 ubuntu-server를 설치했다 보니, 마우스도 없고 폰트 크기설정도 안돼서 (되긴 하지만, 짧게 찾아본 결과 설정이 안 먹었다) 맥북에서 원격 접속해서 이제,, 앞으로는 구린 키감을 느끼며, 잘 안 보여서 눈 찡그리며 타이핑하지 않아도 된다.

맥북에서 원격으로 접속하도록 설정하려면 다음과 같은 항목들이 필요하다.

[ubuntu-server] openssh 설치
[ubuntu-server] ssh 서비스 활성화, 시작
[ubuntu-server] ip 확인
[ubuntu-server] ssh password 접근 활성화
[mac] ssh 접속

거의 Ubuntu-server 쪽에서의 설정만 되면 끝이라고 보면 된다!

oepnssh는 아마, ubuntu-server를 설치하면서 같이 설치가 되었을 거라, ssh 서비스가 활성화되어있는지 확인이 필요하다

ssh 서비스 활성화, 시작

sudo systemctl status ssh // ssh 서비스 상태 확인 
sudo systemctl start ssh // ssh 서비스 시작 
sudo systemctl enable ssh // 자동시작 설정

시작 후에 status 명령어를 통해 활성상태를 확인한다. 이렇게 나오면 정상적으로 동작하고 있는 것 `Active: active (running)`

ip 확인

ip addr

현재 LAN내 ip주소 확인. 나는 ubuntu-server들을 와이파이에 연결해 뒀으므로 wlan나 wlp로 시작하는 무선랜 인터페이스에서 inet (ipv4) 항목을 참고했다.

ssh password 접근 활성화

sudo vim /etc/ssh/sshd_config // 선호하는 text editor 사용하기~

PasswordAuthentication 옵션이 yes로 설정되어 있는지 확인. 주석처리 되어있거나 no로 되어있다면 주석해제 or yes로 변경

ssh 접속

ssh [ubuntu-server 사용자 이름]@[서버IP주소]

이렇게 해서 접근설정! 여기에서 접근이 안된다면, 방화벽 설정 때문에 접근이 안될 수 있으니, ubuntu-server에서 ssh를 허용하도록 설정해야 한다!

근데, 이렇게 매번 비번 입력하고 들어가기 귀찮으니까...! 스크립트를 추가했다. 나는 서버 두대만 있어서, 이렇게 간단하게 구성했지만, 더 복잡한 구성이 필요하다면..... 그때 수정하는 것으로!

로컬 머신이라 sshpass를 사용해서 비번을 바로 입력하게 하였지만, 회사 컴퓨터, 공용 컴퓨터에서는 보안을 위해서 하지 않는 것을 권장한다.

#!/bin/bash

# 서버 정보 설정 
CONTROL1="IP주소"
AGENT1="IP주소"
USERNAME= # 서버에 접속할 사용자 이름
PASSWORD= # SSH 접속에 사용할 비밀번호

echo "접속할 서버를 선택하세요:"
echo "1) 서버 1 ($SERVER1)"
echo "2) 서버 2 ($SERVER2)"
echo -n "선택 (1 또는 2): "
read choice

if [ "$choice" = "1" ]; then
    echo "컨트롤-1 ($CONTROL1)에 접속합니다..."
    sshpass -p "$PASSWORD" ssh "$USERNAME@$CONTROL1"
elif [ "$choice" = "2" ]; then
    echo "에이전트-1 ($AGENT1)에 접속합니다..."
    sshpass -p "$PASSWORD" ssh "$USERNAME@$AGENT1"
else
    echo "잘못된 선택입니다. 스크립트를 종료합니다."
fi

홈랩서버 클램쉘 모드 설정

이렇게 원격으로 접속을 하고 나서, 앞으로 이 구린 노트북에서 직접 명령어를 입력할 일은 없을 것! 하고 닫았는데, 연결이 바로 끊겼다.

서버처럼 동작하게 하려면, 클램쉘 모드?처럼 동작하도록 설정을 해줘야 한다.

sudo vim /etc/systemd/logind.conf

파일 내에서 이 항목들을 주석처리 해제 하거나, 수정!

HandleLidSwitch=ignore
HandleLidSwitchDocked=ignore

sudo systemctl restart systemd-logind // 변경사항 적용

변경사항 적용엔 시간이 좀 소요될 수도 있다. 이렇게 하면! 이제 노트북 뚜껑을 닫아도 원격으로 쭈욱 접속할 수 있게 된다!

k3s 설치

k3s 문서에서 quick start 가이드에 나온 설치는 single-node 기준이라, 내가 원하는 master-agent 구성으로 설정하려면 아래와 같이 설정해야 한다.

control plane node에서 실행

curl -sfL https://get.k3s.io | sh -s - server --cluster-init

node-token 저장

sudo cat /var/lib/rancher/k3s/server/node-token

agent node에서 실행

curl -sfL https://get.k3s.io | K3S_URL=https://[control-plane IP주소]:6443 K3S_TOKEN=[node-token] sh -

이렇게 구성하면!

이렇게 아름다운 로그를 확인할 수 있다

간단하게 control plane-agent node로 잘 돌아가는지 테스트도 완료했다.

이다음은, 홈 CI/CD 구성해보기 도전해 볼 예정. 하면서 다른 것도 돌아갈만하면 (?) 해볼 예정.

놀고있는 노트북으로 homelab을 꾸려보자-1

bandal-gom — Sat, 1 Feb 2025 22:38:51 +0900

노트북 진짜 더럽다..

나에게는 놀고 있는 노트북이 2대가 있다. 대학생 때 사용했던 HP 랩탑과 아버지에게 갈취(?) 했던 삼성 노트북.

2024년부터 사용하지 않는 짐 정리 대 프로젝트를 진행 중인 와중에, 이 두대의 노트북이 정말,, 눈엣가시처럼 사라지지도 않고 계속 거실장에 거치되어 있는 게, 나의 모든 움직임에 "감히 나를 그냥 둬?"라고 말하는 것 같은 느낌을 받았다.

새해가 되었으니, 새 마음으로 이 노트북을 보내줄까 하다가 보내줄수도 없고 (원하는 사람이 없을 듯), 이전부터 해보고 싶었던 Homelab 구축을 이거로 연습해 볼까?라는 생각이 들었다.

일단 내 노트북 두대의 스펙은 이렇다

삼성 노트북
- 운영체제: Windows
- CPU: Intel i7-3537U
- RAM: 4GB
- 저장공간: 256GB
HP 노트북
- 운영체제: Windows 10 (2016년도 기준)
- CPU: Intel Core i3 M 370
- RAM: 6GB
- 저장공간: 464GB

HP 노트북의 RAM이 좀 이상하다고 생각이 들텐데, 가난한 대학생때, 뚜따해서 소심하게 늘렸다. 당시에 꽤나 효과를 봤었다. (윈도우를 밀어버리고 ubuntu를 사용하긴 했지만)

여튼 나의 조촐하고도, 죽여달라는 비명이 들리는 Homelab 스펙이다. 이 두 노트북을 가지고 앞으로 이렇게 할 거다

윈도우를 삭제하고, Ubuntu Server를 깔아준다
Ubuntu Server에 k3s를 설치한다
나만의 kubernetes sandbox cluster를 구축한다!

일단 계획은 그럴싸한데, 이렇게 구린 성능의 컴퓨터로 할 수 있을까? 벌써부터 걱정된다. 이유는...

디스크야 힘을내

어떻게든 되겠지? 하하하!

[Leetcode] 110. Balanced Binary Tree

bandal-gom — Fri, 22 Nov 2024 09:25:05 +0900

문제

관련 토픽: DFS, Binary Tree, Tree
난이도: Easy
링크: https://leetcode.com/problems/balanced-binary-tree/description/

요구사항

주어진 Binary Tree가 height balanced 인 상태인지 확인
- height balanced = 두 서브트리의 높이의 차이가 1이상이 아닌 트리

조건

노드 개수 범위 [0, 5000]
10^4 <= node.val <= 10^4 -> O(N) 시간복잡도 이전으로 풀어야 한다

풀이

모든 노드의 왼쪽 서브트리와 오른쪽 서브트리의 높이 차이를 확인
높이 차이가 1을 초과하면, 트리는 불균형하다고 판단, return False
DFS방식으로 각 노드의 서브트리 높이를 계산하며 균형여부를 확인
Stack으로 DFS를 풀이하니, 각 노드에 방문했는지 여부를 저장하는 visited 배열 필요
현재 노드의 왼쪽 서브트리, 오른쪽 서브트리의 높이를 확인해야하기 때문에 (재귀의 경우는 반환값으로), heights라는 배열 필요
방문한 곳의 왼쪽 서브트리, 오른쪽 서브트리의 높이의 값을 확인하고 비교
- 높이 차이를 초과하면, False
- 초과하지 않는다면, 현재 왼쪽 서브트리, 오른쪽 서브트리의 높이에 + 1한 값을 현재 노드의 높이로 heights 배열에 저장

시간복잡도, 공간복잡도

시간 복잡도: 모든 노드에 한번씩 방문 O(N)
공간 복잡도: 스택에 저장되는 노드의 최대 개수 = 높이 O(H)

코드

class Solution:
    def isBalanced(self, root: Optional[TreeNode]) -> bool:
        if not root:
            return True

        stack = [(root, False)]
        heights = {}

        while stack:
            node, visited = stack.pop()

            if not node:
                continue

            if visited:
                leftHeight = heights.get(node.left, 0)
                rightHeight = heights.get(node.right, 0)

                if abs(leftHeight - rightHeight) > 1:
                    return False

                heights[node] = max(leftHeight, rightHeight) + 1
            else:
                stack.append((node, True))
                stack.append((node.left, False))
                stack.append((node.right, False))
        return True

Eureka와 Eureka 설정방법

bandal-gom — Wed, 20 Nov 2024 10:40:21 +0900

Eureka 란?

Netflix가 개발한 서비스 디스커버리 툴
MSA 아키텍쳐에서 각 인스턴스의 위치를 자동으로 찾고, 관리

서비스 디스커버리?

MSA에서 중요한 컴포넌트 → monolithic 에서는 서로의 인스턴스를 찾을 필요가 없었으니까!
여러 서비스 인스턴스와 그 위치를 자동으로 탐지하고 관리하는 기능 → 분리되어있는 MSA 환경에서의 개발은 복합적인 MSA의 호출 발생
서비스가 서로를 찾고 통신할 수 있도록 해주며, 수동으로 서비스 위치를 관리하는 복잡성을 낮춤!

Eureka의 구성요소

Eureka Server

서비스 등록과 조회 기능을 제공
모든 클라이언트가 서버에 등록을 해야함

Eureka Client

각 MSA 서비스
E.g. product msa, order msa

주요기능

서비스 등록과 발견
하트비트 매커니즘
- 클라이언트(=msa)는 정해진 간격으로 Eureka 서버에 하트비트 신호를 보내서 "아직 잘 살아있어!" 라고 알림. 이를 통해 Eureka 서버가 서비스의 가용성을 판단.
자가 보호 모드
- 네트워크 문제 등의 이유로 다수의 클라이언트가 동시에 서버와의 연결이 끊어졌을 때, Eureka 서버는 이를 장애로 간주하지 않고 일시적인 문제로 판단 후 자동으로 가용 서비스 목록을 유지.
서버 클러스터링
- 서버 가용성과 부하분산을 향상 시키기 위해 여러 서버 인스턴스를 그룹화하는 프로세스
- 이런기능이 왜 필요할까요?
클라이언트 측 로드밸런싱
- @LoadBalanced -> 다중 서버환경에서 하나의 서버로만 요청을 보내지 않고 골고루 분산해 주는 방식.
- Eureka 단독으로 사용했을 시, 내부적으로 Spring cloud Load balancer를 사용하여 동작함

동작방식

+----------------+                  +-------------------+
|                |   1. 등록         |                   |
|  Eureka Client +----------------->   Eureka Server    | 
| = MSA service  |                  |                   |
|                |                  |                   |
+--------+-------+                  +---------+---------+
         |                                      |
         |                                      |
         |   2. 주기적으로 하트비트 전송              |
         |------------------------------------->|
         |                                      |
         |                                      |
         |   3. 레지스트리 정보 가져오기  |
         |<-------------------------------------|
         |                                      |
         +                                      +

서비스 A가 시작될 때, 서비스 인스턴스 정보 (IP주소, 포트, 상태 등)을 Eureka Server에 등록 요청을 보냄. 이 정보는 eureka server registry에 저장
서비스 인스턴스는 설정된 시간마다 (default 30초) Eureka Server에 하트비트를 보냄. 하트비트를 통해 server는 client의 가용성을 파악하고, 어떤 인스턴스가 여전히 활성 상태인지 판단
MSA 서비스 A가 다른 서비스 B와 통신을 시작하기 전에 Eureka server에 MSA 서비스 B의 위치 정보를 요청! 서버는 이 요청을 처리하고, B의 최신정보를 A에 반환

구성도

설정

Eureka- Server 설정

build.gradle

implementation 'org.springframework.cloud:spring-cloud-starter-netflix-eureka-server'

Application.java

@SpringBootApplication 
@EnableEurekaServer 
public class EurekaServerApplication {
 public static void main(String[] args) {
  SpringApplication.run(EurekaServerApplication.class, args); 
  } 
}

application.yml (단일)

server:
  port: 8761

eureka:
  client:
    registerWithEureka: false
    fetchRegistry: false
  server:
    enableSelfPreservation: false  # 네트워크 문제 시 서버의 자가 보호 모드 비활성화

application.yml (클러스터링)

server:
  port: 8761

eureka:
  client:
    registerWithEureka: true  # Eureka 서버끼리 통신 하기 위해
    fetchRegistry: true
    defaultZone: http://eureka-server1.com:8761/eureka/,http://eureka-server2.com:8761/eureka/,http://eureka-server3.com:8761/eureka/
  server:
    enableSelfPreservation: false  # 네트워크 문제 시 서버의 자가 보호 모드 비활성화

Eureka- Client 설정

build.gradle

implementation 'org.springframework.cloud:spring-cloud-starter-netflix-eureka-client'

Application.java

@SpringBootApplication
@EnableDiscoveryClient
public class EurekaClientApplication {

    public static void main(String[] args) {
        SpringApplication.run(EurekaClientApplication.class, args);
    }
}

application.yml (단일)

eureka:
  client:
    serviceUrl:
      defaultZone: http://localhost:8761/eureka/

application.yml (클러스터링)

eureka:
  client:
    registerWithEureka: true
    fetchRegistry: true
    serviceUrl:
      defaultZone: http://eureka-server1.com:8761/eureka/,http://eureka-server2.com:8761/eureka/,http://eureka-server3.com:8761/eureka/

[Leetcode] 121. Best Time to Buy and Sell Stock

bandal-gom — Thu, 14 Nov 2024 00:07:13 +0900

문제: Best Time to Buy and Sell Stock

관련 토픽: Array, Dynamic Programming
난이도: Easy
링크 https://leetcode.com/problems/best-time-to-buy-and-sell-stock

요구사항

prices 배열은 i번째 날짜의 주식의 가격을 담음
정해진 하루에 주식을 사고, 주식을 산 시점 이후에 주식을 판매
주식을 구매, 판매하며 어떤 조합이 가장 큰 수익을 낼 수 있는지 탐색
수익이 발생하지 않는 경우에는 0을 반환

조건

1 <= prices.length <= 10^5 (10만개)
- 10만개의 요소를 다루는 문제는 효율적으로 풀이 하는 것이 좋다
- O(n) ~ O(nlogn) 시간 복잡도의 풀이가 필요!
0 <= pricese[i] <= 10^4
- 최대값,최소값을 구할 때 값 초기화의 기준으로 사용 가능

풀이

문제 태그에는 Dynamic Programming으로 나와있긴 하지만, 여기서의 해법은 두가지의 포인터를 가지고 문제를 해결했다.

이 문제를 해결할때 접근한 방식은:

지금 이 가격이 내가 지금까지 봐온 가격중에 가장 싼가? (주식 구매를 위해)
지금 이 가격으로 판매를 하면 지금까지 확인한 최대 이율보다 더 좋은 수익을 발생 시킬 수 있나?

이 두개의 기준을 가지고 문제를 풀이했다. Two pointer + Greedy 가 섞인 해법이다.

1. prices = [7,1,5,3,6,4] 라고 했을 때, buy와 sell이라는 포인터를 추가한다

2. prices 배열을 순회하면서, 가장 싼 가격과 가장 비싼 수익을 낼 수 있는 것을 찾는다. 가장 싼 가격을 찾았을 때는, buy를 sell (주로 탐색하는 포인터)로 변경을 한다.

3. sell의 값을 기준으로 현재 수익을 확인한다.

4. 수익이 현재 최고수익 변수인 maxProfit 값보다 큰지 확인한다.

5. 현재 수익이 maxProfit보다 더 큰 경우, maxProfit의 값을 변경한다.

6. 남은 요소들중에 더 큰 수익을 낼 수 있는지, sell은 배열의 끝까지 탐색한다.

코드

class Solution:
    def maxProfit(self, prices: List[int]) -> int:
        buy, sell = 0, 1
        maxProfit = 0

        while sell < len(prices):
            if prices[buy] < prices[sell]:
                maxProfit = max(maxProfit, prices[sell] - prices[buy])
            else:
                buy = sell 
            sell += 1 

        return maxProfit

시간복잡도, 공간 복잡도

시간 복잡도: O(n)

입력값의 길이에 따라 루프를 탐색 하므로 O(n)
sell은 prices의 모든 요소에 대해 한 번씩만 탐색! n번 반복

공간 복잡도: O(1)

입력값인 prices를 제외하고, maxProfit, buy, sell 변수만 사용해서 공간복잡도는 상수

[Leetcode] 21. Merge Two Sorted Lists + 그림 풀이

bandal-gom — Wed, 13 Nov 2024 00:05:54 +0900

문제: Merge Two Sorted Lists

관련 토픽: LinkedList, Recursion
난이도: Easy
링크 https://leetcode.com/problems/merge-two-sorted-lists

요구사항

list1, list2 LinkedList를 정렬된 하나의 LinkedList로 합치기
list1, list2는 정렬된 LinkedList
return 값의 list는 두 리스트를 기반으로 만든 값이어야 함

조건

LinkedList의 노드 길이는 [0, 50]
-100 <= node.val <= 100
list1, list2는 오름차순 정렬 (non-decreasing)

풀이

이미 정렬된 리스트들을 하나로 합치기 위해서는 brute-forcing, LinkedList, recursion을 사용할 수 도 있음

여기에서는 LinkedList를 사용해서 풀이

1. list1과 list2를 합치기 위해서, dummy linklist node를 하나 추가! list1과 list2의 앞에 node 하나를 덧붙인다는 생각.

2. list1, list2를 함께 iterate 하면서 값을 비교하고 dummy node에 연결해 나아간다

3. 현재 list1, list2가 각각 가리키는 값을 비교하고, 오름차순 정렬에 맞는 값으로 dummy의 next 포인터를 연결해 준다

4. 길이가 다른 list의 경우에는, 먼저 list의 끝 (=None)을 마주하는 시점에 loop를 종료한다

4-1. Loop가 종료된 시점에서 None을 가르키지 않는 list의 나머지 부분과 dummy node를 이어준다

코드

class Solution:
    def mergeTwoLists(self, list1: Optional[ListNode], list2: Optional[ListNode]) -> Optional[ListNode]:
        dummy = ListNode(0)
        current = dummy 

        while list1 is not None and list2 is not None: 
            if list1.val < list2.val: 
                current.next = list1
                list1 = list1.next
            else:
                current.next = list2
                list2 = list2.next
            current = current.next

        if list1 is not None: 
            current.next = list1
        else:
            current.next = list2

        return dummy.next

시간, 공간 복잡도

시간 복잡도 O(n+m)

두 리스트를 병합하려면 각 리스트를 독립적으로 iterate 해야 함
- 동시에 같은 pointer가 가르키는 곳을 순회하는 것이 아닌, 조건 (list1.val < list2.val)에 부합하는 경우만 다음 val로 이동
list1의 길이가 n, list2의 길이가 m이라면 n + m의 반복이 발생
W.C는 모든 노드를 하나씩 비교해 가면서 순회 -> n + m 의 반복

공간 복잡도 O(1)

dummy, current와 같은 포인터 생성
dummy = ListNode(0)
둘다 상수 공간 복잡도에 해당 (이유: 입력크기 O(n+m)과 상관없이 항상 하나의 노드만 사용하기 때문)

장비병 고치기 위한 온몸 비틀기 - 맥북 m1 에어 듀얼모니터 설정 (with LG 듀얼업)

bandal-gom — Tue, 12 Nov 2024 13:27:07 +0900

나에게는 오래된 병이 있다. 지병인데, 모든 분야에 나타나는 고칠 수 없는 병이다. "장비병"이라고,,,불치병을 앓고(?) 있다.

카메라, 키보드, 그리고 최근에는 캠핑용품으로 뻗어나가는 전적이 있는데, 오래전 부터 애플 장비도 여러 것들을 거쳐왔다.

퇴사를 하게 되면서, 잘 쓰던 16인치 맥북 프로를 보내고 개인용 노트북이 필요해져서 당시 따끈따끈한 m1 칩을 탑재한 맥북에어를 구매했다.

물론 개발, 유튜브, 웹 서칭 등등 모든 목적을 위한 노트북 구매였고, 당시에는 원모니터 또는 맥북 하나로만 개발하는 것에 맛 들렸어서 (이상한 미니멀리즘에 취했었음) `m1 에어는 하나의 디스플레이만 지원한다` 는 사실도 괜찮았다.

사고 한동안은 괜찮았다. 하지만 지금까지는 진짜 꾸역꾸역 아이패드 미니 (미니병에 도져서 이것도 프로에서 미니로 갈아탐) 까지 사이드카 붙여서 써왔지만, 으악 더 이상은 안된다!

이전에 눈여겨 봤던 LG 듀얼업 모니터를 서브 모니터로 쓸 생각으로 구매했고! 이걸 이제 연결해야 한다.

맥북 m1 에어 또는 그 후 모델중에 하나의 모니터만 디스플레이를 지원하는 경우, 필요한 물건은 DisplayLink를 지원하는 어댑터!

어댑터의 종류는 대표적으로 여러개가 있는데,

벨킨 도킹 스테이션
넥시 HDMI 컨버터
Dell 도킹 스테이션
플러거블 (Amazon) 어댑터

등 다양하다. 가격대도 다양한데, 나는 우선 가장 저렴하게 설정해 볼 수 있는 넥시 HDMI로 테스트해보기로 했다.

쿠팡에서 주문했고 링크는 여기

넥시 USB 3.0 to HDMI 컨버터 - 변환젠더 | 쿠팡

현재 별점 4.8점, 리뷰 354개를 가진 넥시 USB 3.0 to HDMI 컨버터! 지금 쿠팡에서 더 저렴하고 다양한 변환젠더 제품들을 확인해보세요.

www.coupang.com

설치 및 설정

설치는 쉽다. 모니터에 Hdmi 선을 연결하고, usb A를 맥북 어댑터에 연결하면 끝!

설정은 DisplayLink 프로그램을 다운받야아 한다.

https://www.synaptics.com/products/displaylink-graphics/downloads/macos

DisplayLink macOS Software for Downloads Section | Synaptics

DisplayLink macOS Software DisplayLink Manager is a new way to enable your DisplayLink dock, adapter or monitor on macOS platforms. It's an application that combines our latest driver with features that streamline the setup of mutliple displays up to 4K.

www.synaptics.com

프로그램을 다운받고 권한 설정을 해야 한다.

DisplayLink Manager가 화면을 녹화할 권한이 있으면 완료!

첫 번째 시도

진짜 보기 좋게 실패. 따로 사진을 찍어둔 게 없어서 아쉽다. 대략적으로 어떻게 나왔냐면,

이렇게 나와서, 진짜 어처구니가 없었다. 디스플레이에서 이래저래 해상도를 바꿔보아도 절대 맞지 않는 비율... ㅠㅠ 듀얼업처럼 나온 모니

터들이 없다보니, 보편적인 세팅으로는 안 되는 것 같았다.

그래서 기존에 Dell 모니터에 어댑터를 연결하고, LG 듀얼업은 C 연결선으로 바로 꽂아서 설정을 하니, 제대로 들어온다. 하지만 하나의 문제가 있는데 Dell 모니터의 해상도가 1920 X 1080 세팅을 했음에도 불구하고, 굉장히 흐리흐리 해졌다 ㅠㅠ

잘 보이기는 보이고, 비율도 맞는데, 글씨의 폰트가 흐리고, 전체적으로 보는 입장에서 내가 시력이 나빠졌나? 할 정도로 미묘하게 구려졌다.

원래는 쨍하게 잘 보이는 모니터였는데 흑흑 어떻게 된 일이야!

일단은 하루 이렇게 써보았지만, 이 세팅으로는 함께 할 수 없었다. Dell이 주 모니터인데, 흐리침침 하니까 자꾸 창을 다른 모니터 or 맥북 화면으로 옮기게 되고 그러다 보니 Dell -> 다른 디스플레이로 전환 할 때마다 개안하는 느낌을 받았다. 이대로는 안된다! 떼잉

두 번째 시도

방법은 있을 거야 하며 여러 글들을 찾아보았다. 대부분 여기서 포기하고, 새 맥북을 샀다고 하는 사람들을 다수 포착했다.

나도 그러고 싶다

하지만, 언제나 방법은 있기 마련! 해외 포럼에서 이런 글을 발견해서 나는 이 문제를 해결했다! https://www.displaylink.org/forum/showthread.php?p=96983

2560x2880 with a DL-5500 - DisplayLink Forum

I have a StarTech USB32DP4K, which has a DL-5500 chip, which works under Ubuntu 24.04. I've been able to drive 4k@30Hz with it. I am now trying to get this to work with an LG DualUP monitor, which has the rather odd resolution of 2560x2880, but can only ge

www.displaylink.org

요약하자면, DL-6950 칩셋을 가진 어댑터는 2560x2880(LG듀얼업 기본 해상도) 해상도 연결이 가능하다는 것이다!

당장 물건을 탐색했고, 갓팡에서 바로 다음날 배송되는 물건을 찾았다. 링크는 여기

맥북 듀얼모니터 어댑터 4K 60Hz 디스플레이링크 DL6950 display link 화면확장 - USB허브 | 쿠팡

쿠팡에서 4.9 구매하고 더 많은 혜택을 받으세요! 지금 할인중인 다른 68 제품도 바로 쿠팡에서 확인할 수 있습니다.

www.coupang.com

판매자에게 직접 문의도 드렸는데 듀얼업 연결 가능하다고 하셔서 바로 구매했다

배송받자마자 바로 설치했다. 기존에 DisplayLink Manager는 이미 설정해 둬서, 연결만 하면 끝!

성공적으로 연결했다!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! 이거지 이거야!

Kafka vs RabbitMQ & MSA환경에 kafka를 적용한다면? (with 예제코드)

bandal-gom — Sat, 26 Oct 2024 21:10:58 +0900

대규모 시스템이란

방대한 양의 데이터를 처리하고 수 많은 사용자의 요청을 동시에 처리할 수 있는 시스템
이러한 시스템 설계는 확장성, 유지보수성, 성능, 안정성 등을 고려
MSA 는 대규모 시스템 설계 아키텍쳐 패턴
RabbitMQ,Kafka 같은 메시징 시스템을 활용하여 각 서비스 간의 효율적인 데이터 통신과 확장성을 보장

메세징 시스템?

Queue 형태로 메세지를 저장. 송신자 (Producer)가 메세지를 큐에 넣으면, 수신자(Consumer)는 자신의 속도에 맞춰 Queue에서 메세지를 처리.
Message Broker를 사이에 두고, 송신자(Producer)와 수신자(Consumer)가 간접적으로 데이터를 주고 받음
MSA 환경에 적용한다면
- 송신자 (Producer): MSA에서 메세지를 발행하는 곳 (e.g. 주문상태 변경에 대한 메세지를 order-msa에서 발행)
- 수신자 (Consumer): MSA에서 메세지를 처리하는 곳 (e.g. 재고차감을 하기 위해 stock-msa에서 주문상태 변경 메세지를 수신)

기능

비동기 처리

Producer 메세지를 발행한 후, consumer가 메세지를 처리할 때까지 기다리지 않아도 됨 → 시스템의 유연성, 처리 효율성 ⬆️

데이터 손실 방지

데이터를 메세지 큐에 안전하게 보관. consumer가 메세지를 놓치지 않고 처리 가능 → 데이터 손실 방지, 신뢰성 있는 통신 보장

부하 분산

여러 consumer가 큐의 메세지를 가져가서 처리 → 시스템의 부하를 분산. 성능 ⬆️ 대용량 데이터를 처리할 때 유용

스케일링

메세지 큐 시스템은 수평적 확장이 용이. 더 많은 Producer, Consumer를 추가 가능 → 처리 능력 ⬆️

RabbitMQ vs Kafka

둘다 메세징 시스템이지만 어떤 점이 다를까?

RabbitMQ 구성도 (좌) Kafka 구성도 (우)

차이점	RabbitMQ	Kafka
Producer ↔ Consumer의 상호작용 방식	Producer는 메세지를 보내고 메세지가 의도한 Consumer에 도착했는지 모니터링 → 우편물을 받아서, 수취인에게 배달하는 우체국	Producer는 Consumer가 메세지를 검색했는지에 대한 여부와 상관없이 Queue에 저장 → 다양한 장르의 메세지를 책장에 배치하는 도서관. 도서관 회원 (Consumer)가 책의 내용을 기억
아키텍쳐	- 복잡한 메시지 라우팅을 위해 설계 - 메세지큐 기반 설계 - push 모델 사용	- 더 복잡한 아키텍처를 사용. 처리량이 높은 스트림 이벤트를 관리 - 파디션 기반 설계 - pull 모델 사용
메세징 처리 방식	- 메시지 전달의 우선순위를 지정하는 범용 메세지 브로커 - 우선순위 대기열 지원 - 순서대로 메세지 처리 - Consumer가 메세지를 처리 → 브로커에 확인 (ACK) 응답 전송 → 브로커가 대기열에서 메시지 삭제 - 지연시간을 줄이고, 복잡한 메세지를 분산	- 우선순위 대기열 지원 X - 토픽과 파티션을 사용하여 메세지 처리. 파티션 내부에서의 순서 보장 (offset) - 메세지를 로그 파일에 추가. 보존기간이 만료될 때까지 보관. 로그파일에 있는 메세지는 언제든 데이터 처리 가능.
성능	- 초당 수천 개 메시지 처리 (그 이상은 다중 브로커 설정 필요) - 지연시간이 짧다	- 초당 수백만 개의 메시지 처리 - 대용량 데이터를 처리한다

어떤게 더 좋고 나쁜 것은 없다!
구축하는 시스템의 요구사항에 더 적합한 것을 선택하는 것이 좋다.

왜 MSA에서 쓰일까?

서비스간 비동기 통신

서로 다른 서비스 간의 동기적인 호출이 많아지면 시스템 성능, 안정성에 영향
Kafka, RabbitMQ → 비동기 메시징을 통해 MSA간 통신을 비동기적으로 처리

확장성

MSA 환경에서는 증가하는 트래픽이나 데이터 양에 대응하여 성능을 유지시키거나 향상 시킬 수 있는 환경이 중요 합니다
Kafka → 파티셔닝 (수평적 확장), 클러스터에 브로커 추가 (다운타임 없이 추가 가능)
RabbitMQ → 클러스터링, 분산 큐

데이터 일관성, 신뢰성

각 MSA는 독립적으로 데이터를 관리 (e.g. msa 별로 분리된 database 사용) → 서비스 간 데이터 일관성 유지 중요
Kafka → 로그, 메세지 저장 기능으로 데이터 일관성 유지, 메세지를 여러번 읽을 수 있도록 처리 가능
RabbitMQ → 메세지 디스크 저장, 다른 큐에 복제 하여 데이터 내구성 유지, 실패한 메세지 재처리 지원

서비스 간 결합도 ⬇️

Kafka → 이벤트 기반 아키텍처 지원. 서비스 간 독립적으로 동작 가능.
RabbitMQ → 큐 기반 메세징을 통해 서비스 간 메세지 전달.

✅ 요약 → RabbitMQ, Kafka는 MSA 에서 각각의 서비스가 독립적으로 동작하면서도 효율적으로 통신할 수록 지원하는 도구!

Kafka 를 MSA에 적용한다면

이벤트 중심 아키텍처 (Event-Driven Architecture)

각 MSA간 통신을 이벤트 기반으로 처리. 통신을 담당하는 주체는 Kafka
예시) 주문생성, 결제완료, 배송준비 등의 이벤트를 Kafka에 전달, 이를 구독하는 다른 서비스가 해당 이벤트를 처리하여 필요한 작업 수행

실시간 데이터 처리

실시간으로 발생하는 대규모 데이터를 스트리밍 방식으로 처리
예시) 사용자 행동로그, 모니터링 데이터를 실시간 분석 → 다른 서비스 전달

모니터링과 로깅

중앙 집중식 로그 수집

이벤트 중심 아키텍처 Event-Driven Architecture 란

핵심 개념

이벤트

시스템 상태변화나 중요한 작업을 나타내는 객체. (e.g. OrderCreated, DeliveryCompleted)

이벤트 발행

MSA서비스에서 이벤트가 발생했을 때 (주문 생성 요청이 들어왔을 때), 해당 이벤트를 Kafka와 같은 메시징 시스템에 전달

이벤트 구독

특정 이벤트에 관심 있는 MSA들이 해당 이벤트를 구독.
payment-msa는 order-msa가 발행한 OrderCreated 이벤트를 구독하고, 결제 처리 시작

비동기 처리

이벤트를 발생한 MSA 서비스와 처리하는 MSA서비스가 비동기적으로 동작
order-msa는 OrderCreated 이벤트를 발행 후, 다른 MSA들이 처리하는 것을 기다리지 않고 (동기 X), 후에 필요한 비즈니스 로직 수행

코드 예시

build.gradle

dependencies {
    implementation 'org.springframework.boot:spring-boot-starter-data-jpa'
    implementation 'org.springframework.boot:spring-boot-starter-web'
    implementation 'org.springframework.cloud:spring-cloud-starter-netflix-eureka-client'
    implementation 'org.springframework.kafka:spring-kafka'
    implementation 'org.springframework.boot:spring-boot-starter-actuator'

    compileOnly 'org.projectlombok:lombok'
    runtimeOnly 'com.h2database:h2'
    annotationProcessor 'org.projectlombok:lombok'
        ...
}

application.yml

spring:
  application:
    name: order-msa
  datasource:
    url: jdbc:h2:mem:testdb
    driverClassName: org.h2.Driver
    username: sa
    password:
  h2:
    console:
      enabled: true
  jpa:
    hibernate:
      ddl-auto: update
    show-sql: true
  kafka:
    bootstrap-servers: localhost:9092
    consumer: # TODO kafka consumer, producer에 대한 설정값 수정은 여기에서
      group-id: ${spring.application.name}-group
      auto-offset-reset: earliest
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      properties:
        spring.json.trusted.packages: '*'
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringDeserializer
eureka:
  client:
    service-url:
      defaultZone: http://localhost:8761/eureka/
server:
  port: 8083

이벤트 발신

KafkaTemplate을 사용해서 이벤트를 발신.
토픽과 보내고자 하는 이벤트 내용을 담아서 전송.
- e.g. 배송시작 시 → DeliveryCreatedEvent를 생성해서 Notification-Msa가 관련 알림을 보낼수 있게 처리

@Service
@RequiredArgsConstructor
public class DeliveryService {
    private final DeliveryRepository deliveryRepository;
        private final KafkaTemplate<String, Object> kafkaTemplate; // 자동 주입

    @Transactional
    public void createDelivery(...) {
                Delivery delivery = new Delivery(...);
                deliveryRepository.save(delivery);

                DeliveryCreatedEvent event = new DeliveryCreatedEvent(...); //이벤트에 필요한 값을 넣어주세요
        kafkaTemplate.send("delivery-created", EventSerializer.serialize(event));
    }
}

이벤트 수신

@KafkaListener 를 사용하여 메세지를 수신
groupId는 application.yml에서 설정한 consumer group id

@Transactional
@KafkaListener(topics = "delivery-created", groupId = "notification-group")
public void handleDeliveryCreatedEvent(String message) {
    DeliveryCreatedEvent event = EventSerializer.deserialize(message, DeliveryCreatedEvent.class);

    // 이벤트로 해야하는 후 처리 진행 (비즈니스 로직)
    // e.g. 배달완료 이벤트 발행 
}

Event-Driven + Kafka 구현 예시

간단한 이벤트 중심 아키텍처를 맛(?) 볼수 있는 예제 코드 여기서 확인

예시 코드 구조

기술스택

Spring-Kafka
Kafka, Kafka-UI, Zookeeper, Zipkin
Spring Cloud-Discovery Client, Server, Gateway
Spring JPA
H2

이벤트 흐름

코드베이스에 포함된 것:

docker-compose.yml (zookeeper, kafka, kafka-ui, zipkin)
- 실행이 안된다면, 환경변수를 설정해주세요! DOCKER_DEFAULT_PLATFORM=linux/amd64
주문 생성, 주문 목록 조회 http 테스트 파일
order-msa, payment-msa, notification-msa skeleton 코드, gateway, eureka
객체 Serialize, De-Serialize 유틸클래스

코드가 제대로 실행되고 있는지 확인 하는 방법

✅ docker-compose 실행 후 컨테이너 확인

✅ 모든 msa가 정상적으로 실행되는지 확인 → Eureka 대시보드 (http://localhost:8761)

✅ Kafka UI 에서 topic, consumer가 정상 등록되어있는지 확인

✅ api-test.http 파일을 통해 주문생성 API 실행. 각 Topic에서 메세지가 제대로 들어오는지 확인

주문 → 결제완료 메세지
결제 → 주문생성 메세지
알림 → 주문완료

✅ notification-msa에서 주문완료 된 로그 메세지 출력 확인

더 알아보고 싶다면

이벤트 중심 아키텍처를 적용했을 때 msa에서 transaction 관리는 어떻게 하지?

Saga Pattern
Outbox Pattern 등등
참고 자료
- https://hudi.blog/saga-pattern/#코레오그래피-기반-사가-Choreography-based-Saga
- Outbox Pattern → https://fullstackdeveloper.guru/2022/05/19/how-to-implement-transactional-outbox-design-pattern-in-spring-boot-microservices/

그 외, 읽어보면 좋은 글

Leethub v2 수정해서 NOTES.md 도 업로드 하기

bandal-gom — Mon, 3 Jun 2024 21:54:22 +0900

new UI가 적용되면서 기존에 동작하던 Leethub 앱이 동작하지 않게 되었다.
이에 따라서 여러 개발자들이 v2, v3 등등 개선한 버전을 공유하고있다! 대부분의 케이스에서는 잘 동작하는 것 같다.
이렇게 동작하지 않는 이유로 검색하다가, algorithms 풀이를 한 repo에서 관리할수있게, 그리고 이걸 difficulty 기준으로 폴더 정리해서 나눌수있게! 해주는 블로그 글을 발견했다. 이렇게 정리하면 기존에 알고리즘 문제 풀이 하는 repo도 싹 정리가능해서 적용했다! 잘됨!

잘 쓰다가, 문득 notes도 같이 업로드 되었으면 좋겠다! 는 생각에 기존 코드를 좀 뜯어 보기 시작했다.
나는 지금 V2버전을 수정해서 사용하고있는데, 이 코드 기반으로는 notes가 업로드 되는 부분이 생략되어있다.
Notes도 함께 알고리즘 풀이 repo에서 관리되면 좋겠다…라는 생각에 몇가지 수정을 하게 되었다.

코드를 살펴보면!

V1에서는 (구 leetcode UI에서 정상동작했을 때) getNotesIfAny 라는 function에서 note의 값을 긁어오는 동작을 하고 있다. 내용은 단순하게 div 로 떠있는 text editor 의 영역을 찾아보고 있으면! 거기 안의 내용을 가져오고 다듬어서 return 하는 그런 function이다.
V1에서는 해당 내용이 구현이 되어있는데 V2에서는 없길래 그냥 간단하게 아래와 같이 내용을 추가했다.

LeetCodeV2.prototype.getNotesIfAny = function () { 
  if (!checkElem(document.getElementsByClassName('CodeMirror-code'))) return "";

  text = document.querySelector('.CodeMirror-code').innerText;
  notes = ""
  if (text) {
    notes = `${text.trim()}`.trim();
  }
  return notes.trim();
};

이렇게 하면! note가 잘 등록이 된다!

개선점과 버그

→ Note 등록 충돌

또 잘 쓰다가, Github에서 직접 commit으로 등록한 note는 등록이 안되는 것을 발견했다.

중복된 데이터 때문에 409 (Conflict Http status code)에러가 발생한다. 그런데 Leetcode에서 등록한 note에 대해서는 이런 에러가 발생하지 않는다..?

updateNotes = uploadGit(
          btoa(unescape(encodeURIComponent(notes))),
          problemName,
          'NOTES.md',
          createNotesMsg,
          'upload',
          false,
        );

에러는 upload하는 이 부분에서 중복값을 저장하려고 할때 conflict error code를 내뱉으며 발생한다.
직접 commit만 안하면 상관없는 경우일것같지만! 개선하면 좋을 것 같아 추가한다.

→ sessionId가 없는 경우에 github push X

submit 할때 URL에 sessionId가 없으면 git push가 이루어 지지 않는다.
최초로 submit은 잘되는데, 수정할때 무시(?) 되는것 같다.
이건 실제로 사용하면서 좀 불편하다고 생각하고있어서, 이것 또한 개선리스트에 추가한다.
앗 그런데 나만 발생하는 에러인가?

git repo

NOTES.md 업로드 하는 부분까지 추가된 코드는 여기서 확인하실 수 있습니다!

모바일, PC 화면 Nginx로 분기 처리하는 방법

bandal-gom — Wed, 4 Jan 2023 20:19:33 +0900

PC화면, 모바일 화면 이렇게 다르게 redirect 하기

위의 네이버 화면 처럼, 접속하는 디바이스에 따라 모바일, PC 화면으로 분기 처리를 해야함!

Proxy로 사용되는 Nginx로 해보자!

어떻게?

error page
named location
header에 있는 user-agent 를 기반으로 분기 처리

error page 란?

에러가 발생한 요청을 지정한 uri로 redirect 하는 nginx module
400대 에러나 500대 에러의 redirect 설정을 하기 위해 보통 사용!
→ 하지만! 이미 사용하고있는 에러코드를 덮어쓸수는 없으니, error code 418을 사용해서 PC,mobile 분기 처리를 하도록 하겠다!
- 418 에러코드가 뭐지??
  - client error 응답 코드로 서버가 커피 내리기를 거부한다는 의미를 가진다 - 왜냐면 서버는 찻주전자(teapot) 니까!
  - 딱히 의미없는 에러코드임...
  - 1998년과 2014년 만우절에 인용됨
  - `딱히 의미없는 에러 코드니까 분기 처리 하는 용도로 딱!`

error_page 404       /not_found.html; 
error_page 500      /50x.html;

named location 이란?

`@location` = named location
named location은 해당 `location` 에 진입하기 전까지의 $uri 값을 보존함
error_page, post_action 그리고 try_files로만 사용 가능
→ 여기서는 error_page 를 지정한 location block으로 요청이 가게끔 해주는 역할을 함!

user-agent 란?

request header 값으로 서버에게 현재 접속하는 개체의 정보를 표현한다. 주로 application, operating system, vendor 등의 정보를 표시!
→ 이 값을 기준으로 nginx 에서 분기 처리를 할 것!

nginx 설정: mobile, pc 분기 처리

set $rewrite_rule MOBILEWEB;
if ($http_user_agent ~* 구분값) {
    set $rewrite_rule WEBVIEW;
}
if ($rewrite_rule = MOBILEWEB) {
    return 418;
}

rewrite_rule 이라는 nginx 변수를 설정한다
- default 값은 MOBILEWEB 으로 redirect 되도록 설정
user_agent에 mobile과 pc를 구분할 수 있는 값을 condition으로 설정한다 `구분값`
- ex) iPhone, Mac OS 등

이제 mobile, pc 를 위한 분기처리 설정은 되었다!

nginx 설정: error page + named location!

error_page 418 = @mobileweb;
recursive_error_pages on;

location @mobileweb {
    access_log 로그경로;
    root target_디렉토리;
    try_files $uri /index.html;
}

error_page에서 설정한 named location ( @으로 정의한 값) 로 해당 request를 전달하도록 설정
위에서 설정한 error code 418이 떨어지는 경우에, 정의한 @mobileweb location block으로 request가 실행되도록 함!

종합해보면..

# eror_page, 에러코드, nginx variable 설정 
error_page 418 = @mobileweb;
recursive_error_pages on;
set $rewrite_rule MOBILEWEB;

# 분기처리 
if ($http_user_agent ~* 구분값) {
    set $rewrite_rule WEBVIEW;
}
if ($rewrite_rule = MOBILEWEB) {
    return 418;
}

# 요청을 원하는 곳으로! 
location @mobileweb {
    access_log 로그경로;
    root target_디렉토리;
    try_files $uri /index.html;
}

참고

418 error code: https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/418
nginx erorr page: http://nginx.org/en/docs/http/ngx_http_core_module.html#error_page
nginx named location: https://serverfault.com/questions/509327/can-we-jump-to-another-location-from-a-location-in-nginx

[LeetCode] 347. Top K Frequent Elements

bandal-gom — Wed, 4 Jan 2023 13:59:01 +0900

문제 링크

https://leetcode.com/problems/top-k-frequent-elements/description/

Intuition

주어진 array에서 가장 중복이 많은 k개의 element를 결과값으로 반환
그렇다면 정렬하고, 중복을 찾기 위해선 hash를 써야겠군

Approach

hash를 쓰기 위해서는 python의 dictionary를 사용
가장 많이 중복되는 element 별로 저장된 dictionary를 그 후에 정렬!
정렬된 중복_숫자_맵 에서 k개의 key값을 반환
dict에서 get()함수는 parameter가 2개! 두번째 param은 optional로 조회하는 key 값이 없는 경우에 반환할 값을 설정
- numMap[num] = numMap.get(num,0) → numMap에서 num값의 키값이 없는 경우 0을 리턴
- dict[key] 로 조회했을 때 key가 없다면 에러 발생
- dict.get(key)로 조회했을 때 key가 없다면 None 리턴

Complexity

여기 complexity는 좀 고민을 해보자..

Code

first submission:

class Solution:
    def topKFrequent(self, nums: List[int], k: int) -> List[int]:

        numMap = dict()
        for num in nums: 
            numMap[num] = nums.count(num)
        
        ret = dict(sorted(numMap.items(), key=lambda x: x[1], reverse=True))
        return list(ret)[0:k]

time limit exeeded :( 두둥

역시 count() 함수는 아니었나봐,, 더 쉬운 방법으로!

2nd submission:

class Solution:
    def topKFrequent(self, nums: List[int], k: int) -> List[int]:

        numMap = dict()
        for num in nums: 
            numMap[num] = numMap.get(num,0) + 1
        
        ret = dict(sorted(numMap.items(), key=lambda x: x[1], reverse=True))
        return list(ret)[0:k]

[LeetCode] 49. Group Anagrams

bandal-gom — Tue, 3 Jan 2023 13:44:40 +0900

문제 링크

https://leetcode.com/problems/group-anagrams/description/

Intuition

동일한 길이를 가지고 동일한 문자열 구성을 가져야 하는 anagram!
- 그럼 저번에 문제 풀이 했을 때 처럼 set을 사용해서 풀어볼까?
- 그런데 이 전 문제와 다르게 grouping 해야하는 문제니까 hash 를 써야할듯

Approach

단어가 3글자라고 주어진 input에서 3개 묶음의 단어가 다 있으리라고는 보장 X
- 있는 element를 기준으로 hash에 저장해서 확인해야함
- python에서 hash는? → dictionary!
dict의 key 값은 정렬한 값으로 저장 → 모든 element가 정렬된 값을 기준으로 hasKey() operation을 해야하므로
values() 는 strs의 element 리스트
각 strs의 element를 확인하고, sorted 된 결과값의
- key가 존재한다면 → 해당 values 에 추가
- 없다면 → 새로운 group 추가

Complexity

Time complexity:

O(NlogN)

Space complexity:

Code

class Solution:
    def groupAnagrams(self, strs: List[str]) -> List[List[str]]:
        # create a dictionary for anagrams
        # sort word and check if that word exist in a set (anagram dictionary)
        # if yes, add, if not pass 

        anagrams = dict()
        for str in strs: 
            word = "".join(sorted(str))
            # if empty 
            if not anagrams: 
                anagrams[word] = [str]
            else: 
                if word in anagrams: 
                    anagrams[word].append(str)
                else: 
                    anagrams[word] = [str]
        
        return anagrams.values()

python 초보의 사소한 실수: sorted(string) 하면 그대로 정렬된 string 값을 내어주는줄 알았다..array가 return 값일줄은..!

[LeetCode] 1. Two Sum

bandal-gom — Tue, 3 Jan 2023 07:35:41 +0900

문제 링크

https://leetcode.com/problems/two-sum/description/

Intuition

주어진 array의 element 중에 target 값으로 합의 수가 맞는 조합을 찾아야 하면..모든 element를 합해서 확인해 보자
first + second index element의 합을 확인하고 넘어가야 한다

Approach

당장 생각나는건...outer loop에서는 index 0 부터 좌항에 들어가는 인자를 iterate하고 inner loop에서는 우항에 들어가는 인자를 iterate 해서 둘의 합을 확인하는 방법

Complexity

Time complexity:

O(N^2)

Space complexity:

Code

class Solution:
    def twoSum(self, nums: List[int], target: int) -> List[int]:
        
        done = False  
        for ptr1, i in enumerate(nums):
            ptr2 = ptr1 + 1
            while ptr2 < len(nums):
                if (nums[ptr1] + nums[ptr2] == target):
                    done = True 
                    break
                else: 
                    ptr2 += 1
            if (done):
                break

        return [ptr1, ptr2]

그런데 O(N^2) 풀이 보다 더 좋은 방법 없을까?

[LeetCode] 242. Valid Anagram

bandal-gom — Wed, 14 Dec 2022 17:11:54 +0900

Intuition

Anagram은 주어진 문자열의 character를 재배치 했을 때에도 다 같은 구성의 character를 가지는 단어 혹은 문구를 뜻한다고 한다.
- 그러니 길이가 같아야지?
같은 구성의 character를 가져야하겠네?

Approach

같은 구성의 문자를 가진것을 어떻게 비교하면 좋지?
- 정렬한 후에 같은지 확인하면 효율적이지 않을까
길이가 다른 경우는 먼저 False를 반환 하는게 좋을 것 같다

Complexity

Time complexity:

O(nlogn) 평균 / W.C (= worst case)
- 이유는 python의 sorted() 함수는 Timesort라는 정렬 알고리즘을 사용
- Timesort 알고리즘이란?
  - insertion sort 와 merge sort의 장점만을 합쳐서 만든 hybrid sorting algorithm
  - 평균 & W.C = O(NlogN) 을 보장
  - 참고: https://realpython.com/sorting-algorithms-python/#the-timsort-algorithm-in-python

Space complexity:

O(1) 평균 / O(n) W.C

Code

class Solution:
    def isAnagram(self, s: str, t: str) -> bool:
        if len(s) != len(t): return False
        return sorted(s) == sorted(t)

[LeetCode] 217. Contains Duplicate

bandal-gom — Wed, 14 Dec 2022 13:31:23 +0900

Intuition

python 으로 문제 풀이를 하기로 했으니 counter 함수를 사용해서 풀이하면 될것같다!

Approach

counter 함수로 첫번째 풀이를 했는데, time limit exceeded 가 떴음
두번째 제출에서는 set 자료구조를 사용해서 풀이
- set은 중복을 허용 X
- 주어진 data set을 set에 넣으면 중복이 사라져서 전체 사이즈가 달라짐
- set의 사이즈와 nums의 사이즈를 비교!

Complexity

Time complexity:

first attempt:
- O(N^2)
- list.count() 함수는 내부적으로 모든 PyObject를 iterate 하고, 주어진 입력값과 compare 하기 때문에 O(N) complexity를 가진다
  - 참고: https://stackoverflow.com/questions/44812468/what-is-the-time-complexity-of-python-lists-count-function
second attempt:

Space complexity:

first attempt:
second attempt:

Code

first attempt

class Solution:
    def containsDuplicate(self, nums: List[int]) -> bool:
        for num in nums: 
            if (nums.count(num) >= 2): 
                return True 
            else: 
                continue

        return False

second

class Solution:
    def containsDuplicate(self, nums: List[int]) -> bool:

        return len(nums) != len(set(nums))

custom header 값을 nginx 로그로 찍기

bandal-gom — Thu, 27 Oct 2022 19:06:18 +0900

기본 http header들은 nginx 에서 제공하는 variable로 찍으면 되는데..어플리케이션에서 직접 생성한 `custom header` 는 어떻게 찍을까?

우선 nginx 에서 지원하는 variable 리스트 중에 `$http_name` 이라는 값이 있다. 저 뒤 `_name` 부분에 custom 하게 생성한 header의 이름을 넣어주면 log에 기록할 수 있게 된다!

log_format에 아래와 같이 추가해주면! 예쁘게 잘 찍힐것!

log_format  main '$remote_addr $http_x_forwarded_for [$time_local] '
                     '$host $request $status $body_bytes_sent '
                     '$request_time $upstream_response_time '
                     '"$http_referer" "$http_user_agent" "$http_커스텀헤더명"';

[Redis] Sorted Sets

bandal-gom — Fri, 7 Oct 2022 12:30:09 +0900

Keys 명령어
- returns all keys matching pattern.
- O(N)
- 데이터가 많은 DB를 상대로 수행하는 경우에 성능저하 발생
- 리얼 환경에서 사용하는 것을 지양
- 해당 명령어는 디버깅, 키스페이스 레이아웃을 변경하는 것 같이 특별한 상황에만 사용하는 것을 권장.
Sorted Sets
- O(log(n))
- 중복이 없는 문자열 콜렉션.
- 모든 데이터는 score와 매핑되어서 정렬되고 데이터자체는 유니크한 값이지만, score는 중복 될 수 있다.
- Sorted Sets에 데이터가 등록될 떄 순서대로 등록되기 때문에 (등록된 이후에 후처리로 정렬하는 것이 아님), 데이터의 범위와 랭크를 아주 빠르게 구할 수 있다.
- 중간에 있는 데이터에 접근 하는 것도 굉장히 빠르게 처리 가능.
- 배민에서 사용한 대표적인 command
  - ZADD: (데이터를 순서대로 저장)
    - O(log(n))
    - 이미 있는 데이터를 다시 입력하는 경우 score가 업데이트 됨.
    - 같은 score를 가진 데이터가 존재하는 경우에는 데이터의 바이너리 표현으로 정렬한다 (The lexicographic ordering used is binary, it compares strings as array of bytes)
  - ZRANK: (대기순번 제공)
    - O(logN)
    - 조회하고자 하는 데이터의 랭크를 반환.
  - ZRANGE: (일정한 수만큼 대기열에서 참가열로 이동)
    - O(logN + M) / N = num of elements, M = numb of elements returned
    - 조회하고자 하는 데이터의 범위를 반환
- 배민에서는 대기열과 참가열로 사용함
Sorted Sets의 내부구조 (Skip List)

이곳을 참고하여 테스트 해보기 http://redisgate.kr/redis/configuration/internal_skiplist.php

[docker] docker-compose 업데이트! 무엇이 바뀌었고 언제까지 바꿔야 하는가?

bandal-gom — Thu, 6 Oct 2022 17:27:31 +0900

무엇이 바뀌었는가

내부 코드

v1 은 python으로 개발됨
v2 는 Golang으로 개발! (from scratch!)
- standalone binary 파일이 아니라서 설치 방식이 v1과 좀 다름docker-compose → docker compose
명령어 사이에 - 없이 사용 가능
v1과 v2의 compatibility를 위해 compose-switch 유틸 제공
- docker-compose python 코드를 docker compose Golang으로 converting!

container 명명 방식 변경

언더스코어(_) 에서 하이픈 (-) 으로 변경
container 이름 기준으로 스크립트를 개발하였다면, -compatibility옵션을 사용하여 에러가 발생하지 않도록 설정 가능

BuildKit supported by default

v1에서는 default가 아니었음
BuildKit?
- Dockerfile을 docker image로 변경해주는 open-source project
- docker image만 생성하는게 아니라 OCI image 나 다른 format의 output으로도 생성 가능

마스코트 이름 (공모중)

귀여울..지도?

도커 모비딕 외에 docker compose도 마스코트가 있다는 사실...아셨나요?
현재 이 마스코트의 이름을 공모중이라고 합니다. 관심있으신 분은 여기서 참여해 보세요.

v1 → v2 업그레이드 이점

Docker CLI의 빠른! 새로운 기능 제공받을 수 있음

많은 기능들이 추가되었지만..요약하자면

GPU machine support
profiles 기능 추가 (자세한 내용: https://docs.docker.com/compose/profiles/ )
- 다양한 환경에 선택적으로 서비스를 활성화 할 수 있는 기능
- profiles설정이 없는 서비스는 항상 활성화 됨
- 사용방법 ex) docker compose --profile debug up

version: "3.9"
services:
  frontend:
    image: frontend
    profiles: ["frontend"]

  phpmyadmin:
    image: phpmyadmin
    depends_on:
      - db
    profiles:
      - debug

  backend:
    image: backend

  db:
    image: mysql

docker compose ls 명령어가 이제 모든 compose app을 보여줌
docker compose cp 명령어는 서비스 컨테이너 or 로컬 파일시스템 간에 파일이나 폴더를 복제할수있게 함

스무-스 한 배포 방식

클라우드 서비스와의 연동으로 compose up만 하면 배포/실행 가능
ex) 개발환경은 로컬, 운영은 ECS에서 한다면, Docker context switch만 하면 원하는 target 환경에 배포 가능
더 자세한 내용: https://github.com/docker/compose-cli

Docker 생태계에서의 아싸 탈출

v1은 python으로 개발되어서 이전에는 docker 생태계에서 아싸였음
Moby, the CLI 나 다른 Go 기반 프로젝트들의 코드를 사용할 수 있게 됨. (v1에서는 python 코드로의 변환이 필요했었음)

Compose binaries로 쉬운 업데이트, 의존성 관리

빨라집니다
제가 이 부분 내용 이해를 못했습니다. 번역해주실 분 구합니다

compose 파일 없이 명령어 실행

container label로 프로젝트 실행 가능 (아래 예시)
- --project-name은 -p 로 대체가능
```
docker commpose --project-name [프로젝트-라벨] down
```
위와같이 docker-compose.yml 파일 이나 환경변수 없이 docker compose start/stop/pause/down/ps/exec… 명령어 실행 가능

container label이 뭔가요? (아래 예시)

컨테이너 metadata, 여러 이미지/container 관리에 용이

build:
context: .
labels:
com.example.description: "Accounting webapp"
com.example.department: "Finance"
com.example.label-with-empty-value: ""

v1은 그럼 어떻게 되나요?

충분히 시간을 줄테니 v2로 옮기세요

deprecated 로 설정
치명적인 vulnerability or 버그만 다음 마일스톤까지 패치
v2 필수적으로 사용하지 않을 수 있도록 옵션 제공
- docker-compose disable-v2

EOL (=End-of-Life) 제안 기간

2022년 10월
운명인가요? 어떻게 딱 10월에 v2가 나온걸 알게된거지....

더 알고싶다면..

docker compose v2 문서: https://www.docker.com/blog/announcing-compose-v2-general-availability/

[뉴비개발자 시리즈] 신입 개발자의 일탈 - 봇 만들기

bandal-gom — Thu, 6 Oct 2022 12:30:18 +0900

2017-09-29에 작성한 글을 옮겨왔습니다. 동기들 채팅방에서 썼던 봇에 관한 글입니다. 방정맞은 말투는 이해 부탁드립니다..
지금 보니 신입이었을땐 딴짓도 개발로 했었네요

꿀잼 봇 만들기

도롱뇽농땡이봇이 일을 하고있다.

추석연휴를 맞아 봇을 하나 만들었습니다.
네
1분안에 완성 가능합니다.
예.
단축안해서 업무가 손에 안잡혀서 글 올려봅니다.
코드랄 것도 없지만 파이썬으로 ★우리회사★ 로 메세지를 날려보겠습니다.

import requests, time, datetime, sys

def let_the_world_know():
    hook_url=[사내 메신저 채팅방 web hook url] 
    image_url=[이미지 업로드된 cdn url]
    lunch_url=[세상에서 제일 중요한 그날의 점심 메뉴 캡쳐 이미지 url]
    text = sys.argv[1]
    data = {
        'botName' : '도롱뇽농떙이봇',
        'botIconImage' : image_url,
        'text' : "",
        'attachments': [{
            "title": "하",
            "titleLink" : [점심메뉴 페이지로 가는 direct url],
            "text" : text,
            "color" :"lightpink"
        }]
        }
    response=requests.post(hook_url, json=data)
    
let_the_world_know()

네 이게 답니다. 인자로 원하는 넣기만 하면 됩니다.
실행은 요렇게 합니다.

python3 i_want_to_go_home.py (원하는 메세지)

그럼..이만..20000

앞으로의 개선사항

오늘 (9/29) 출범한 베베 프로젝트이니 앞으로 더 많은 기능 추가 가능합니다.
댓글로 요구사항을 달아주세요.

현재까지 집계된 요구사항

검색엔진 추가
채팅방에서 도롱뇽농땡이봇호출
~~맛집 크롤링 (일단 개발자A 사우님 집들이부터..)~~

[Kotlin] Annotation Targets

bandal-gom — Wed, 5 Oct 2022 14:00:39 +0900

2019-06-12 에 작성한 글을 옮겨왔습니다.

@Doc 어노테이션을 붙였을 때 문서화가 안되는 에러가 발생하였습니다.
디컴파일된 자바코드를 확인해보기 전까지는 다른 건 Java로 짰는데 이 클래스는 코틀린이라서 그런가? 라는 말도 안되는 의심을 했습니다..!:joy:

코틀린은...

코틀린의 property는 자바의 필드, getter, setter, 그리고 접근자의 파라미터로 해석될 수 있습니다.
그리고 코틀린의 property가 primary constructor에 선언 된 경우에는 생성자의 파라미터로도 해석이 됩니다.
의도하지 않은 방향으로 코드가 생성 될 수도 있으므로, annotation의 use-site 같이 명확한 용도를 정의해줘야 합니다.

Annotation Use-site Targets

annotation의 용도를 선언하기 위해 사용합니다.

use-site 목록

property (Java annotation은 해당 값 사용할 수 없음)
field
get (getter)
set (setter)
receiver
param (생성자 파라미터)
setparam
delegate
file

사용방법

use-site target 을 명시하지 않으면 사용한 annotation의 @Target 이 사용됩니다.
ex)

@Target({ElementType.PARAMETER, ElementType.FIELD, ElementType.METHOD})

만약 다수의 @Target이 존재한다면, 적용 가능한 use-site부터 순서대로 적용됩니다.

param
property
field

문제해결

DocGenerator.java 는 필드를 기준으로 하여 @Doc 어노테이션이 붙은 필드를 가져와서 문서화 합니다.

...
for (Field field : fieldList) {
            Doc doc = field.getAnnotation(Doc.class);
            if (doc != null) {
            ...

수정 전

오류가 났을 경우의 data class는 일반 자바 클래스에서 어노테이션을 사용하는 것과 같이 작성하였습니다.

data class ReceiverResponse(@Doc(desc = "수령자 수", example = "")
                            val receiverCount: Long,
                            @Doc(desc = "수령자 정보", example = "", child = true)
                            val receivers: List<Receiver>)

이 경우의 자바바코드를 확인하면

위에서 명시한 것과 같이, 다수의 @Target 이 존재하는 경우에는 param, property, field 순으로 적용되므로 변환된 자바코드의 생성자 파라미터에 어노테이션이 붙어있는 것을 확인할 수 있습니다.

field.getAnnotations(Doc.class) 의 부분에서 null이 반환 되었고, 문서화 테스트케이스는 당연히 에러가 발생하였습니다.

수정 후

use-site target을 사용하여 다음과 같이 변경하여 주면 정상 동작하는 것을 확인할 수 있습니다.

data class ReceiverResponse(@field:Doc(desc = "수령자 수", example = "")
                            val receiverCount: Long,
                            @field:Doc(desc = "수령자 정보", example = "", child = true)
                            val receivers: List<Receiver>)

수정 한 후의 자바코드:

각 필드에 원래의 의도대로 @Doc 어노테이션이 붙어있는 것을 확인 할 수 있습니다!

에러도 해결!

교훈: 코틀린을 제대로 알고 사용하자

출처

https://kotlinlang.org/docs/reference/annotations.html
코틀린 인 액션 책

[nginx] 서비스 점검공지 올리는 방법

bandal-gom — Wed, 5 Oct 2022 13:53:53 +0900

2019-03-04-nginx-점검-페이지.md 라는 이름으로 github.io 블로그에 올렸던 내용을 가져온 내용입니다.

nginx 에서 간단하게 503 에러코드를 사용하여 점검페이지를 띄워보자

서비스 점검 공지

서비스 점검 공지 페이지가 사용되는 경우가 종종 있음.

장애
무중단이 불가능한 빅 업데이트
내가 속한 팀에서는 주로 위와 같은 사유로 점검페이지를 사용함.

Nginx 를 L4 뒤, application 앞에 두는 구조이기 때문에 점검 페이지를 nginx 쪽에서 관리하고있음.
실제 점검 페이지는 html 파일로, 마크업/디자인 팀에서 전달받은 파일을 nginx 서버에 업로드 하여 사용함.

nginx 설정

nginx에서 점검 페이지를 관리하려면 conf 파일에 수정을 해야함.
http status code 503 을 사용하여 에러 페이지로 redirect 하도록 다음과 같이 설정.

server {
    ...
    location / {
        error_page 503 /maintenance_on.html;
        if (-f [서비스경로]/maintenance_on.html) {
            return 503;
        }
        ...
    }
    # Error pages.  
    location = /maintenance_on.html {
        root [서비스경로];
    }
    ...
}

점검 페이지가 사용되지 않을때는 maintenance_off.html 로 파일명을 유지.
점검페이지를 띄우는 스크립트 (maintenance.py) 가 maintenance_on.html 로 점검페이지 파일명 변경.
maintenance_on.html 파일이 존재하는 경우 503 error code 를 반환.
503 error code를 maintenance_on.html 로 매핑.
요청이 /maintenance_on.html 로 들어오는 경우, 지정된 경로의 파일로 요청 redirect.

점검페이지 ON/OFF 스크립트

해당 설정을 빠르게 하기위해서 간단한 스크립트를 작성하였다.
사용 방법은 다음과 같다.

python3 maintenance.py [서비스명] [on or off]

'''
$> python3 maintenance.py [app_name] [on/off]

status = [on, off]
app_name = [서비스명]
@author yeji im
'''
import sys, os, time, os.path

CONSTRUCTION_BASE="[maintenance file path]"

def construction_site():
    app_name = sys.argv[1]
    status = sys.argv[2]
    CONSTRUCTION_BASE =  CONSTRUCTION_BASE + app_name + "/"

    new_file_name = "maintenance_" + status + ".html"
    old_file_name = "maintenance_";

    if status == "off":
        old_file_name = old_file_name + "on.html"
    else:
        old_file_name = old_file_name + "off.html"

    # change maintenance file
    os.rename(CONSTRUCTION_BASE + old_file_name, CONSTRUCTION_BASE + new_file_name)

construction_site()

Transactional + DDD

bandal-gom — Fri, 30 Sep 2022 22:25:17 +0900

2019년 12월 16일에 notion에 작성한 글을 옮겨 왔다.

@Transactional + DDD

fun requestRefund(request: RefundRequest): RefundResponse {
    val paymentInfo = 결제클라이언트.get결제정보(request.orderNo)
    return refund(refundDomainService.register(request, paymentInfo))
}

보통 외부의 호출이 일어날떄 transaction을 분리하는 경우는 다음과 같다.

transaction이 이미 열렸고, 외부 호출을 하는 경우 timeout 같은 에러 발생 시, 지연된 시간만큼 transaction을 물고 있기 때문에 좋지 않다. → db lock 발생 가능 (그런데 db lock은 정확히 언제 발생하는가? )

DB transaction의 시작은 refundDomainService.register 를 호출하였을때 시작이 된다. (정확하게 언제 시작되는지에 대해서 잘 모르겠다.)

이 이유 이외에도 Application layer에 두는 이유는 다음과 같다

DomainService layer에 있는 경우, 해당 function을 다른 곳에서 호출 하였을 떄 원하는 동작이 일어나지 않을 수도 있다. (ex. for loop으로 여러 컬렉션을 register 하게 되는 경우)
위에 언급한 것과 같이 register() 이전에 transaction을 여는 다른 명령어가 있는 경우.

해당 domain function을 호출하는 곳에서 (Application layer) Transaction을 관리하는 것이 좀 더 용이하다.

Transaction이 이미 시작되었고 →외부 호출 (feign client) → register 로 만약에 코드가 짜여졌다면, transaction을 분리해서 가져가는 설계가 훨씬 맞다.

[리팩토링] 에러로그 리팩토링에 대한 개발자1의 의식의 흐름

bandal-gom — Fri, 30 Sep 2022 21:56:55 +0900

2019-04-11-errorlog-refactoring-devlog.md 라는 이름으로 이전 github페이지 블로그에 올렸던 글을 가져온 내용입니다.
2019년도 당시에 개발했던 내용에 대한 고민을 회고방식으로 남겼습니다.

intro

주문, 결제 관련 개발을 하는 파트에서 일하고 있는 개발자1입니다.
주된 업무를 마치고 잠시 쉬어가는 타이밍에 side task 정도로 기존의 에러로그 리팩토링을 진행하였는데, 간단한 업무였지만 나름의 (?!) 고민을 이것저것 하였습니다. 약간 생각의 흐름대로 작성한 리팩토링 고민 입니다.

업무를 요약하자면 다음과 같습니다.

결제 관련한 에러로그를 찍을 때, 주문/결제관련 request model, 결제키를 가진 model 등 개인정보에 민감한 주문자에 대한 정보를 담고있는 객체들을 전체 출력하고 있음 (전부 toString()을 사용하여 출력). 에러 debugging 시 정말 필요한 필드만 에러로그에 남기는 방향으로 리팩토링 해야함.

그리고 이것은 기존의 코드!

protected 정의한Exception loggingErrorAndWrapping정의한Exception(Exception e, 정의한결제errorCode errorCode,
                                                                   Object... args) {
    if (e instanceof 정의한Exception) {
        return (정의한Exception)e;
    } else {
        String argsStr = "";
        for (Object arg : args) {
            if (arg != null) {
                argsStr += arg.getClass().getName() + ": " + arg + "\n";
            }
        }
        log.error("============= 결제 에러로그 =============\n" + argsStr, e);
        return new 정의한Exception(errorCode);
    }
}

특징

주문 도메인 전체에서 사용하지 않고 결제 관련된 서비스 코드에서만 사용하는 메소드
호출할 때 에러로그에 남기고 싶은 객체를 통짜로 넘김

toString()을 수정하면 되지 않을까?

다른 개발자분에게 의견을 드렸더니, 그것보다는 parameter로 넘기는것으로 수정해봐라~ 라고 하시니, 일단은 그 방법은 접어두었다.
뭔가 문제가 있어서 그런거겠지 라는 생각으로.
그리고 이미 toString()을 열렬하게 사용하는 곳이 있다면?! 그걸 다 일일히 찾아서 수정할 수도 없는 노릇이고.
다음 글들은 생각의 흐름대로 정렬한 semi-해결방안 들이다. 개발자1의 의식의 흐름으로...!

parameter로 필요한 필드를 넘겨준다

일단은 추천받은 방법대로 해봐야 하지 않겠나. 당연히 해봤다.
PayErrorInfo 라는 클래스를 생성해서 클래스명, 클래스에서 출력하고자 하는 필드로 생성.

public class PayErrorInfo {
    private String className;
    private List<String> fields; 
}

메소드를 호출하는 부분에서는 다음과 같이 사용

List<String> fields = ArrayLists.newArrayList();
fields.add(주문번호);
정의한Exception exception = loggingErrorAndWrapping정의한Exception(e, 정의한결제errorCode.ERROR_CODE, new PayErrorInfo(주문model.getClass().getName(), fields));

하지만..
기존에는 손쉽게 object를 넘기기만 하면 끝이었는데, 지금은 불필요한 코드가 늘어난 느낌.
깔끔하게 리팩토링 하려는 나의 의도와는 전혀 다른 결과가 나옴!
이것보다 더 나은 방법은 없을까?

Annotation 으로 해결

annotation으로 각 model, entity에서 에러로 찍고자 하는 필드에 사용하면 좀 더 깔끔하게 해결할 수 있지 않을까?

/**
 * 에러로그에 포함하고 싶은 필드
 * @author Yeji Im
 */
@Target(ElementType.FIELD)
@Retention(RetentionPolicy.RUNTIME)
public @interface PaymentLog {}

@PaymentLog를 사용하는 객체

public class 주문객체 {

    @PaymentLog
    private String 주문번호;
    ...
}

@PaymentLog 어노테이션이 있는 필드만 출력하게끔 PayErrorInfo 수정!

public class PayErrorInfo {
    private Object object;
    
    public PayErrorInfo(Object object) {
        this.object = object;
    }
    
    public String toString() {
        Class<?> clazz = object.getClass();
        Map<String, String> map = Maps.newHashMap();
        for (Field field : clazz.getDeclaredFields()) {
            field.setAccessible(true);
            if (field.isAnnotationPresent(PaymentLog.class)) {
                try {
                    map.put(field.getName(), field.get(object).toString());
                } catch (IllegalAccessException e) {
                    e.printStackTrace();
                }
            }
        }
        return map.entrySet()
                  .stream()
                  .map(entry -> "[" + entry.getKey() + "=" + entry.getValue() + "]")
                  .collect(Collectors.joining(","));
    }    
}

메소드를 사용하는 부분! 이전보다는 간결 해졌다.

throw loggingErrorAndWrapping정의한Exception(e,정의한결제errorCode.ERROR_CODE,new PayErrorInfo(결제request))

이렇게 사용해서 best case 에는 다음과 같이 출력 됨.

[개발자1의프로젝트] : [ERROR] 2019-04-09 14:20:32,734 [main] 이런저런패키지.결제Service 
============= 결제 에러로그 =============
[주문번호=12341234]

원래 목적이었던 몇몇의(주문번호, 주문서번호) 단일필드를 성공적으로 출력!
직전의 방법보다 깔끔함.

하지만..

이렇게 하게 된다면, 다음과 같이 개발자1의 의도와 다르게 동작할 수 있음.

collection 인 경우

List<상품> 과 같은 collection 의 내부에서 @PaymentLog를 사용한다면? => 정상적으로 동작 X

   public class 상품 {
        @PaymentLog
        private String 상품명;
    }

field.get(object) 처럼 직접적으로 access 하는 경우에, 해당 필드의 getter가 override된 상황이라면? 원래 getter로 받으면 정상적인 값을 받지만 직접 access 하게 된다면 전혀 다른 값을 사용하게 될 가능성이 있음.
reflection을 사용하였을 때 성능에 대한 문제
나의 의도와는 다르게 (단건에 대한 필드에만 동작, 정해진 몇몇 필드만 사용할 예정) 시간이 지나서 다른 개발자가 사용하게 된다면? => 에러 발생 확률 높아짐

이와같은 이유로 다른 방법을 고려하게 됨.

Visitor Pattern

팀원분이 Visitor pattern 적용해보는 것을 추천해주셨다. 참고: https://sourcemaking.com/design_patterns/visitor
로그를 찍고자 하는 클래스가 추가될 때마다 VisitorImpl에 메소드가 추가 됨

장점

로그를 찍는 사소하지만 공통적인 작업을 한 클래스 내부에서 관리할 수 있게 됨.

단점

결제Service 내부의 몇 메소드에서만 사용하는 로깅용 method 인데 굳이 이렇게 적용할 필요가 있을까? 주문 도메인 전체에서 사용하는 공통적인 에러로그 작업이라면 고려해 볼만 할 것 같다.

그래서 다른 방법을 다시 고민해 보았다.

toString() 같은 메소드

결국에는 다시 돌아와서 toString().
아무리 생각해도 에러 확률도 가장 적고, 기존에 있는 코드를 수정하지 않는 선에서 할 수 있는 최선의 방법이라고 생각하였다. (처음부터 이렇게 할걸...)
에러로깅메소드를 사용하는 몇 클래스/request model에서는 이미 toString() 을 override해서  사용하고 있어서 구분짓기 위해 toPaymentErrorLog() 라는 메소드를 추가하였다.
그리고 지금까지 별로 중요하게 생각하지 않았던 부분도 있었다. 바로 method의 이름!!

method의 이름 재 정의

loggingErrorAndWrapping정의한Exception
메소드 명만 봤을때는 해당 메소드의 용도는 이해가 된다. 에러를 로그로 남기고 정의한 exception을 wrapping해서 반환한다.
하지만 너무 길다. (물론 긴 메소드명이 틀렸다는 것은 아니지만, 더 명확하지만 짧은 메소드명을 선호한다!)
그리고 길다고 생각해서 변경하려 하니 또 마땅히 생각나는 메소드 명은 없었다.
그렇다면 이 메소드는 한가지 일을 하지 않는 메소드 (And을 보아 짐작할 수 있다) 여서 어려운 것이라고 생각했다.

더 좋은 메소드명으로 변경하려면 기능을 분리해야한다!

정의한 exception을 wrapping 하는 곳
에러로그를 남기는 곳

그래서 다음과 같이 변경 하였다.

/**
 * 정의한ErrorCode를 담은 정의한Exception을 반환
 */
protected 정의한Exception generate정의한Exception(Exception e, 정의한결제errorCode errorCode, Object... args) {
    if (e instanceof 정의한Exception) {
        return (정의한Exception)e;
    } else {
        print결제에러(e, args);
        return new 정의한Exception(errorCode);
    }
}

private void print결제에러(Exception e, Object... args) {
    String argsStr = "";
    for (Object arg : args) {
        if (arg != null) {
            argsStr += arg.getClass().getName() + ": ";
            Optional<Method> method = Optional.ofNullable(ReflectionUtils.findMethod(arg.getClass(),
                                                                                     "toPaymentErrorLog"));
            if (method.isPresent()) {
                argsStr += ReflectionUtils.invokeMethod(method.get(), arg) + "\\n";
            } else {
                argsStr += arg + "\\n";
            }
        }
    }
    log.error("============= 결제 에러로그 =============\\n" + argsStr, e);
}

결과

기존의 method를 기능별로 분리하고 명명하였다.
toPayErrorlog가 있는 클래스는 그 포맷으로 출력하고 없는 경우에는 toString 으로 클래스의 내용을 출력하는 방향으로 수정하였다.

마지막으로 남긴 코드가 메소드 리팩토링 진짜_마지막_리얼_마지막_코드.java 이다. 이것보다 더 좋은 방법이 물론 있으리라 믿는다.

[성능] heap dump 분석 툴 / heap dump analyzer

bandal-gom — Tue, 20 Sep 2022 13:21:12 +0900

설치 필요 X / 10mb 파일 사이즈 제한 있음

Heap Hero

https://heaphero.io/

World-class heap Dump analysis - Java, Android memory dump analyzer

How much memory your application wastes? Due to inefficient programming, modern applications waste 30% to 70% of memory. HeapHero is the industry's first tool to detect the amount of wasted memory. It reports what lines of source code originating the memor

heaphero.io

REST API도 있다! 사이즈 제한이 있는것이 좀 흠이긴 하지만, 이걸로 heap dump 분석 -> 애용하는 messenger로 바로 분석된 결과물을 볼 수 있도록 자동화 하는 방법도 좋을듯!
https://blog.heaphero.io/2018/06/22/heap-dump-analysis-api/

HEAP DUMP ANALYSIS API

Android, JVM Heap dump analysis doesn’t have to be done manually (painfully) anymore. You can programmatically analyze Heap dumps through our REST API. Below are the few use cases where our heap du…

blog.heaphero.io

Fastthread

https://fastthread.io/

fastthread.io

Thread Dump Analysis REST API In this modern world, thread dumps are still analyzed in a tedious & manual mode. i.e., Operations engineer captures thread dumps from the production servers; then he transmits those files to developers. Developers use thread

fastthread.io

설치 필요 O

IntelliJ (유료버전)

https://www.jetbrains.com/help/idea/create-a-memory-snapshot.html

Create and open memory snapshots | IntelliJ IDEA

www.jetbrains.com

현재 사용하고있는 IDE 툴에서 바로 분석도 가능! 하지만 MAT에 익숙한 사용자라면, 뭔가 부족함을 느낄수도..
유료 버전만 지원

Memory Analyzer (MAT)

https://www.eclipse.org/mat/downloads.php

Eclipse Memory Analyzer Open Source Project | The Eclipse Foundation

The Eclipse Foundation - home to a global community, the Eclipse IDE, Jakarta EE and over 415 open source projects, including runtimes, tools and frameworks.

www.eclipse.org

mac도 지원함!

[Gradle] gradle 빌드 OOM 발생할땐?

bandal-gom — Tue, 20 Sep 2022 13:10:26 +0900

CI/CD 단계중 빌드단계에서 OOM이 발생하는 경우가 얼마나 될까?
일단 지금까지 여러 어플리케이션의 빌드를 돌려봤지만 처음 경험해 봤다.

젠킨스 빌드 로그에는 아래와 같이 OutofMemoryError가 발생했다는 로그가 남아있다. 그리고 힙덤프 업로드 알림이 왔다.

내가 만든 OOM업로더 알림이 :)

힙덤프를 분석해보기 위해 MAT실행 > 분석!

이런 처음 보는 에러가 memory leak의 가장 의심되는 부분이라고 분석되었다. 원인을 위해 해당 검색을 해보았지만 딱히 도움되는 글을 발견하지는 못했다. (가장 관련있어 보이는 stackoverflow의 글 일단 링크)

빌드 oom이니까 gradle의 문제아닐까..?

일단 힙덤프를 봐도 모르겠으니, 다음 타겟인 gradle을 의심해봤다. 관련해서 자료를 찾아보니, gradle daemon 의 heap size가 부족하면 OOM이 발생할 수도 있다고 한다. 당장 바꿔~~

이렇게 gradle.properties 파일에 jvmargs 옵션을 추가하고 다시 빌드를 돌려보니, 빌드가 성공적으로 돌았다!!!

그럼 왜 이전에는 빌드에 실패헀을까? 따로 설정한 값이 없었으니, gradle daemon의 default 설정으로 실행되었을텐데.

gradle daemon이 해당 프로젝트를 빌드할때 default size인 512MB보다 큰 값이 필요했던것으로 보인다.

아니 512MB보다 더 필요한 경우는 처음보네..

좀 규모가 있는 어플리케이션의 경우에는 512MB보다 더 필요하다고 gradle 문서에 써있지만, 해당 어플리케이션은 그렇게 규모가 크지는 않은데..? 규모가 큰것에 대한 기준이 뭐지?

좀 더 알아볼 부분

gradle daemon, gradle launcher

참고한 문서

[Jenkins] java.lang.NoSuchMethodError: No such DSL method 'cleanWs' found among steps 에러 해결 방법

bandal-gom — Thu, 15 Sep 2022 13:03:09 +0900

새로운 Jenkins 인스턴스에서 기존 pipeline 코드 실행하다가 맞이한 에러

에러 코드를 살펴보면 아래와 같은 형태로 나오는데,

java.lang.NoSuchMethodError: No such DSL method 'cleanWs' found among steps [...] or symbols [...] or globals [...]

steps에도 없고, symbols에도 없고, 따로 지정한 globals에도 없으니 이건 플러그인 미설치때문에 발생한 에러이다.

필요한 플러그인을 설치하자!

https://plugins.jenkins.io/ws-cleanup/

Workspace Cleanup

This plugin deletes the project workspace when invoked.

plugins.jenkins.io

Jenkins 버전 업데이트 & 롤백하는 방법

bandal-gom — Wed, 14 Sep 2022 13:30:51 +0900

새로운 버전의 Jenkins가 나올때 마다 업데이트 해주면 좋겠지만...다들 귀찮은거 압니다.
docker로 운영하는 Jenkins 업데이트가 가~끔 필요할때 이렇게 하면 됩니다!

LTS버전 기준으로 원하는 war파일 버전을 찾아주세요 -> https://www.jenkins.io/download/

Jenkins download and deployment

Jenkins download and deployment The Jenkins project produces two release lines: Stable (LTS) and regular (Weekly). Depending on your organization's needs, one may be preferred over the other. See the links below for more information and recommendations abo

www.jenkins.io

docker container 내부에서 직접 다운로드 후 재시작 합니다.

# docker container 진입 
docker exec -it jenkins /bin/bash 

# wget 으로 .war 파일 다운로드 
sudo wget [jenkins version .war file link] 

# .war파일 경로 이동 
sudo mv jenkins.war /usr/share/jenkins 

# 파일 권한 변경 (root로 되어있지 않은 경우) 
sudo chown root:root jenkins.war

# docker 재시작 
docker restart jenkins

이건 본 포스팅과는 관련없는 내용이지만..Jenkins restart 할 때 (위와같이 업데이트 하는 경우에) 데이터가 초기화 되는 현상 겪어보신 분 계신가요?
plugin 호환성이 맞지 않아서 그런 현상이 발생하는 것 같은데, 다른 원인 찾으신 분 계신다면 댓글 부탁드립니다

Jenkins X 란?

bandal-gom — Wed, 14 Sep 2022 13:03:47 +0900

Kubernetes 환경에서 CI/CD 툴을 조사하던 중 Jenkins X 를 발견하게 되었다.
널리널리 사용되는 Jenkins! 그런데 좀 더 발전된 버전인가? 어떤 점이 다른지 살펴보자

Jenkins X?

kubernetes 환경에서 CI(=continuous integration) 과 CD(continuous deployment) 를 제공하는 툴
오픈소스 프로젝트, 현재도 열심히 개발되고 있는 프로젝트!
아쉽게도 웹이나 serverless하게 확인해볼수있는 demo는 없지만, 아래 kubecon 영상에서 demo확인 가능
- 2018 kubecon Jenkins X demo (Jenkins x 뽕에 취해보세요)

특징

Automated CI/CD

Github에서 commit, push, PR을 통해 자연스러운 CI/CD 환경을 경험할 수 있음 (모든 git event에 따라 각각 다른 pipeline이 동작)
- 개발자가 web UI를 통해 (jenkins, Argo CD같은) 배포 버튼을 누르는 작업을 따로 하지 않아도 됨

Environments

Devlopment, Staging, Production 환경을 제공
kubernetes cluster의 namespace 하나가 Jenkins X에서 말하는 enviornment가 됨
Single cluster의 경우 하나의 cluster안에서 development, staging, production의 배포 환경을 namespace로 구분
multi-cluster도 지원함
배포환경 뿐만 아니라, 각 팀마다 다른 배포 환경을 가지도록 구성할 수도 있음
- team == environment

Preview Environments

PR에서 반영한 코드를 테스트할 수 있는 preview 환경을 제공
개발자가 작업한 feature가 master branch로 (merge 하고자 하는 branch) merge가 되었을때의 결과물을 샘플로 보여주는 환경

dev pod

PR을 올리기 전 (preview environment를 사용하기 전), 로컬환경에서의 작업물을 테스트할 수 있는 환경을 제공
로컬환경에서 CI/CD 환경에 구축되어있지 않더라도, 현재 작업하고있는 작업물을 dev pod에서 테스트 가능
따로 배포를 하지 않고, 사용하고있는 IDE에서 코드 저장하기만 하면 dev pod로 sync
내부적으로 skaffold 라는 오픈소스를 사용해서 동작
- 이 부분은 Jenkins X를 사용하지 않고, 다른 오픈소스 툴을 사용하면 됨
  - Tilt
  - Skaffold
  - Garden
  - Draft (archived 된 프로젝트..)
참고: https://www.cloudbees.com/blog/exploring-jenkins-x-devpod

고려사항

AWS, GKE, Azure에 최적화

on-premise보다는 위의 클라우드 provider에서 사용하는것을 권장
on-premise로 사용하게 될 경우에는, Metal LB로 구성해야함 (클라우드를 사용하게 될 경우, 이 부분은 걱정하지 않아도 됨)
여러모로 설정부분에서 신경써야 할 것이 많긴 해 보임

[Python] scp, paramiko 패키지 예제

bandal-gom — Thu, 26 Aug 2021 10:36:18 +0900

파일 업로드에 사용할 python 패키지를 찾다가 scp, paramiko를 사용하여 아래와 같이 개발함!

from paramiko import SSHClient
from scp import SCPClient

def upload_files(target, fileList):
    scp = connect_to_server()   
    files = []
    for file in fileList:
        filename = file.rstrip()
        file_full_path = "졀대/상대경로"+ filename
        scp.put(files=filename, remote_path=file_full_path, recursive=True)

    # fileList to 
    # scp.put(files=files, remote_path=target_path, recursive=True)    

def connect_to_server():
    ssh = SSHClient()
    ssh.load_host_keys([ssh key 경로])
    ssh.connect([서버주소], 22, 'centos', key_filename=[pem파일 경로])
    scp = SCPClient(ssh.get_transport())
    return scp

paramiko 문서 / scp 문서

대학생때 만들었던 사진 객체로 스티커 (?) 만들기

bandal-gom — Sun, 18 Jul 2021 15:22:20 +0900

동영상 서비스가 종료되어 해당 콘텐츠를 재생할 수 없습니다.

하드드라이브 정리하다가 발굴해낸 프로젝트. 여담을 하자면 이 프로젝트는 팀플젝이었는데, 4명중 2명이 중국으로 귀국(이라쓰고 도망)가버려서 나머지 2명이 울면서 개발한 프로젝트이다..빤쓰런을 하려면 저 정도 스케일은 되어야 인정을 받을 수 있을 것.

지금은 내용도 다 까먹고, MATLAB도 까먹고, 남은건 코드와 자료들 뿐이지만, 나름 재밌었다. Computational Photography 수업이었음.

문제의? 프로젝트 코드: https://github.com/yayyz/emojify-objects

yayyz/emojify-objects

Contribute to yayyz/emojify-objects development by creating an account on GitHub.

github.com

[프로그래머스] 다리를 지나는 트럭 - 스택/큐

bandal-gom — Sun, 18 Jul 2021 14:23:17 +0900

문제링크

https://programmers.co.kr/learn/courses/30/lessons/42583

코딩테스트 연습 - 다리를 지나는 트럭

트럭 여러 대가 강을 가로지르는 일차선 다리를 정해진 순으로 건너려 합니다. 모든 트럭이 다리를 건너려면 최소 몇 초가 걸리는지 알아내야 합니다. 다리에는 트럭이 최대 bridge_length대 올라갈

programmers.co.kr

문제풀이

import java.util.ArrayList;
import java.util.LinkedList;
import java.util.List;
import java.util.Queue;

class Solution {
    public int solution(int bridge_length, int weight, int[] truck_weights) {
        List<Integer> done = new ArrayList<>();
        Queue<Integer> trucks = new LinkedList<Integer>();
        Queue<Integer> bridge = new LinkedList<Integer>();
        for (int truck : truck_weights) {
            trucks.add(truck);
        }

        // initialize queue (adding dummy data)
        for (int i = 0; i < bridge_length; i++) {
            bridge.add(0);
        }

        int answer = 0;
        int sum = 0;
        while (done.size() < truck_weights.length) {
            // 조건 만족
            if (trucks.peek() != null) {
                if (sum + trucks.peek() <= weight) {
                    int curr = trucks.poll();
                    bridge.add(curr);
                    sum += curr;
                }
            }
            if (bridge.size() < bridge_length) {
                bridge.add(0);
            }
            // iteration이 끝나면 빼주기
            int truck = bridge.poll();
            sum -= truck;
            if (truck != 0) {
                done.add(truck);
            }
            ++answer;
        }
        return answer;
    }
}

[프로그래머스] K번째수 - 정렬

bandal-gom — Sun, 18 Jul 2021 14:19:07 +0900

문제링크

https://programmers.co.kr/learn/courses/30/lessons/42748

코딩테스트 연습 - K번째수

[1, 5, 2, 6, 3, 7, 4] [[2, 5, 3], [4, 4, 1], [1, 7, 3]] [5, 6, 3]

programmers.co.kr

문제풀이

import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

/**
 * K번째수
 * https://programmers.co.kr/learn/courses/30/lessons/42748
 */
public class Solution {

    public int[] solution(int[] array, int[][] commands) {
        List<int[]> list = new ArrayList<>();
        List<Integer> kth = new ArrayList<>();
        for (int[] command : commands) {
            list.add(Arrays.copyOfRange(array, command[0] -1 , command[1]));
            kth.add(command[2]);
        }

        int[] answer = new int[list.size()];
        for (int i = 0; i < list.size(); i++) {
            Arrays.sort(list.get(i));
            answer[i] = list.get(i)[kth.get(i) - 1];
        }
        return answer;
    }
}

[프로그래머스] 완주하지 못한 선수 - 해시

bandal-gom — Sun, 18 Jul 2021 14:16:14 +0900

문제 링크

https://programmers.co.kr/learn/courses/30/lessons/42576

문제 풀이

import java.util.HashMap;
import java.util.Map;

/**
 * 완주하지 못한 선수
 * https://programmers.co.kr/learn/courses/30/lessons/42576
 */
class Solution1 {

    public String solution(String[] participant, String[] completion) {
        Map<String, Integer> map = new HashMap<>();

        // convert array to hashmap for completion
        for (String person : participant) {
            if (map.containsKey(person)) {
                map.put(person, (int)map.get(person) + 1);
            } else {
                map.put(person, 1);
            }
        }

        // find participant who completed
        for(String person: completion) {
            map.put(person, map.get(person) - 1);
        }

        String answer = "";
        // search for participant who did not complete
        for (String person: participant) {
            if (map.get(person) != 0) {
                answer = person;
                break;
            }
        }
        return answer;
    }
}

[프로그래머스] 모의고사 - 완전탐색

bandal-gom — Sun, 18 Jul 2021 14:09:30 +0900

문제 링크

https://programmers.co.kr/learn/courses/30/lessons/42840

코딩테스트 연습 - 모의고사

수포자는 수학을 포기한 사람의 준말입니다. 수포자 삼인방은 모의고사에 수학 문제를 전부 찍으려 합니다. 수포자는 1번 문제부터 마지막 문제까지 다음과 같이 찍습니다. 1번 수포자가 찍는

programmers.co.kr

문제 풀이

import java.util.ArrayList;
import java.util.List;

/**
 * 프로그래머스:완전탐색:모의고사
 * https://programmers.co.kr/learn/courses/30/lessons/42840
 */
class Solution {
    public int[] solution(int[] answers) {
        int[] a = {1, 2, 3, 4, 5};
        int[] b = {2, 1, 2, 3, 2, 4, 2, 5};
        int[] c = {3, 3, 1, 1, 2, 2, 4, 4, 5, 5};
        int[] count = new int[3]; // 카운팅을 할 배열

        for (int i = 0; i < answers.length; i++) {
            if (a[i % a.length] == answers[i]) {
                count[0] = count[0] + 1;
            }
            if (b[i % b.length] == answers[i]) {
                count[1] = count[1] + 1;
            }
            if (c[i % c.length] == answers[i]) {
                count[2] = count[2] + 1;
            }
        }

        int max = 0;
        List<Integer> answerList = new ArrayList<>();
        // i+1 하는 이유는 학생의 넘버링이 zero-based 가 아니기 때문!
        for (int i = 0; i < count.length; i++) {
            if (max < count[i]) {
                answerList.clear();
                answerList.add(i + 1);
                max = count[i];
            } else if (max == count[i]) {
                answerList.add(i + 1);
            }
        }

        int[] answer = new int[answerList.size()];
        for(int i = 0; i < answer.length; i++) {
            answer[i] = answerList.get(i);
        }

        return answer;
    }
}

[대충로그] grafana-loki query

bandal-gom — Thu, 3 Jun 2021 11:30:46 +0900

loki로 수집된 로그중에 json body (string)에서 값을 쿼리해야한다. loki로 수집된 로그중에 json body (string)에서 값을 쿼리해야한다.

{container_name="도커컨테이너명"} |= " orderNo" |= "123123123"

{ } 안의 값은 label

|= 는 로그 파이프라인, 필터처럼 사용

[ubuntu] python을 찾을 수 없다고 할때

bandal-gom — Thu, 18 Mar 2021 10:19:06 +0900

Command 'python' not found, but can be installed with:

라고 뜨는 경우가 있다. 하지만 python은 설치 되어있는데? 고민하지 말고 아래와 같이 입력해주자.

# 터미널 (bashrc or bash_aliases)
vim ~/.bashrc

# bashrc (python3나 원하는 python 버전)
alias python=python3

# 터미널
source ~/.bashrc

다시 python을 입력하면, 원하는 버전에 맞게 잘 실행되는것을 확인할 수 있다.

[TIL] pip install 시 "Consider using the `--user` option or check the permissions" 에러

bandal-gom — Sat, 30 Jan 2021 21:58:26 +0900

Consider using the `--user` option or check the permissions.

pip로 패키지 설치시 이런 에러가 발생함.
권한이 없는 디렉토리에서 설치하려고 하기 때문에 발생하는 에러.
--user 옵션을 넣어서 설치하면 된다.

뭐든 모를땐 man page 나 -h를 사용해서 설명을 읽어본다.
--user 옵션은 권한없는 디렉토리 (내경우의 C드라이브)가 아닌 사용자의 디렉토리 (home directory)에 설치해준다.

  --user                      Install to the Python user install directory for your platform. Typically ~/.local/, or
                              %APPDATA%\Python on Windows. (See the Python documentation for site.USER_BASE for full
                              details.)

crontab 을 사용해보자

bandal-gom — Wed, 4 Nov 2020 16:21:31 +0900

서버에서 주기적으로 작업을 해야하는 일을 생성할때는 종종 crontab을 사용한다.

cron으로 등록된 job list 확인

crontab -l

cron에 새로운 job을 등록

crontab -e

cron 스케줄 expression

주기적으로 cron을 실행시키기 위해서는 다음의 expression과 함께 등록해야한다.

[분] [시간] [날짜/월] [월] [날짜/주]

wildcard sign = any

예시

아래와 같이 세팅하면 매주 0시 0분 (자정) 목요일에 해당 file path에 있는 스크립트를 실행 으로 해석하면 된다.

0 0 * * THU [file path]

참고

cron schedule 유용한 링크: https://crontab.guru/

[curl] (60) SSL certificate problem: certificate has expired

bandal-gom — Mon, 12 Oct 2020 16:00:47 +0900

curl command 를 사용하다가 만난 이슈

해결방법 (임시방편)

curl의 옵션인 -k (or --insecure)를 사용한다. certificate validation을 스킵해준다.

[vim] 좀 더 편-안하게 vim editor를 사용하는 설정

bandal-gom — Wed, 7 Oct 2020 16:10:12 +0900

포매팅: shift, tab 4!!!!!!! 8이면 막 마음이 무너져 버려

set smartindent
set tabstop=4
set expandtab
set shiftwidth=4

지금당장 라인끝으로 커서를 이동하고 싶다

$ (shift + 4)

지금당장 파일의 제일 아래로 가고싶다

shift + g

지금당장 파일의 헤드로 가고싶다

shift + h

fluentd - host is unreachable

bandal-gom — Tue, 6 Oct 2020 12:30:31 +0900

2020-10-05 16:19:32 +0000 [warn]: #0 failed to flush the buffer. retry_time=15 next_retry_seconds=2020-10-05 21:09:56 +0000 chunk="5b0e6e3d58b7cec7f1d92eaa332995c8" error_class=Fluent::Plugin::ElasticsearchOutput::RecoverableRequestFailure error="could not push logs to Elasticsearch cluster ({:host=>\"호스트명\", :port=>포트번호, :scheme=>\"http\"}): Host is unreachable - connect(2) for IP주소 (Errno::EHOSTUNREACH)"

로그가 수집되지 않길래 fluentd의 로그를 확인해보니 이런 처음 보는 에러가 발생헀다.
ES나 fluentd의 설정은 변경된게 없다. (추석연휴였는데 설정바뀔일이 없지!)

원인

찾아보니, fluentd-ruby의 버그.
fluentd -> ES 연결 시, host 설정이 proxy나 Load Balancing을 하게 되면 발생하는 에러라고 한다.
fluentd-ruby host를 연결해주는 default class 말고 다른 class를 사용하면 해결되는 에러.

해결방법

default ruby class말고 다른 class 사용 (ElasticsearchSimpleSniffer)
IP로 직접 연결

제일 빠르게 수정할 수 있는 방법은 IP로 직접연결을 선택했다. 일단은 모니터링 해보고 다른 문제가 발생하거나 또 재현된다면 여기에 추가할 예정.

[TIL] fluentd & NGINX

bandal-gom — Tue, 22 Sep 2020 18:36:58 +0900

다 설정하고 나니까 이런 에러가 로그에 남아있다

\[types removal\] Specifying types in bulk requests is deprecated.

이것은 대체 무슨 로그?
https://www.elastic.co/guide/en/elasticsearch/reference/master/removal-of-types.html#_why_are_mapping_types_being_removed

엘라스틱 서치 버전8부터는 mapping type이 없어진다고 한다. 아마 엘라스틱서치 어딘가에서 mapping type을 계속 쓰고있어서 그런것 같다. 아니면 내 fluentd 설정인가?
이런 저런 이유라는데...어 읽어도 잘 모르겠다 지금은: https://www.elastic.co/guide/en/elasticsearch/reference/7.x/removal-of-types.html

nginx access.log -> fluentd -> elasticsearch

http://hongsa.github.io/fluentd/
여기 config 는 한글로 잘 되어있음. 참고

fluentd regex parser

검색하면 여기가 제일 먼저 뜨는데, 신뢰는 안간다. https://fluentular.herokuapp.com/
나는 같은 ruby를 사용하는 ruby regex tester를 추천한다. https://rubular.com/

custom field를 추가했을 때 grafana에서 search 가 되지 않는 현상

Kibana에서 index를 생성하고 넘어올 때, 꼭 이 부분을 체크해야 된다.
https://discuss.elastic.co/t/in-kibana-i-have-fields-that-contains-a-question-mark-not-showing-in-metric-field/146017/2

nginx request_time 의 의미가 헷갈렸다

https://forum.nginx.org/read.php?2,269720,269721#msg-269721
그냥 request_time 의 값은 이미 seconds로 이해하면 된다.

뚝딱거리는 초보 devops의 TIL

bandal-gom — Thu, 3 Sep 2020 09:27:55 +0900

max_map_count가 뭔가

https://stackoverflow.com/questions/11683850/how-much-memory-could-vm-use
이것이다. linux kernel

Sonarqube의 스펙은 잘 맞춰야 한다

그렇지 않으면 이런 에러가 나기때문이다.

2020.08.28 02:28:49 ERROR es[][o.e.b.Bootstrap] node validation exception
[1] bootstrap checks failed
[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
ERROR: [1] bootstrap checks failed

docker sonarqube image에는 이에 대한 설명히 아주 잘 나와있다.
https://hub.docker.com/_/sonarqube/ -> Docker Host Requirements 이곳을 보시오

ansible에서 이런 에러가?

그럴때는 이렇게 설정을 바꿔라
https://stackoverflow.com/questions/23074412/how-to-set-host-key-checking-false-in-ansible-inventory-file

yayz's devlog

99클럽 코테 스터디 16일차 TIL

오늘의 문제

백준 25757 – 임스와 친구들

문제요약

풀이 전략

코드

Leetcode 191 – Number of 1 Bits

문제 요약

풀이 전략

코드

99클럽 코테 스터디 11일차 TIL

오늘의 문제

문제 요약

풀이 전략

튜플 사용

LinkedList, Node 구현

Python: 배운 문법 & 구조

리스트 컴프리헨션

튜플

remove() 구현 이유

성능 관련 고찰

문제점:

해결 전략:

99클럽 코테 스터디 10일차 TIL

오늘의 문제

문제 요약

풀이 전략

코드

고민

NHN FORWARD 2022 발표 후기

NHN FORWARD??

제가 발표한 것은.. Jenkins에서 Jenkins로의 여정!

후기

발표영상

99클럽 코테 스터디 9일차 TIL

문제

문제 요약

풀이 전략:

‍ 코드

⏱ 시간 복잡도

공간 복잡도

배운 점

조금의 개선사항

[오브젝트] 01. 객체 설계

책에서 기억하고 싶은 내용

✅ 3줄 요약

Docker Desktop for Mac + JDK 17이 실행되지 않는 이유 deep dive!

문제상황

Docker container 메모리 제한 확인

Docker Desktop 의 cgroup 확인

JDK 17의 Cgroup 설정 방식

determineType() 메서드

NPE원인은 찾았지만 진짜진짜진짜진짜최종 원인은?

✅ 어떻게 해결할까?

놀고있는 노트북으로 homelab을 꾸려보자-2

오늘의 설정 ⚒️

ubuntu-server 설치

맥북 -> 홈랩 서버 원격 설정

홈랩서버 클램쉘 모드 설정

k3s 설치

놀고있는 노트북으로 homelab을 꾸려보자-1

[Leetcode] 110. Balanced Binary Tree

문제

요구사항

조건

풀이

시간복잡도, 공간복잡도

코드

Eureka와 Eureka 설정방법

Eureka 란?

서비스 디스커버리?

Eureka의 구성요소

주요기능

동작방식

구성도

설정

[Leetcode] 121. Best Time to Buy and Sell Stock

문제: Best Time to Buy and Sell Stock

요구사항

`remove()` 구현 이유