AWS64 Aurora 읽기 quorum 문제 Aurora는 쿼럼 모델로 작동한다고 알고 있다. 그런데 읽기 작업에서 3개 쿼럼이 성공하면 읽기 성공으로 친다는데, 이러면 읽기 시간이 길어지는 것 아닌가? 결론부터 말하면 아니다. Aurora가 Read quorum이 아닌 Repair quorum이기에 그렇다는데, 이게 무슨 소리인지 알아보자. 읽기 성공을 위해 3개 스토리지 노드를 읽는다고 생각할 수 있는데, 이게 아니기에 읽기 지연이 없는 것이다. 6개 중 3개를 골라 읽는다던가, 6개 중 3개가 일치하면 옳은 정보로 생각한다던가 그런 것이 아니다. 비동기식 저장 방식이기에 응답 시간이나 처리 속도가 제각각이기에 어떤 노드는 LSN이 좀 늦을 수도 있고, 어떤 노드는 빠를 수 있다. 애초에 인스턴스는 응답 시간이 가장 빠른/LSN이 가장 높은(빠.. 2022. 4. 14. AWS DocumentDB 비용 문제 DocumentDB는 많이 쓰지 않는 것 같다. MongoDB 호환 서비스라 해당 사용자들이 많이 넘어올 것 같은데 생각보다는 그리 영향이 크지 않아 보인다. 왜지? 이리저리 찾아보니 비용이 너무 많이 나온다고 한다. 어디에서 비용이 많이 나오지? -> 당연히 스토리지와 IOPS 비용이다. 그럼 무슨 짓을 하길래 2가지 지표가 폭증하는지 찾아보자. 1. 스토리지 DocumentDB는 데이터 수정 시 기존 데이터를 수정하는 것이 아니라 신규 데이터로 취급해서 저장한다고 한다. 이 말은 기존 데이터는 쓰레기가 되어 남아있고, 새로운 공간을 잡아먹는다는 의미다. MongoDB에서는 Compact라는 작업으로 이 쓰레기들을 청소할 수 있다고 한다. 물론 DocumentDB에도 비슷한 작업이 있다고 하는데, 이게.. 2022. 4. 14. RDS와 Aurora의 백업(수정 중) RDS에서의 자동 백업과 Aurora에서의 자동 백업의 상세한 정보를 정리 공통 -> 자동 스냅샷이 증분 방식인데, 첫 스냅샷(전체본)을 삭제해도 증분 스냅샷을 사용할 수 있다. (증분 스냅샷에서의 Merging) -> 자동 스냅샷 사용하기 싫으면? : 생성할 때 설정 체크를 해제하던가, 유지 기간을 0일로 설정하던가. -> 자동 스냅샷을 35일 이상 유지하려면? : Lambda 트리거 달아서 쓰기(이 경우 수동 스냅샷임), AWS Backup 쓰기 -> 특정 시점 복원이 가능한 최근 시간은 보통 5분 전. 최근 5분간 발생한 데이터는 손실될 수 있다. RDS -> 역추적 지원 안함 -> 자동 스냅샷 주기 30분까지 줄일 수 있음 -> 리전마다 백업 시간(서울은 21:00~05:00) 중 백업 기간(기본.. 2022. 4. 14. DynamoDB 테이블 용량 조절 구조 DynamoDB 생성 시 결정해야 하는 설정 중 고민하게 되는 부분이 있습니다. 용량 계산기 -> 평균 항목 크기(KB), 초당 읽기/쓰기 항목 수치, 읽기 일관성과 쓰기 일관성 각 용어의 정의부터 정리하고 넘어가겠습니다. 봐도봐도 헷갈립니다. - 평균 항목 크기 : KB 단위 - 항목 읽기/초 : 항목 읽기/초 * 평균 항목 크기 = 읽기 용량 단위 - 항목 쓰기/초 : 항목 쓰기/초 * 평균 항목 크기 = 쓰기 용량 단위 - 읽기 일관성 - 최종적 읽기 일관성 : 최근 완료된 쓰기 결과가 반영되지 않을 수 있음. 요청 반복 시 최신 결과 반환 (읽기 2번에 단위 1) - 강력한 읽기 일관성 : 최근 완료된 쓰기 결과를 반영한 응답 반환. 그러나 지연 시간이 더 길 수 있고, 네트워크 상태에 문제가 생.. 2022. 4. 7. 스냅샷 복원 후 성능 저하 문제 RDS, EC2, EBS 등 스냅샷을 찍고 복원할 수 있는 서비스들에서... 스냅샷으로 복원 후 이전에 사용하던 원본보다 성능이 떨어진다고 한다. 복원 구조를 뜯어보자. 1. 첫 스냅샷을 찍으면, 해당 대상의 전체 구조를 S3에 저장한다. 이후에 찍는 스냅샷들은 변경 사항만 저장하는 식으로 Versioning된다. 2. S3에 저장되긴 하는데, 사용자는 볼 수 없다. 아예 S3 콘솔에서도 볼 수 없다. 3. 어쨌건 스냅샷으로 복원하면, S3에 저장된 시스템 정보를 불러와서 복원한다. 4. 그런데 복원할 때 해당 대상에서 사용하던 모든 데이터를 S3에서 한 번에 옮기면 복원 시간이 너무 오래 걸린다. 5. 그래서 사용자가 해당 서비스에서 데이터를 호출하면, 첫 호출 때 S3에서 해당 데이터를 불러오고 해당.. 2022. 4. 5. Transit Gateway와 NACL NACL은 서브넷 단위로 적용된다. -> 서브넷으로 들어올 때 인바운드, 서브넷에서 나갈 때 아웃바운드 AWS에서는 Transit Gateway(이하 TGW) 적용 시 전용 서브넷을 따로 만들어 연결하는 것을 권장하고 있다. https://docs.aws.amazon.com/ko_kr/vpc/latest/tgw/tgw-best-design-practices.html Transit Gateway 설계 모범 사례 - Amazon VPC 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오. docs.aws.amazon.com 학원에서는 대충 "TGW 전용 통로를 만든다" 라고 표현했었다. 1. 별도의 .. 2022. 2. 24. 이전 1 2 3 4 5 6 7 8 ··· 11 다음