면접을 위한 CS 전공 지식 노트-[3.2 메모리]

3.2.1 메모리 계층

메모리 계층은 register, cache, Main memory, Storage 

• register: CPU 안에 있는 작은 메모리, 휘발성, 속도 가장 빠름,  기억 용량이 가장 적다. 
• Cache: L1,L2 ,캐시를 지칭한다. 휘발성, 속도 빠름,  기억 용량이 적다. L3 캐시도 존재 
• Main Memory: RAM을 지칭, 휘발성, 속도 보통,  기억 용량이 보통 
• 보조기억장치: HDD, SSD를 말한다. 비휘발성, 속도 낮음, 기억 용량이 많다. 

일정량의 데이터를 하드디스크로부터 복사 => CPU에게 전달하는 역할을 담당한다. 

- 계층을 두어 메모리를 관리하는 이유는 경제성과 캐시 때문이다. 

- 로딩 중은 RAM이 전송 중이란 의미이다. 

 

캐시 (Cache): 

미리 저장해놓는 임시 저장소이다. 빠른 장치와 느린 장치에서 속도 차이에 따른 병목 현상을 줄이기 위한 메모리이다.
- 데이터 접근 시간 절약 
- 계산 횟수 감소

캐싱 계층: 계층과 계층 사이의 있는 계층을 의미하며, 메모리와 CPU 사이의 극심한 속도차를 register를 두어 해결하는 것을 말한다. 

 

지역성의 원리 

자주 사용하는 데이터 위주로 접근을 하는 것 

분류

• 시간 지역성: 최근에 사용한 데이터에 다시 접근하려는 특성을 말한다.ex) for문에선 "i"에 반복해서 접근을 한다.
• 공간 지역성: 최근에 접근한 데이터를 이루고 있는 공간이나 그 가까운 공간에 접근하는 특성을 말한다. ex) 배열에 연속적으로 접근하는 것을 의미한다. 

캐시히트와 캐시미스 

 

캐시히트: 캐시에서 원하는 데이터를 찾았을 때 제어장치를 거쳐서 가져오게 되고, CPU 내부 버스 기반으로 작동하기 때문에 빠르다. 

캐시미스: 찾는 데이터가 캐시 없을 때 주 메모리에 다시 찾아오는 것 시스템 버스 가빈이기 때문에 느리다. 

 

캐시매핑

캐시가 히트되기 위해 매핑하는 방법을 말한다. CPU의 register와 RAM 간 데이터 교환에 기반해서 설명한다.

- RAM은 register에 비해 크기 때문에 register가 캐시 계층으로  역할을 잘 수행하기 위해 매핑법이 중요하다. 

 

이름	설명
직접 매핑(directed mapping)	메모리 1~100/캐시 1~10이면 1:1~10,2:1~20식의 매핑을 의미한다. 처리는 빠르지만 충돌이 잦다.
연관 매핑(associative mapping)	순서를 일치시키지 않고 관련 있는 캐시와 메모리를 매핑한다.  충돌은 적음, but 전체 블록 탐색을 하기에 slow
집합 연관 매핑(set associative mapping)	직접 매핑 + 연관 매핑 => 순서 일치 + 집합을 뒤서 블록으화되어 저장

 

웹 브라우저 캐시 

• 쿠키 
• 로컬 스토리지 
• 세션 스토리지 

사용자 컴스텀 정보나 인증 모듈 관련 사항들을 웹 브라우저에 저장해서 추후 서버에 요청할 때 아이덴티티나 중복 요청 방지를 위해 쓰인다. 

 

쿠기

만료기한이 있는 키-값 저장소이다. same site 옵션을 strict로 설정하지 않으면 다른 도메인 요청시 자동 전송된다. 4KB까지 데이터 저장이 가능하며, 만료기한 설정도 가능하다. 쿠키 설정시 document.cookie로 쿠키를 볼 수 없게 httponly 옵션을 거는 게 중요하다. 보통 서버에서 만료 기한을 정한다.

 

로컬 스토리지 

로컬 스토리지는 만료기한이 없는 키-값 저장소이다. 10MB까지 저장할 수 있으며, 웹 브라우저를 닫아도 유지되며, 도메인 단위로 저장/생성이 된다. HTML5에서만 가능하며, 클라이언트만 수정 가능하다. 

세션 스토리지

세션 스토로지는 만료기한이 없는 키-값 저장소이다. 탭 단위로 생성/닫으면 데이터가 삭제된다. 5MB까지 저장이 가능하며, HTML5에서만 가능하다. 클라이언트에서만 수정이 가능하다.\

 

데이터베이스 캐시  계층

데이터베이스 시스템을 구할 때 메인 데이터베이스 위에 redis 데이터베이스 계층을 "캐싱 계층"으로 둬서 성능을 향상하기도 한다. 

 

3.2.2 메모리 관리 

OS의 대표적인 업무가 메모리 관리이다. 컴퓨터의 한정된 메모리를 극한으로 사용해야 한다. 

 

가상 메모리(virtual memory) 

메모리 관리 기업 중 하나로 컴퓨터가 실제로 이용 가능한 메모리 자원을 추상화하여 이를 사용하는 사용자들에게 매우 큰 메모리로 보이게 만드는 것을 말한다.

- 가상 주소(logical address): 가상적으로 주어진 주소를 뜻한다. 

- 실제 주소(physical address):실제 메모리 상에 있는 주소를 의미한다.

가상 주소는 가상 메모리 관리 장치 (MMU)에 의해 실제 주소로 변환되기 때문에 신경쓰지 않고 프로그램 구축이 가능하다. 

용어
- TLB: 메모리 CPU 사이에 있는 주소 변환을 위한 캐시이다. 페이지 테이블에 있는 리스트를 보관, CPU가 페이지 테이블까지 가지 않도록 해 속도를 향상시킬 수 있는 캐시 계층이다. 

스와핑

메모리에 당장 사용하지 않는 영역을 하드디스크로 옮기고 하드디스크의 일부분을 마치 메모리처럼 불러와 쓰는 것

가상 메모리에는 존재하지만 실제 메모리인 RAM에는 현재 없는 데이터나 코드에  접근할 경우 페이지 폴트가 발생하며, 이를 해결하기 위해 스와핑을 적용한다. 

 

페이지 폴트(page fault)

프로세스의 주소 공간에는 존재하지만 지금 이 컴퓨터의 RAM에는 없는 데이터에 접근햇을 경우 발생한다.

과정

1. CPU는 물리 메모리를 확인하여 해당 페이지가 없으면 트랩을 발생해서 OS에 알린다.

2. OS는 CPU의 동작을 잠시 stop!

3. OS는 페이지 테이블을 확인하여 가상 메모리에 페이지가 존재하는지 확인 => 없으면 프로세스 중단 및 비어있는 물리 메모리 프레임을 찾음 => 그래도 없으면 스와핑 발동

4. 비어 있는 프레임에 해당 페이지를 로드하고, 페이지 테이블 최신화

5. 중단됐던 CPU 다시 가동

용어
- 페이지(page): 가상 메모리를 사용하는 최소 크기 단위 
- 프레임(frame): 실제 메모리를 사용하는 최소 크기 단위

스레싱(thrashing) 

메모리 페이지 풀트율이 높은 것을 의미하며, 컴퓨터의 심각한 성능 저하를 초래한다.

 

원인

스레싱은 메모리에 너무 많은 프로세스가 동시에 올라가게 되면 스와핑이 많이 일어나서 발생하는 것이다.  페이지 폴트가 발생하면 CPU 이용율이 낮아진다 => OS는 CPU 가용성을 높이기 위해 더 많은 프로세스를 메모리에 올리게 된다. 이 악순화이 반복되면 스레싱이 일어난다. 

 

해결법 

• 메모리를 늘리거나
• HDD => SDD로 변경
• OS
  • 작업 세트
  • PFF

작업 세트(working set) 

프로세스 과거 사용 이력인 지역성을 통해 결정된 페이지 집합을 만들어서 미리 메모리에 로드하는 것. 미리 올림에 따라 탐색 비용/스와핑 감소

PFF (Page Fault Frequency)

페이지 폴트 빈도를 조절하는 방법으로 상하선과 하한선을 만드는 방법이다. 상한선에 도달하면 프레임을 늘리고, 하한선에 도달한다면 프레임을 줄이는 것이다.

메모리 할당

메모리에 프로그램을 할당할 때는 시작 메모리 위치, 메모리의 할당 크기를 기반으로 할당한다. 

 

연속 할당

연속 할당은 메모리에 '연속적으로' 할당하는 것을 의미한다.

프로세스 A,B,C가 있을 때 순차적으로 공간에 할당하는 것을 볼 수 있다. 

방식

• 고정 분할 방식(fixed partition allocation):메모리를 미리 나누어 관리하는 방식이다. 미리 나누기 때문에 가변적이지 않고, 내부 단편화가 발생한다. 
• 가변 분할 방식(variable partition allocation): 매 시점 프로그램의 크기에 맞게 동적으로 메모리를 나눠서 사용한다. 내부 단편화는 발생하지 않고, 외부 단편화는 발생할 수 있다. 최초적합(first fit), 최적적합(best fit), 최악적합(worst fit)이 있다.

이름	설명
최초적합	위쪽이나 아래쪽부터 시작해서 홀을 찾으면 바로 할당한다.
최적적합	프로세스의 크기 이상인 공간 중 가장 작은 홀부터 할당한다.
최악적합	프로세스의 크기와 가장 많이 차이가 나는 홀에 할당한다.

용어 정리 
- 내부 단편화(internal fragmentation): 메모리를 나눈 크기보다 프로그램 작아서 들어가지 못하는 공간이 많이 발생하는 현상
- 외부 단편화(external fragmentation): 메모리를 나눈 크기보다 프로그램이 커서 들어가지 못하는 공간이 많이 발생하는 현상, 예를 들어 100MB를, 50MB로 나눴지만 프로그램의 크기를 70MB일 때 들가지 못한다. 
- 홀 (hole): 할당 할 수 있는 비어 있는 메모리 공간이다.

 

불연속 할당

현대 OS가 쓰는 방법으로 불연속 할당인 페이지 기법이 있다.

방법

메모리를 동일한 크기의 페이지(보통 4KB)로 나눠서 프로그램마다 페이지 테이블을 두어 이를 기반으로 메모리에 할당하는 것을 의미! (그 외에 세크멘테이션, 페이지드 세그멘테이션 등 기법들이 있다) 

 

페이징(paging)

동일한 크기의 페이지 단위로 나누어 메로리의 서로 다른 위치에 프로세스를 할당한다.  

홀은 균일하지만, 주소 변환이 복잡해진다. 

 

세그멘테이션(segmentation)

페이지 단위가 아닌 의미 단위인 세그먼트(segment)로 나누는 방식을 의미한다. 프로세스는 코드, 데이터, 스택, 힙 등으로 로 이루어진다. 코드와 데이터 등을 기반으로 나눌 수 있고, 함수 단위로 나눌 수도 있다. 보안에는 좋지만 홀의 크기가 균일하지 않게 된다. 

 

페이지 세그멘테이션(page segmentation)

공유나 보안을 의미 단위의 세크먼트로 나누고, 물리적 메모리는 페이지로 나누는 것을 말한다. 

 

페이지 교체 알고리즘

메모리는 한정되어 있기 때문에 스와핑이 많이 일어난다. 스와핑은 말이 일어나지 않도록 설계하는 것이 중요하며, 스와핑을 페이지 교체 알고리즘을 기반으로 한다.

 

오프라인 알고리즘 (offline algorithm)

먼 미래에 참조되는 페이지와 현재 할당하는 페이지를 바꾸는 알고리즘이다. 비록, 미래 사용할 페이지를 알 수 없어 사용이 어렵지만, 다른 알고리즘과의 성능 비교의 기준점을 제시한다.

 

FIFO

가장 먼저 온 페이지를 교체 영역에 가장 먼저 놓는 방법을 의미한다. 

 

LRU (Least Rcently Used)

참조가 가장 오래된 페이지를 바꾼다. 오랜된 페이지를 파악하기 위해  각 페이지마다 계수기, 스택을 두어야 하는 문제점이 있다. 

 

구현

LRU를 구현할 때 보통 두 개의 자료구조를 사용한다. 해시 테이블 + 이중 연결 리스트 이다. 해시 테이블은 이중 연결 리스트에서 검색의 속도를 높이고, 이중 연결 ㅅ리시트는 한정된 메로리를 나타낸다.

 

NUR(Not used Recently) 

LRU에서 발전한 형태이다. clock 알고리즘이라고도 하며, 먼저 0과 1을 가진 비트를 둔다. 1은 최근에 참조되었고 0은 참조 되지 않았음을 의미한다. 시계 방향으로 돌면서 0을 찾고 0을 찾은 순간 해당 프로세스를 교체하면 1로 변경한다. 

 

LFU(Least Frequently USed) 

가장 참조 횟수가 적은 페이지를 교체한다. 즉, 많이 사용되지 않은 것을 교체하는 것!