[CS] 유니코드(Unicode)와 UTF-8 (feat. 토스페이스)

해맑-

자고로 개발자는 유니코드에 대해서 모르면 안된다~

 

 스폴스키 아저씨의 말에 충격을 받고, 부랴부랴 정리해보았다.

생각해보니 프로그래머로서 유니코드에 대해 많이 접했지만

제대로 개념을 가지고 있지 않고 넘어갔다는 사실에 조금 부끄러웠다😳

 

유니코드는 중요하지만 개념은 그렇게 어렵지 않았다. 그럼 시작해보자!

문자열 인코딩에 대해 정리한 이전 글을 보면 더 이해가 쉬울수 있다.

이전 글도 조엘 온 소프트웨어와 위키를 참고해 작성하였다.

 

유니코드

 

전세계 모든 문자를 컴퓨터에서 일관되게 표현하고 다룰 수 있도록 설계된 산업 표준이다.

다국어 환경에서 서로 호환이 되지 않던 기존의 문자열 인코딩들의 문제를 해결하였다.

따라서 유니코드는 컴퓨터 소프트웨어의 국제화(I18N) 와 지역화(L10N) 에 널리 사용되었다.

 

기존의 인코딩 방식은 특정 문자를 특정 비트열로 지정하였다.

예를 들어 ASCII 에서 'A' 는 65 이라는 값으로 표현되고, 7비트 1000001 로 저장된다.

 

유니코드에서 문자는 코드포인트 라는 개념에 사상된다.

코드 포인트는 ‘U+’ 와 ‘16진수 숫자 조합’으로 이루어진다.

예를 들어 😀 는 [U+1F600] 라는 코드 포인트를 가지고 있다.

 

유니코드 자체는 인코딩과 관련이 없다.

 

해당 문자를 표현하는 코드포인트만 있을 뿐이다.

대신 코드포인트를 메모리에 표현하는 방식인 UTF-8, UTF-16 등과 같은 인코딩이 있다.

 

아래 사진은 왼쪽부터 Character, Description, Unicode number(코드 포인트) , UTF-8 Encoding 에서의 값을 나타낸다.

 

 

또한 유니코드에서 문자는 관념적인 개념이기 때문에,

모양이 약간 다른 문자도 의미가 같다면 같은 코드포인트를 가지고 있다.

보통 A 라는 문자를 예시로 많이 드는데, 애플 유니코드 문자표에서 찾기 어려워 이모지를 예시로 대신한다.

 

아래 모양은 모두 같은 코드 포인트를 가지고 있다.

유니코드를 표현하는 시스템에 따라 조금씩 모양이 다르지만, 놀람 이라는 관념은 그대로 표현한다.

https://medium.com/free-code-camp/a-beginner-friendly-guide-to-unicode-d6d45a903515

 

위와 같은 내용으로 미루어 볼 때, 최근의 토스가 개발한 이모지가 왜 논란이 되었는지 이해할 수 있다.

유니코드가 설정한 코드 포인트가 가리키는 관념을 아예 다른 것으로 바꾸어버렸기 때문이다.

이것은 유니코드 정신에 위배된다고 볼 수 있다.

 

현재는 더이상 공홈에서 찾아볼 수 없다.

 

UTF-8

 

가장 유명한 유니코드를 위한 가변 길이 문자 인코딩 방식이다.

코드 포인트에 따라 1바이트에서 최대 4바이트까지 가변적으로 사용하는 것이 특징이다.

U+0000 부터 U+007F (십진수 127) 까지 1바이트로 표현한다는 특징이 있다.

이 특징 덕분에 ASCII 와 100% 호환된다.

자세한 스펙은 위키를 참고하면 된다.

 

UTF-8 인코딩으로 바이트 표현의 첫 바이트만 사용하여 해당 바이트 표현의 길이를 결정할 수 있다.

따라서 부분문자열을 얻는 과정이 매우 쉽다.

예를 들어 2바이트로 표현되는 문자열은 110.... 으로 시작한다.

3바이트로 표현되는 문자열은 1110....으로 시작한다.

---

 

오늘도 나는 성장했다!!🔥

 

🤖 [Back to the Basics] 💻
주니어 iOS 개발자 우짱의 기술 블로그입니다.

 

[참고 자료 🙇🏻‍♂️]

• 조엘 온 소프트웨어, 조엘 스폴스키 지음
• https://ko.wikipedia.org/wiki/문자_인코딩
• https://ko.wikipedia.org/wiki/유니코드
• https://ko.wikipedia.org/wiki/UTF-8
• https://toss.im/tossface​