시장의 계절을 읽는 기계 — HMM 레짐 탐지, 정말 되는지 직접 돌려봤어요

요즘 퀀트 쪽 글을 보면 “레짐(regime)”이라는 말이 자주 나와요. 시장에는 평온한 계절과 난기류의 계절이 있고, 지금이 어느 계절인지 알면 미리 몸을 피할 수 있다는 거죠. 그리고 그 계절을 읽어내는 도구로 거의 항상 등장하는 게 히든 마르코프 모델(HMM)이에요. 차트 위에 붉은 음영이 폭락장마다 딱딱 들어맞게 칠해진 그림, 한 번쯤 보셨을 거예요.

저도 그 그림에 홀려서 몇 번이나 만들어봤어요. 그리고 매번 같은 질문에 부딪혔죠. 이게 진짜 미래를 아는 걸까, 아니면 지나고 나서 색칠한 걸까? 이번엔 그 질문에 제대로 답해보려고 S&P500 36년치와 KOSPI 29년치로 직접 돌려봤어요. 결론부터 말하면 — HMM은 “지금 변동성이 큰가”를 확률로 예쁘게 말해주는 도구지, 앞날을 알려주는 도구는 아니었어요.

HMM 레짐 탐지 검증을 한 장으로 정리한 인포그래픽 — HMM의 출발점, 사후확률의 함정, 미래 정보를 빼앗을수록 무너지는 성과, 가짜 데이터에서도 생기는 레짐, 단순 규칙과의 비교, 하락 구간별 탐지 지연, 난기류 확률과 변동성의 상관관계

실험 전체를 한 장으로 정리했어요. 숫자와 표는 여기에 다 있고, 아래 글은 이야기로 풀어요.

어디서 온 아이디어일까요

HMM은 원래 금융용이 아니에요. 1980년대 음성인식에서 왔어요. 사람 목소리는 파형만 보이지 “지금 어떤 음소를 말하는 중인지”는 숨어 있잖아요. 그 숨은 상태를 확률로 추적하는 기계가 HMM이었어요.

이걸 경제에 처음 끌고 온 사람이 제임스 해밀턴이에요. 1989년에 미국 GNP 성장률에는 “확장”과 “침체”라는 숨은 상태가 있고, 그 상태가 끈끈하게 이어진다고 가정한 모형을 만들었죠. 놀랍게도 모형이 찾아낸 침체 구간이 공식 경기침체 판정(NBER)과 거의 일치했어요. 이 논문 이후 “레짐 전환”은 금융 연구의 단골 도구가 됐고요. 2000년대에는 앙과 베카트, 기돌린과 티머만 같은 학자들이 주식에도 “강세 레짐”과 “약세 레짐”이 있다는 걸 잇달아 보고했어요. 2012년엔 크리츠먼 팀이 이걸로 자산배분을 하면 큰 손실을 피할 수 있다고 썼고, 이 논문이 실무자들 사이에서 레짐 투자의 교과서처럼 돌아다녀요.

그러니까 근거가 없는 얘기는 아니에요. 오히려 근거가 너무 많아서 문제죠. 문제는 그 근거들이 대부분 “지나고 나서 본 그림”이라는 데 있어요.

교과서 그림은 왜 그렇게 예쁠까요

HMM이 “지금 난기류 레짐일 확률”을 계산하는 방법이 두 가지예요. 하나는 과거만 보고 계산하는 방식이고, 다른 하나는 전체 데이터를 다 본 다음 앞뒤를 맞춰 계산하는 방식이에요. 후자를 사후확률(smoothed)이라고 하는데, 논문과 블로그의 예쁜 그림은 거의 전부 이 사후확률로 그려요.

이게 왜 반칙이냐면요. 2008년 9월 어느 날의 레짐을 판정할 때, 그 뒤에 리먼이 무너지고 시장이 반토막 난 걸 이미 알고서 “이날은 난기류였네”라고 색칠하는 거예요. 당연히 딱딱 맞죠. 시험 답안지를 보고 채점하는 것과 같아요. 제가 지난 글에서 “미래가 과거로 새어 들어오면 백테스트는 반드시 좋아 보인다”고 했던 바로 그 패턴이에요.

실제로 S&P500 전체 표본으로 HMM을 학습하고, 사후확률로 “평온할 때만 보유, 난기류면 현금”을 했더니 결과가 황홀했어요. 그냥 들고 있을 때보다 수익은 높고, 최대낙폭은 3분의 1로 줄고, 샤프비율은 세 배 가까이 됐죠. 이 숫자를 보면 누구든 “이거다” 싶어요.

S&P500 위에 HMM이 칠한 난기류 레짐 — 위는 전체 표본을 학습하고 사후확률로 그린 교과서 그림, 아래는 매달 재학습하며 실시간 필터확률로 그린 현실

미래를 하나씩 빼앗아 봤어요

그래서 미래 정보를 단계적으로 걷어냈어요.

1단계. 모형은 그대로 두고, 확률만 “과거만 보는” 방식으로 바꿨어요. 이것만으로 샤프비율이 1.26에서 0.33으로 떨어졌어요. 그냥 들고 있는 것보다 못해졌죠. 낙폭도 절반 가까이 도로 돌아왔고요. 그림에서 붉은 음영의 위치는 얼추 비슷해 보이는데, 성과는 왜 이렇게 다를까요? 사후확률은 난기류의 시작점을 미리 알고 칠하지만, 실시간 확률은 시장이 흔들리고 나서야 알아채거든요. 그리고 그 사이에 손실이 다 나요.

2단계. 학습 자체도 정직하게 바꿨어요. 매달 그 시점까지의 데이터로만 다시 배우고, 다음 한 달을 실시간 확률로 매매하는 워크포워드 방식이에요. 거래비용도 넣었고요. 이게 실제로 2000년에 이 전략을 시작한 사람이 겪었을 결과예요. 결과는 — 그냥 사서 들고 있는 것과 샤프비율이 똑같았어요. 낙폭은 조금 줄었지만 수익률은 절반 가까이 깎였고요. KOSPI에서는 더 나빴어요. 들고 있는 것보다 위험 대비 수익이 낮았죠.

S&P500 표본외 성과 — 매수후보유, HMM 워크포워드, 변동성 회피 규칙, 200일 이평선의 누적 수익 비교

HMM이 진짜로 재고 있던 것

여기서 더 아픈 비교를 해봤어요. HMM 옆에 아주 단순한 규칙 세 개를 세웠어요. “200일 이동평균 아래면 팔기”, “최근 한 달 변동성이 상위 20%면 피하기”, 그리고 “변동성이 커지면 비중을 줄이는” 변동성 타게팅이에요. 셋 다 학습이 필요 없고 열 줄이면 짜는 것들이죠.

셋 다 HMM보다 나았어요. 두 시장 모두에서요.

이유를 파보니 명확했어요. 워크포워드 HMM이 계산한 “난기류 확률”은 최근 한 달 실현변동성과 상관이 0.7이 넘었고, 변동성 규칙과 포지션이 일치한 날이 열에 아홉이었어요. HMM은 결국 “변동성이 커졌나”를 어렵게 묻고 있었던 거예요. 다만 확률이라는 옷을 입고 있으니 훨씬 자주 깜빡였고 — 거래 횟수가 이동평균의 두 배였어요 — 그 깜빡임마다 비용이 나갔죠.

이건 저만의 발견이 아니에요. 2024년 프린스턴 팀(Shu·Yu·Mulvey)이 같은 실험을 더 정교하게 했는데, HMM의 레짐은 “짧게 명멸해서 거래하기 어렵고, 비용까지 넣으면 매수후보유보다 수익이 낮다”고 썼어요. 레짐 투자의 근거로 자주 인용되는 2011년 불라 팀의 논문도 잘 읽어보면 전략의 이름이 “고변동성 상태에서 빠지기”예요. 그러니까 문헌이 말하는 HMM의 효용이란 사실 변동성 관리의 효용이고, 그건 HMM 없이도 얻을 수 있어요.

느린 하락은 못 봐요

레짐 탐지의 약점이 하나 더 있어요. 고점을 찍고 며칠 만에 난기류를 알아챘는지 재봤거든요.

2008년과 2020년처럼 무너지듯 빠지는 장은 빨리 잡았어요. 고점에서 열흘 안쪽, 4~5% 빠졌을 때요. 변동성이 폭발하니까 모형이 놀라는 거죠. 그런데 KOSPI의 2011년, 2018년, 2021년처럼 천천히 흘러내리는 약세장은 거의 못 봤어요. 각각 66일, 169일, 139일 만에 알아챘고, 그때는 이미 13%, 18%, 21%가 빠져 있었어요. 변동성이 튀지 않고 조용히 내려가는 장에서는 HMM이 “평온한 레짐”이라고 계속 판정하거든요. 우리 개인투자자가 정말 겪기 싫은 게 바로 그런 장인데 말이에요.

가짜 데이터에도 레짐이 있대요

마지막으로 심술궂은 실험을 하나 했어요. 레짐이 아예 없는 데이터를 만들어서 HMM에게 던져줬어요. 첫 번째는 그냥 동전 던지기, 두 번째는 동전 던지기인데 가끔 크게 튀는(꼬리가 두꺼운) 버전이었어요.

첫 번째에선 HMM이 솔직했어요. 두 상태의 변동성이 거의 같았고, “레짐”이라 부를 만한 게 없다고 답한 셈이죠. 그런데 두 번째에선 변동성이 4배 차이 나는 “난기류 상태”를 만들어냈어요. 레짐이 없는데도요. 큰 움직임 몇 개를 따로 묶어서 상태 하나를 지어낸 거예요.

다행히 구별법은 있어요. 지어낸 난기류는 하루 만에 끝나요. 지속확률이 낮아서, 상태가 오래가지 않죠. 반면 진짜 레짐이 있는 데이터와 실제 S&P500에서는 난기류가 평균 한두 달씩 이어졌어요. 그러니까 HMM이 “레짐을 찾았다”고 할 때 봐야 할 건 변동성 차이가 아니라 지속성이에요. 그리고 하나 더 — 매달 다시 학습시켜보니 이 “난기류”의 정의 자체가 흔들렸어요. 어떤 달에는 연 -28% 수익의 두 달짜리 약세장을, 어떤 달에는 지속확률 0.24짜리 하루 소음을 같은 이름표로 부르고 있었어요.

그럼 쓸모가 없나요

아니에요. 쓸모의 종류가 다른 거예요.

투시그마가 2021년에 레짐 모형 보고서를 냈는데, 첫 장에 이렇게 써 있어요. “이 모형은 예측용이 아니다.” 그들은 레짐을 타이밍이 아니라 설명에 써요. “지금 상황이 역사상 어떤 국면과 닮았나”를 파악하고, 어느 국면이 와도 견디는 포트폴리오를 짜는 데요. 맨그룹은 더 솔직하게 “레짐 프레임워크는 다 지저분하다, 되긴 되는데 확실하진 않다”고 했고요.

제 실험도 같은 얘기를 해요. HMM은 시장의 계절을 예측하진 못하지만, “지금 변동성 국면이 바뀌었다”는 걸 확률이라는 깔끔한 언어로 묘사해줘요. 그 묘사가 필요하면 쓰세요. 다만 그걸로 매매 타이밍을 잡으려 한다면, 열 줄짜리 변동성 규칙이 같은 일을 더 싸게 해준다는 걸 알고 쓰는 게 좋아요.

이 이야기의 교훈

레짐 그림을 보면 먼저 물어보세요. “이 색칠은 언제 한 건가요?” 전체를 보고 나서 칠한 그림이면, 그건 예측이 아니라 회고예요. 그리고 회고는 언제나 예뻐요.

두 번째. 복잡한 모형이 단순한 규칙을 이기는지 꼭 나란히 세워보세요. 확률, 상태, 은닉 — 어려운 말이 붙을수록 그 모형이 실제로 재고 있는 게 뭔지 알기 어려워져요. 제 HMM은 결국 변동성을 재고 있었고, 그건 계산기로도 되는 일이었어요.

이 글의 실험 코드와 결과 파일은 요청하시면 공유해요. 2상태 가우시안 HMM, 매월 재학습, 5년 최소 학습창, 거래비용 편도 5bp 기준이에요. 투자 조언이 아니에요.