인공지능 분야에서 시계열(Time Series) 데이터는 일반적으로 주식, 센서 데이터와 같이 시간 축을 갖는 테이블 형태의 데이터(Tabular Data)를 의미합니다. 이러한 시계열 데이터는 다양한 분야에서 활용되고 있습니다. 날씨 데이터, 공장 센서 데이터, 금융 데이터 등이 대표적인 예시입니다. 우리 삶에 밀접한 데이터가 많은 만큼, 시계열 문제를 해결하는 것은 중요한 의미를 갖습니다. 미래의 날씨를, 공장 기계 고장 여부를, 금융의 변화를 조금이라도 미리 예측할 수 있다면, 우리는 불확실한 미래에 더욱 효과적으로 대응할 수 있을 것입니다. 그에 따라 AI 분야에서도 시계열 문제를 해결하기 위해 다양한 노력들이 이뤄지고 있습니다. 이번 글에서는 그 중 최근 많은 주목을 받고 있는 시계열 Foundation 모델에 관한 노력들을 공유하고자 합니다.

---

1. 시계열 Foundation 모델의 등장

Foundation 모델은 거대한 데이터로 사전 학습(Pre-trained)하여 다양한 문제를 해결할 수 있는 가능성을 가진 모델을 의미합니다.^[1] Foundation 모델의 중요한 특징은 특정 문제에만 특화된 모델이 아니라 일반화된(Generalized) 모델이라는 점입니다. 자연어, 비전 등의 도메인에서 연구된 여러 Foundation 모델들이 다양한 Task에서 최고의 성능을 보이는 등, 그 가능성을 보이고 있습니다. 그에 따라, 최근 시계열에서도 Foundation 모델을 만들기 위해 많은 노력들이 이뤄지고 있습니다.

2. 시계열 Foundation 모델의 분류

최근까지의 시계열 Foundation 모델 연구를 살펴보면, 크게 거대 언어 모델(Large Language Model, LLM)을 활용하는 방법론과, 시계열을 위한 자체 거대 모델을 고안하는 방법론으로 분류할 수 있습니다. (그림 1) 거대 언어 모델 기반의 방법론은 어떻게 거대 언어 모델을 활용하는지에 따라 1) Without Adaptation, 2) Adapt LLM, 3) Adapt to LLM 3가지로 분류됩니다. 그리고 자체 언어 모델을 구축하려는 연구에서는 거대 시계열 데이터를 수집하기 위한 노력과, 다양한 시계열 데이터를 학습하기 위한 하나의 통일된 모델을 만들려는 노력이 존재합니다.

그림 1. 시계열 Foundation 모델 분류

2-1. 거대 언어 모델 기반 시계열 Foundation 모델

이 방법론은 기본적으로 거대 언어 모델로부터 일반화된 능력을 얻어, 시계열 Foundation 모델을 구축하고자 합니다. 어떻게 거대 언어 모델을 활용하는지에 따라 다음과 같이 세부적으로 나누어질 수 있습니다.

 

그림 2. PromptCast 구조^[2]

 

 

그림 3. 'Adapt LLM'과 'Adapt to LLM' 방법론의 모델 구조 차이

 

그림 4. OFA 구조^[5]

 

 

그림 5. 'Adapt to LLM' 방법론의 직관적 시각화

 

2-2. 자체 모델 기반 시계열 Foundation 모델

Foundation 모델로서 일반화 능력을 갖기 위해, 주로 거대 언어 모델에게 의존했던 앞선 방법론과 달리, 해당 방법론은 시계열을 위한 자체 거대 모델을 구축하는 것이 목표입니다. 그래서 해당 방법론의 연구는 일반화된 능력을 갖출 수 있을 만큼 충분한 데이터를 수집하는 것을 중요하게 여깁니다. 수집된 다양한 시계열 데이터 사이에는 관찰 주기(Frequency) 혹은 시계열 도메인의 차이와 같은 다양한 이질성(Heterogeneity)이 존재하는데, 거대하면서 이질적인 데이터를 수용할 수 있는 하나의 일반화된 모델을 구축하는 방향으로도 다양한 연구가 진행 중입니다.

해당 방법론의 대표적인 연구로 TimeGPT^[9], TimesFM^[10], Moirai^[11] 등이 있습니다. 그림 6이 이 모델들의 특징을 잘 정리해서 보여줍니다. 세 방법론 모두 백억 개 이상의 거대한 데이터를 수집하고, 수집된 모든 데이터를 이용해 모델을 학습함으로써 Foundation 모델을 구축하고자 했습니다.

그 중, TimesFM은 검색 빈도의 추이를 보여주는 Google Trend 데이터, Wikimedia 페이지 들의 View수를 보여주는 Wiki Pageview 데이터, 그리고 간단한 시계열 패턴을 갖는 합성 데이터를 만들어 활용합니다. 다른 연구와 달리, 이 연구는 더 쉽게 구할 수 있는 데이터를 활용해 큰 데이터 셋을 구축하고 모델을 학습시켰다는 점에서 의미가 큰 연구입니다.

일반화된 모델 구축과 관련해, 해당 방법론의 연구 대부분이 1억개 이상의 파라미터를 갖는 Transformer 계열의 모델을 채택했습니다. TimeGPT처럼 Encoder-Decoder 계열의 모델을 사용하는 경우가 있고, TimesFM과 Moirai처럼 Decoder-Only 계열의 모델을 사용하는 경우가 있습니다. 시계열에서 일반화된 모델을 구축하기 위해, Moirai에서는 관찰 주기(Frequency)별로 다른 Patch 크기를 사용하고, 변수를 랜덤하게 샘플링해서 다변수 시계열 문제를 해결합니다.

 

그림 6. TimeGPT^[9], TimesFM^[10], Moirai^[11] 특징

 

3. LG AI연구원의 향후 계획

 

앞서 소개해 드렸듯이, 시계열을 위한 Foundation 모델이 최근 활발하게 연구되고 있습니다. 하지만 해당 연구가 오래 이뤄지지 않은 만큼, 많은 부분에서의 고민과 개선이 더욱 필요한 상황입니다. LG AI연구원에서는 기존의 연구가 갖고 있는 근본적인 문제를 발견하고 이를 해결하기 위해 노력하고 있습니다.

LG AI연구원의 Advanced Machine Learning(AML) Lab에서는 대부분의 시계열 Foundation 모델이 다변수(Multivariate)를 고려하지 못하는 단변수(Univariate) 모델이라는 한계를 발견하고 이를 해결하기 위한 방법을 탐구 중입니다. 세상의 모든 시계열은 (그 정도는 경우마다 다를 수 있지만) 모두 서로 연결됐다고 할 수 있습니다. 예를 들어, 기온이 올라가면 에어컨의 수요가 늘어나고 이는 특정 회사의 주가에 영향을 줄 수 있습니다. 일반적인 시계열 모델을 구축하고자 하는 Foundation 모델 연구는, 이렇게 모든 시계열이 서로 연관됐다는 가정을 바탕으로 탄생했다고 볼 수 있습니다.

따라서 기존에 있던 기술을 바탕으로 다변수 Foundation 모델을 구축하기 위해서는 거의 무한대에 가까운 시계열을 한꺼번에 고려해야 합니다. 하지만 이는 현재의 기술로서는 거의 불가능하기 때문에 대부분의 기존 모델들은 한 번에 하나의 시계열만 고려하는 단변수 기반의 방법론을 구축했습니다.

반면, LG AI연구원 AML Lab에서는 단변수 모델이 다변수 모델에 비해 갖는 모델 능력(Capacity) 측면의 한계를 확인하고, 시계열 개수가 무한대에 가까운 상황에서 다변수 모델로 나아가기 위한 랜덤 샘플링 방법을 제안했습니다. 무한대에 가까운 모든 시계열을 한꺼번에 고려하는 것이 아니라, 그 중 몇 개만을 랜덤하게 샘플링해서 학습하더라도 전체를 가지고 학습한 효과를 낼 수 있다는 가능성을 확인했습니다.

LG AI연구원에서는 이러한 문제 이외에도 시계열 Foundation 모델에서 해결해야할 다른 중요한 근본적인 문제들을 발견하고 이를 바탕으로 발전된 시계열 Foundation 모델을 만들기 위한 연구를 이어 나갈 예정입니다.

▶[ICLR 2024] Advancements in Time Series Forecasting 보러가기