들어가며MCP (Model Context Protocol) Server를 개발하면서 Databricks SQL로 대용량 데이터셋을 쿼리해야 하는 요구사항이 들어왔습니다. 자연스럽게 공식 Databricks Node.js SDK를 사용하려 했지만, 곧 문제에 부딪혔습니다. 대용량 결과를 처리할 방법이 없었습니다.이 글에서는 이 문제를 해결하기 위해 두 개의 라이브러리(@bitofsky/merge-streams, @bitofsky/databricks-sql)를 개발한 과정과, 그 과정에서 얻은 인사이트를 공유하고자 합니다.문제: SDK External Links 미지원SDK에선 fetchChunk로 대량 result set을 부분적으로 처리하도록 callback을 제공하지만, 대량 데이터를 MCP Clien..