.NET Framework 환경에서 HttpClient Class를 잘 사용하는 방법

.Net 환경에서 HttpClient 클래스의 연결을 조정하는 방법
최근에 .Net Framework 4.5+ 환경에서 HttpClient 클래스의 연결에 대해서 어떻게 관리하고 조정하는지 알아야 할 필요가 생겨서 관련 자료를 찾아 정리한다.
HttpClient
HttpClient 클래스는 .Net Framework 4.5 버전에서 처음 소개되었는데, 그 이전에는 일반적으로 HttpWebRequest 클래스를 사용하여 비슷한 목적의 코드를 작성했었다.
.Net Framework 말고도 .Net Core, .Net, Mono, Xamarin 등등에서 사용이 가능하고 각 호스트/런타임 별로 내부 구현체가 다르다.
아래는 호스트/런타임 별 HttpClient 의 내부 구현체를 설명한다.
| 호스트/런타임 | 구현체 |
|---|---|
| Windows/.NET Framework | HttpWebRequest |
| Windows/Mono | HttpWebRequest |
| Windows/UWP | Windows 네이티브 WinHttpHandler (HTTP 2.0 지원) |
| Windows/.NET Core 1.0-2.0 | Windows 네이티브 WinHttpHandler (HTTP 2.0 지원) |
| Android/Xamarin | 빌드 시 선택됩니다. Android의 네이티브를 사용 HttpWebRequest 하거나 사용하도록 구성할 수 있습니다. |
| iOS, tvOS, watchOS/Xamarin | 빌드 시 선택됩니다. Apple(NSUrlSessionHTTP 2.0 지원)을 사용하도록 사용 HttpWebRequest 하거나 구성할 수 있습니다. |
| macOS/Xamarin | 빌드 시 선택됩니다. Apple(NSUrlSessionHTTP 2.0 지원)을 사용하도록 사용 HttpWebRequest 하거나 구성할 수 있습니다. |
| macOS/Mono | HttpWebRequest |
| macOS/.NET Core 1.0-2.0 | libcurl기반 HTTP 전송(HTTP 2.0 지원) |
| Linux/Mono | HttpWebRequest |
| Linux/.NET Core 1.0-2.0 | libcurl기반 HTTP 전송(HTTP 2.0 지원) |
| .NET Core 2.1 이상 | System.Net.Http.SocketsHttpHandler |
HttpClient https://learn.microsoft.com/en-us/dotnet/api/system.net.http.httpclient?view=netframework-4.8
.NET Framework 에서의 HttpClient
앞으로 설명할 내용은 .NET Framework 에서의 HttpClient 를 설명한다. (다른 호스트/런타임에서 동작하는 HttpClient Class 에 대한 설명과 같을 수도, 다를 수도 있다.)
단순히 Class 의 이름만 봐서는 각 HTTP 요청 별로 HttpClient Class 인스턴스를 새로 생성하여 사용해야 할 것 같지만, 각 요청을 발생시키는 함수들은 각각의 소켓을 생성하여 요청을 수행한다.
HttpClient Class 는 아래의 함수들을 제공하는데 모두 thread-safe 하다.
- CancelPendingRequests
- DeleteAsync
- GetAsync
- GetByteArrayAsync
- GetStreamAsync
- GetStringAsync
- PostAsync
- PutAsync
- SendAsync
따라서 프로그램에서 단 하나의 HttpClient Class 를 전역적으로 생성해놓고 사용해도 사용하는데 문제가 없다. (문제가 없을 뿐 아니라 Microsoft에서 앱에서 하나의 HttpClient Class 를 인스턴스화 하여 사용하는 것을 권장한다.)
HttpClient Class 는 IDisposable 를 구현하고 있는데 그렇다고 하더라도 자주 Dispose 를 호출하여 인스턴스를 폐기하거나 새 인스턴스를 생성하면 시스템에서 소켓이 고갈 될 수 있다. 그 이유는 HttpClient 객체를 Dispose 하면 열려있던 소켓들이 바로 닫히는 게 아닌 TIME_WAIT 상태로 전환되어 일정시간 후 사라지기 때문이다.
위 이유 때문에 HttpClient Class 를 프로그램에서 사용하는 경우 하나의 또는 적은 수의 HttpClient 를 생성해놓고 재활용하여 사용하고 있는지 확인해야 한다.
Connection Pooling
HttpClient 클래스 사용 시 Connection Pooling 을 위해서는 System.Net.ServicePointManager 클래스의 DefaultConnectionLimit 속성을 설정하여 조정할 수 있다.
만약 위 속성을 별도로 설정하지 않으면 DefaultConnectionLimit 속성의 값은 System.Net.ServicePointManager 클래스의 PersistentConnectionLimit 속성의 값으로 설정된다. PersistentConnectionLimit 속성의 값은 아래와 같이 정의가 되어 있어 Asp 서버라면 10, 그 이외는 2로 설정된다.
private static int PersistentConnectionLimit {
get {
#if !FEATURE_PAL
if (ComNetOS.IsAspNetServer) {
return DefaultAspPersistentConnectionLimit; // 10
} else
#endif
{
return DefaultPersistentConnectionLimit; // 2
}
}
}
테스트
아래와 같은 테스트 코드를 작성하여 실행 후 프로그램에서 사용되는 소켓을 모니터링 해보면 최대 5개 까지 생성되 재활용 되는 것을 확인할 수 있다.
ServicePointManager.DefaultConnectionLimit = 5;
await Task.WhenAll(Enumerable.Range(1, 20)
.Select(async _ => await _httpClient.GetAsync("https://hwanstory.kr")));

HttpClient Class 를 재활용하여 사용 시 주의할 점
HttpClient Class 를 재활용하는 프로그램에서는 DNS 갱신이 되지 않는 문제가 발생할 수 있다. HttpClient Class 를 통해 TCP 소켓 연결이 되면 다른 TCP 연결을 열기 전까지는 DNS 확인을 다시 하지 않는다. 따라서 DNS 확인을 다시 하려면 Connection Pool 에 존재하는 TCP 연결을 닫고 다시 열어야 DNS 확인이 수행된다.
HttpClient Class 를 별다른 설정 없이 사용하면 가능한 가장 길게 연결 상태로 가져가려고 시도한다.
이 때 강제로 최대 연결 시간에 대한 타임아웃 시간 설정이 아래 코드와 같이 가능하다.
Uri requestUri = new Uri("https://hwanstory.kr");
ServicePoint servicePoint = ServicePointManager.FindServicePoint(requestUri);
if (servicePoint != null)
{
// 연결 유지 시간을 최대 1시간으로 제한한다.
servicePoint.ConnectionLeaseTimeout = 3600 * 1000;
}