[3줄 통신ML] Youtube + RL

URL: https://dl.acm.org/doi/10.1145/3098822.3098843

Neural Adaptive Video Streaming with Pensieve | Proceedings of the Conference of the ACM Special Interest Group on Data Communic

 

BACKGROUND

ABR 알고리즘(Adaptive bitrate streaming)은 멀티미디어를 스트리밍하기 위한 알고리즘으로, 네트워크 환경에 따라 비트레이트를 결정하는 알고리즘이다. (넷플릭스, 유튜브에서 자동으로 재생 화질을 결정하듯)

 

An overview of HTTP adaptive video streaming.

 

저자는 ABR 알고리즘의 challenge로 다음을 제시했다.

1. ABR 알고리즘은 크게 변동하는 channel condition에 대응할 수 있어야 하며,

2. 다양한 종류의 QoE(Quality of Experience)의 valance를 찾아야 한다. (e.g. maximizing video quality (i.e., highest average bitrate), minimizing rebuffering events (i.e., scenarios where the client’s playback buffer is empty), and maintaining video quality smoothness (i.e., avoiding constant bitrate fluctuations))

 

 

METHOD

Pensieve는 Reinforcement Learning을 이용해 ABR algorithms을 수행하는 시스템으로, 기존의 ABR 알고리즘이 고정된 heuristic이나 inaccurate system model에 기반한 것과 다르게, Pensieve의 ABR은 past video streaming experiment의 decision을 observation한 결과에 기반해 수행된다.

Applying reinforcement learning to bitrate adaptation.

 

RESULT

Pensieve는 여러 network에서 기존 ABR알고리즘을 outperform하는 QoE를 보였다. 

Comparing Pensieve with existing ABR algorithms