VoIP Telefonate werden nicht über dedizierte Kanäle übertragen, wie es in leitungsvermittelten Netzen wie dem analogen Telefonnetz (PSTN) bzw. dem Mobilfunknetz GSM üblich ist. Die Übertragung von VoIP erfolgt im allgemeinen über einen gemeinsam genutzten Kanal, auf dem die Pakete mit anderen Anwendungen und Nutzern konkurrieren, es sei denn, das Netzwerk stellt gesonderte Bevorzugung von Echtzeitdiensten zur Verfügung. Aus diesem Grund kommt es zu unterschiedlichen Verzögerungen der einzelnen Pakete.
Die resultierende Variation der Paketankunftszeiten beim Empfänger (auch Jitter genannt) kann bis zu einem gewissen Grad mit Hilfe eines Empfangspuffers ausgeglichen werden. Die Dimensionierung dieses Puffers muss dabei einen Kompromiss zwischen resultierender Verzögerung und der Menge an Paketverlusten finden.
Neben diesen durch Verzögerung verursachten Paketverlusten kann es auch bei Überlastung einzelner Knoten im Netzwerk zu Verlusten kommen. Bei der Funkübertragung gehen zudem Pakete aufgrund von Restbitfehlern verloren.
