DeepL or Google Translator – the Quality of Machine Translation – Performance Test

A new performance test: German into English

In this new performance test, different texts and phrases are translated and the quality of the results compared.

According to this 2021 performance test, both machine translation systems deliver translations of much better quality than three years ago. Again, DeepL shows better results in translating from English into German than Google.
When I published my first evuation of machine translation (MT) in 2018 Google still used its statistical machine translation service, This MT system could only translate languages inadequately, the results were poor and human translators had to do the main work. This changed in the following years when Google switched to Google Neural Machine Translation (GNMT) which is much more efficient. DeepL Translator has been using NMT from the very beginning in 2017. According to the developers, the service uses a newer, improved architecture of neural networks, which results in a more natural sound of translations compared to competing services.

So the 2018 test had compared the performance of two different systems, with Deepl’s NMT as the clear winner.

According to this 2021 performance test, both systems deliver translations of much better quality than three years ago. Again, DeepL shows better results in translating from English into German than Google. I have included some results from the 2018 study for comparison.
In the following test I will examine the performance of both systems. I have chosen different English texts which are translated into the target language German. English / German simply because these are the languages I know best as a native German speaker and graduate in English studies.

table
Results as a percentage of the assumed best possible translation

Evaluation
What is evaluated?

Fluency
Is the translation in natural word order? Is the text fluent? Does it contain grammar errors?

Adequacy
Does the translation preserve the meaning of the origin? Is part of the meaning lost, added or skewed?

I will assess the previous qualities on a scale of 5:

adequacy
fluency
5 all meaning 5 flawless German
4 most meaning 4 good
3 much meaning 3 non-native
2 little meaning 2 dis-fluent
1 no meaning 1 incomprehensible

1. Colloquial Language

Text 1.1 (Review – Eazy’s Place, Dar es Salaam, TripAdvisor)
We did the Bagamoyo tour with Eazy which was a cool way to see the town. Also watching him paint the batik was super cool and we bought some of the beautiful (very affordable!) material and Eazy took us to a local seamstress to have a dress made.
Google:
Wir haben die Bagamoyo-Tour mit Eazy gemacht, was eine coole Art war, die Stadt zu sehen. Ihm beim Bemalen des Batiks zuzusehen war auch super cool und wir kauften etwas von dem schönen (sehr erschwinglichen!) Material und Eazy brachte uns zu einer örtlichen Näherin, um ein Kleid anfertigen zu lassen.
adequacy: 4 fluency: 5
DeepL:
Wir haben die Bagamoyo-Tour mit Eazy gemacht, die eine coole Art war, die Stadt zu sehen. Außerdem war es super cool, ihm beim Batiken zuzusehen. Wir kauften einige der schönen (sehr erschwinglichen!) Stoffe und Eazy brachte uns zu einer örtlichen Schneiderin, um ein Kleid anfertigen zu lassen.
adequacy: 5 fluency: 5

Text 1.2 (Review – Eazy’s Place, Dar es Salaam, TripAdvisor)
I had no regrets, learning how to paint with hot wax on lengths of cotton cloth, dyeing and painting to build up a pattern, with cows lumbering by a few feet away beyond a hedge and chickens and doves clucking and scratching at my feet and above my head.
Google:
Ich habe es nicht bereut, dass ich gelernt habe, mit heißem Wachs auf Baumwollstoffbahnen zu malen, zu färben und zu malen, um ein Muster aufzubauen, mit Kühen, die ein paar Meter entfernt hinter einer Hecke rumpelten und Hühner und Tauben, die an meinen Füßen und darüber gackerten und kratzten mein Kopf.
Adequacy: 3 fluency: 3
DeepL:
Ich habe es nicht bereut, als ich gelernt habe, mit heißem Wachs auf Baumwolltüchern zu malen, zu färben und zu malen, um ein Muster aufzubauen, während ein paar Meter entfernt hinter einer Hecke Kühe vorbeizogen und Hühner und Tauben zu meinen Füßen und über meinem Kopf gackerten und scharrten.
adequacy: 5 fluency: 5

Text 1.3 (Review – Eazy’s Place, Dar es Salaam, TripAdvisor)
Also our taxi driver got very lost on the way there so be sure you have very specific directions as the taxi driver seemed happy to take us when we first asked then demanded triple the taxi fare when we finally got there! Luckily Eazy came to our rescue and acted as translator arguing very fairly with the driver and ensured we were not ripped off.
Google:
Auch unser Taxifahrer hat sich auf dem Weg dorthin sehr verirrt, also stellen Sie sicher, dass Sie eine sehr genaue Wegbeschreibung haben, da der Taxifahrer uns anscheinend gerne mitnahm, als wir das erste Mal fragten und dann das Dreifache des Taxipreises verlangten, als wir endlich dort ankamen! Glücklicherweise kam Eazy zu unserer Rettung und fungierte als Übersetzer, der sehr fair mit dem Fahrer argumentierte und dafür sorgte, dass wir nicht abgezockt wurden.
adequacy: 3 fluency: 3
DeepL:
Auch unser Taxifahrer hat sich auf dem Weg dorthin sehr verfahren, also stellen Sie sicher, dass Sie eine sehr genaue Wegbeschreibung haben, denn der Taxifahrer schien glücklich zu sein, uns mitzunehmen, als wir zuerst fragten, und verlangte dann den dreifachen Fahrpreis, als wir endlich ankamen! Zum Glück kam Eazy zu unserer Rettung und fungierte als Übersetzer, der sehr fair mit dem Fahrer stritt und dafür sorgte, dass wir nicht abgezockt wurden.
adequacy: 4 fluency: 5

Results Colloquial Language (average of 3):
Google: adequacy: 3.3 fluency: 3.7
Deepl: adequacy: 4.7 fluency: 5.0

Comment: Colloquial language with its irregular structure and edgy vocabulary has always been a great task for translators. In particular this is beyond the limits of Google’s capabilities, whereas DeepL doesn’t have that many problems.

2 Technical description

Text 2.1 (manual, Train Simulator)
To use the AFB function, push the lever to the left of the throttle forward to set the required speed.
Acceleration is controlled by the throttle lever, so the lower this is set, the longer it will take to attain the set cruise speed. If the brake lever is in the hold position
(notch 2) the train air brakes will be applied in addition to dynamic braking if necessary.
Google:
Um die AFB-Funktion zu verwenden, drücken Sie den Hebel links neben dem Gashebel nach vorne, um die gewünschte Geschwindigkeit einzustellen.
Die Beschleunigung wird über den Gashebel gesteuert. Je niedriger dieser eingestellt wird, desto länger dauert es, bis die eingestellte Reisegeschwindigkeit erreicht ist. Befindet sich der Bremshebel in der Halteposition (Kerbe 2), werden die Zugluftbremsen bei Bedarf zusätzlich zur dynamischen Bremsung betätigt.
adequacy: 4 fluency: 5
DeepL:
Um die AFB-Funktion zu nutzen, drücken Sie den Hebel links neben dem Gashebel nach vorne, um die gewünschte Geschwindigkeit einzustellen.
Die Beschleunigung wird über den Gashebel gesteuert. Je niedriger dieser eingestellt ist, desto länger dauert es, bis die eingestellte Reisegeschwindigkeit erreicht ist. Wenn sich der Bremshebel in der Halteposition (Raste 2), werden zusätzlich zur dynamischen Bremse die Druckluftbremsen des Zuges betätigt, falls erforderlich.
adequacy: 5  fluency: 5

Results Technical description:
Google: adequacy: 4.0 fluency: 5.0
Deepl: adequacy: 5.0 fluency: 5.0

3. Newspaper

Text 3.1 (The Kaselehlie Press, FSM)
The four States in the Nation constituting what is so called the Federated States of Micronesia are facing financial challenges while the parenthood is extravagantly enjoying an unprecedented surplus ever recorded in the history of this Nation. Even before reaching this unprecedented surplus level, numerous attempts have been made by the leaders of this federation to salvage the states from further slipping into insolvency and yet none has worked out up to this point in time.
Google:
Die vier Staaten der Nation, die die sogenannten Föderierten Staaten von Mikronesien bilden, stehen vor finanziellen Herausforderungen, während die Elternschaft einen beispiellosen Überschuss genießt, der jemals in der Geschichte dieser Nation verzeichnet wurde. Noch bevor dieser beispiellose Überschuss erreicht wurde, wurden von den Führern dieser Föderation zahlreiche Versuche unternommen, die Staaten vor einem weiteren Abgleiten in die Insolvenz zu bewahren, und doch hat bis zu diesem Zeitpunkt keiner geklappt.
adequacy: 4 fluency: 4
DeepL:
Die vier Staaten der Nation, die die so genannten Föderierten Staaten von Mikronesien bilden, stehen vor finanziellen Herausforderungen, während die Elternschaft einen noch nie dagewesenen Überschuss in der Geschichte dieser Nation genießt. Schon vor dem Erreichen dieses beispiellosen Überschusses wurden von den Führern dieser Föderation zahlreiche Versuche unternommen, um die Staaten vor einem weiteren Abgleiten in die Zahlungsunfähigkeit zu bewahren, doch bis jetzt hat keiner davon funktioniert.
adequacy: 5 fluency: 5

Text 3.2 (Headlines)
Marshall Islands trust fund defrauded of $1M
FSM continues to combat waste management issues through JICA project
Two convicted and three cleared of Human Trafficking crimes in Chuuk
FSM Senator delivers commencement address at Eastern Oregon University
FSM arrests first alleged violator of its expanded fishing exclusion zone

Google:
Treuhandfonds der Marshallinseln um 1 Million US-Dollar betrogen
FSM bekämpft weiterhin Abfallmanagementprobleme durch das JICA-Projekt
Zwei Verurteilte und drei Freigesprochene wegen Menschenhandelsverbrechen in Chuuk
FSM Senator hält Antrittsrede an der Eastern Oregon University
FSM verhaftet ersten mutmaßlichen Übertreter seiner erweiterten Fischerei-Sperrzone
adequacy: 5 fluency: 5

DeepL:
Treuhandfonds der Marshallinseln um 1 Million Dollar betrogen
Mikronesien bekämpft weiterhin Probleme der Abfallwirtschaft durch JICA-Projekt
Zwei Verurteilte und drei freigesprochene Personen in Chuuk wegen Menschenhandelsverbrechen
Senator von Mikronesien hält Eröffnungsrede an der Eastern Oregon University
Mikronesien verhaftet ersten mutmaßlichen Verletzer der erweiterten Fischereisperrzone
dequacy:5 fluency: 5

Results Newspaper (average of 2):
Google: adequacy: 4.5 fluency: 4.5
Deepl: adequacy: 5.0 fluency: 5.0

4. Scientific text

Text 4.1 (Alastair Rae, Quantum Physics)
Our analysis of the behaviour of microscopic objects like photons shows us that contradictions arise if we attribute properties such as polarisation to them unless these have been measured. However, if quantum physics is to be a universal theory it must be applicable to the measuring apparatus also, which therefore cannot be said to be in any particular state until a measurement has been made on it in turn.
Google:
Unsere Analyse des Verhaltens von mikroskopischen Objekten wie Photonen zeigt uns, dass Widersprüche entstehen, wenn wir ihnen Eigenschaften wie Polarisation zuschreiben, sofern diese nicht gemessen wurden. Wenn die Quantenphysik jedoch eine universelle Theorie sein soll, muss sie auch auf die Messapparatur anwendbar sein, von der also nicht gesagt werden kann, dass sie in einem bestimmten Zustand ist, bis an ihr wiederum eine Messung durchgeführt wird.
adequacy: 5 fluency: 5

DeepL:
Unsere Analyse des Verhaltens von mikroskopischen Objekten wie Photonen zeigt uns, dass Widersprüche entstehen, wenn wir ihnen Eigenschaften wie die Polarisation zuschreiben, ohne dass diese gemessen wurden. Wenn die Quantenphysik jedoch eine universelle Theorie sein soll, muss sie auch auf den Messapparat anwendbar sein, von dem daher nicht gesagt werden kann, dass er sich in einem bestimmten Zustand befindet, bevor nicht eine Messung an ihm durchgeführt wurde.
adequacy: 5 fluency: 5

Results Scientific Text:
Google: adequacy: 5.0 fluency: 5.0
Deepl: adequacy: 5.0 fluency: 5.0

Comment:  Both newspaper articles and technical language as well as scientific language are handled well by both systems. Strict rules, well structured, clear statements seem to be especially favourable for good translation results. The highly compressed content of headlines, on the other hand, is well understood by both systems.

5.Grammar

5.1 In a month he will have her eating out of his hand
Google 2018: In einem Monat wird er sie aus seiner Hand essen lassen (3)
Google 2021: In einem Monat wird er sie aus seiner Hand fressen lassen (3)

DeepL: 2018:  In einem Monat wird sie ihm aus der Hand fressen (5)
DeepL 2021: In einem Monat wird sie ihm aus der Hand fressen (5)

5.2 Did you have those curtains made?
Google 2018: Hast du diese Vorhänge gemacht? (2)
Google 2021 Hast du diese Gardinen machen lassen?(4)

DeepL 2018: Hast du die Vorhänge machen lassen?(5)
DeepL 2021: Haben Sie diese Vorhänge anfertigen lassen?(5)

5.3 The police saw the boy that the crowd at the party accused of the crime
Google 2018: Die Polizei hat den Jungen gesehen, dass die Menge auf der Partei des Verbrechens angeklagt ist. (1)
Google 2021: Die Polizei sah den Jungen, den die Menge auf der Party des Verbrechens beschuldigte(5)

DeepL 2018:  Die Polizei sah den Jungen, den die Menge auf der Party des Verbrechens beschuldigte (5)
DeepL 2021: Die Polizei sah den Jungen, den die Menge auf der Party des Verbrechens beschuldigte (5)

5.4 He gave the girl that he met in New York while visiting his parents around Christmas the candle
Google 2018:
Er gab dem Mädchen, dass er in New York traf, während er seinen Eltern um Weihnachten die Kerze besuchte (1)
Google 2021:
Er schenkte dem Mädchen, das er in New York kennenlernte, als er zu Weihnachten seine Eltern besuchte, die Kerze (5)
DeepL 2018:
Er gab dem Mädchen, das er in New York traf, während er seine Eltern um Weihnachten besuchte, die Kerze. (5)
DeepL 2021:
Er schenkte dem Mädchen, das er in New York kennengelernt hatte, als er zu Weihnachten seine Eltern besuchte, die Kerze (5)

5.5 I wonder who Bruce introduced John to.
Google 2018:
Ich frage mich, zu wem Bruce John führte (2)
Google 2021:
Ich frage mich, wem Bruce John vorgestellt hat.(5)
DeepL 2018:
Ich frage mich, wem Bruce John vorgestellt hat.(5)
DeepL 2021:
Ich frage mich, wem Bruce John vorgestellt hat.(5)

5.6 The woman who the janitor hit on is very pretty.
Google 2018:
Die Frau, auf die der Hausmeister trifft, ist sehr hübsch (2)
Google 2021:
Die Frau, die der Hausmeister angemacht hat, ist sehr hübsch.(5)
DeepL 2018:
Die Frau, die der Hausmeister angemacht hat, ist sehr hübsch (5)
DeepL 2021:
Die Frau, die der Hausmeister angemacht hat, ist sehr hübsch (5)

Comment: However both systems had problems with these recursive structures when including another relative clause, the new versions can handle this better:

5.7 The woman who the janitor we just hired hit on is very pretty.
Google 2018:
Die Frau, die der Hausmeister, den wir gerade gemietet haben, ist sehr hübsch (1)
DeepL 2018
Die Frau, die der Hausmeister, den wir gerade angeheuert haben, ist sehr hübsch (1)

Google 2021:
Die Frau, die der Hausmeister, den wir gerade angeheuert haben, angemacht hat, ist sehr hübsch.(5)
DeepL 2021:
Die Frau, die der Hausmeister, den wir gerade eingestellt haben, angemacht hat, ist sehr hübsch.(5)

Results Grammar(average of 7):
Google: adequacy: 4.6 fluency: –
DeepL: adequacy: 5.0 fluency: –

Comment: Here no fluency assessment is made for obvious reasons. Grammatical issues are a little bit better handled by DeepL. However both systems show significantly better results compared to the previous versions

6.Phrasal Verbs

6.1 I dropped in to see Chris on my way home
Google: Ich bin auf dem Heimweg vorbeigekommen, um Chris zu sehen (4)
DeepL: Ich habe Chris auf meinem Heimweg besucht. (5)

6.2 David fell out with his father and left home
Google: David hat sich mit seinem Vater gestritten und ist von zu Hause weggegangen (5)
DeepL: David zerstreitet sich mit seinem Vater und verlässt das Haus (3)

6.3 I wasn’t sure about this album when I bought it but it’s really grown on me.
Google: Ich war mir bei diesem Album nicht sicher, als ich es gekauft habe, aber es ist mir wirklich ans Herz gewachsen.(5)
DeepL: Ich war mir nicht sicher, als ich das Album kaufte, aber es ist mir wirklich ans Herz gewachsen.(5)

Results phrasal verbs (average of 3):
Google: adequacy: 4.7
DeepL: adequacy: 4.3

Comment: Both systems have improved their performance signifantly.

7. Ambiguous Phrases

7.1 Time flies like an arrow; fruit flies like a banana
Google:
old: Die Zeit vergeht wie im Flug; Fruchtfliegen wie eine Banane (3)
new: Die Zeit vergeht wie im Flug; Fruchtfliegen wie eine Banane (3)
DeepL:
old:Die Zeit vergeht wie ein Pfeil; die Frucht fliegt wie eine Banane (1)
new Die Zeit fliegt wie ein Pfeil, das Obst fliegt wie eine Banane (1)

7.2 I drove down the windy road on a windy day
Google:
old: Ich bin an einem windigen Tag die windige Straße hinuntergefahren(2)
new: Ich bin an einem windigen Tag die kurvenreiche Straße entlang gefahren (5)
DeepL:
old: I ch fuhr an einem windigen Tag die kurvenreiche Straße hinunter (5)
new: Ich fuhr die windige Straße entlang an einem windigen Tag (1)

7.3 Put the paper in the printer, then switch it on.
Google:
old: Legen Sie das Papier in den Drucker ein und schalten Sie es dann ein. (2)
new: Legen Sie das Papier in den Drucker ein und schalten Sie ihn ein.(4)
DeepL:
old: Legen Sie das Papier in den Drucker und schalten Sie es ein.(2)
new: Legen Sie das Papier in den Drucker ein und schalten Sie ihn dann ein.(5)

7.4 If Sam kicks the bucket, her children will be rich.
Google:
old: Wenn Sam den Eimer tritt, werden ihre Kinder reich. (1)
new: Wenn Sam in den Eimer tritt, werden ihre Kinder reich. (1)
DeepL:
old: Wenn Sam in den Eimer tritt, werden ihre Kinder reich sein. (1)
new: Wenn Sam ins Gras beißt, werden ihre Kinder reich sein. (5)

Results (average of 4):
Google: adequacy: 2.0 new: 3.3
DeepL: adequacy: 2.3 new: 3.0

Comment: I find the poor tranlation results of the ambiguous phrases still a bit surprising, that especially DeepL with it’s efficient Convolutional Neural Network and huge database has difficults with so well known phrases like „time flies like an arrow“ which is translated into the meaningless Die Zeit vergeht wie ein Pfeil;with the meaning of something like time passes, elapses as an arrow and the following fruit flies like a banana produces nonsense like
Fruchtfliegen wie eine Banane with the meaning of fruit flies pass away like a banana.
The second example (I drove down the windy road on a windy day) shows Google’s progress in MT performance whereas DeepL has moved back and turns kurvenreiche Strasse into a meaningless windige Strasse
Anyway, the results are still poor, here the lack of „Weltwissen“ (world knowledge) turns out to be fundamental problem of MT.

8. Literary Text

(Virginia Woolf – To the Lighthouse)
For now she need not think of anybody. She could be herself, by herself. And that was what now she often felt the need of – to think; well not even to think. To be silent; to be alone. All the being and the doing, expansive, glittering, vocal, evaporated; and one shrunk, with a sense of solemnity, to being oneself, a wedge-shaped core of darkness, something invisible to others… and this self having shed its attachments was free for the strangest adventures.
Google:
Im Moment braucht sie an niemanden zu denken. Sie konnte sie selbst sein. Und das war es, wozu sie jetzt oft das Bedürfnis verspürte – zu denken; gut nicht einmal zu denken. Still sein; alleine sein. Alles Sein und Tun, ausladend, glitzernd, laut, verflüchtigt; und man schrumpfte mit einem Gefühl der Feierlichkeit dahin, man selbst zu sein, ein keilförmiger Kern der Dunkelheit, etwas, das für andere unsichtbar war… und dieses Selbst, das seine Anhaftungen abgelegt hatte, war frei für die seltsamsten Abenteuer.
adequacy: 4 fluency: 4
DeepL:
Im Moment brauchte sie an niemanden zu denken. Sie konnte sie selbst sein, ganz allein. Und das war es, was sie jetzt oft brauchte – zu denken, ja nicht einmal zu denken. Zu schweigen; allein zu sein. All das Sein und Tun, expansiv, glitzernd, lautstark, verflüchtigte sich; und man schrumpfte mit einem Gefühl der Feierlichkeit zu sich selbst, einem keilförmigen Kern aus Dunkelheit, etwas Unsichtbarem für andere … und dieses Selbst, das seine Anhaftungen abgelegt hatte, war frei für die seltsamsten Abenteuer.
adequacy: 4 fluency: 5
Comment:
Literature translation are by no means the greatest challenges human translators have to face and this is where MT usually reach their limits. The results of the example above are accordingly. I must admit, however, that the quality of literary translations has also improved considerably. DeepL delivers slightly better results than Google here too.

Results:

1. Results Colloquial Language (average of 3):
Google: adequacy: 3.3 fluency: 3.7
DeepL: adequacy: 4.7 fluency: 5.0

2.Results Newspaper (average of 2):
Google: adequacy: 4.5 fluency: 4.5
DeepL: adequacy: 5.0 fluency: 5.0

3.Results Scientific Text:
Google: adequacy: 5.0 fluency: 5.0
DeepL: adequacy: 5.0 fluency: 5.0

4.Results Grammar (average of 7):
Google: adequacy: 4.6 fluency: –
DeepL: adequacy: 5.0 fluency: –

5.Results Phrasal Verbs (average of 3):
Google: adequacy: 4.7 fluency: –
DeepL: adequacy: 4.3 fluency: –

6.Results Ambiguous Phrases (average of 3):
Google: adequacy: 3.3 fluency: –
DeepL: adequacy: 3.0 fluency: –

7.Results Literary Text:
Google: adequacy: 4.0 fluency: 4.0
DeepL: adequacy: 4.0 fluency: 5.0

Final Results 2021(average of 7/4):
Google – adequacy: 4.2 fluency: 4.3
DeepL – adequacy: 4.5 fluency: 5.0

Google: average of adequacy and fluency: 4.2 out of 5 (84%)
DeepL: average of adequacy and fluency: 4.4 out of 5 (88%)

Results 2018:
Google – adequacy: 2.8 fluency: 3.7
DeepL – adequacy: 3.7 fluency: 4.1

Google: average of adequacy and fluency: 3.3 out of 5 (66%)
DeepL: average of adequacy and fluency: 3.9 out of 5 (78%)

Compared to the last evaluation in 2018, the quality of both MTs has improved significantly. DeepL again delivers slightly better results this time and, at 88 per cent, reaches a level that is hardly inferior to translations performed by humans.

Bernd Riebe, Oct 2021

Additional information:

Google Translate, the free machine translation service, has been serving millions of people daily for more than 10 years now. It started in 2006 as a statistical machine translation service of often poor quality, however after introducing the Google Neural Machine Translation (GMNT) in 2016 the performance has improved substantially. GMNT uses an example based translation method in which the system learns from millions of examples. So GMNT no longer memorizes phrase-to-phrase translations but encodes the semantics of whole sentences.
DeepL is an online machine translation service provided by DeepL GmbH, Cologne, Germany which went online on 28 August 2017.
DeepL uses a novel architecture of neural networks and relies on a supercomputer with 5.1 petaflops. The Linguee service, which has already made a name for itself with translations of individual words or groups of words, comes from the same company. In doing so, human-translated texts are used for translations in order to deliver better results.
The program uses so-called Convolutional Neural Networks trained on the Linguee database, which are usually used for automatic image recognition. Google Translate, on the other hand, uses recurrent neural networks.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

*

Kommentare werden durch den WP-SpamShield Spam Blocker geschützt