Google Translate or DeepL? – Performance Test – English into German

Google Translate, the free machine translation service, has been serving millions of people daily for more than 10 years now. It started in 2006 as a statistical machine translation service of often poor quality, however after introducing the Google Neural Machine Translation (GMNT) in 2016 the performance has improved substantially. GMNT uses an example based translation method in which the system learns from millions of examples. So GMNT no longer memorizes phrase-to-phrase translations but encodes the semantics of whole sentences.

DeepL is an online machine translation service provided by DeepL GmbH, Cologne, Germany which went online on 28 August 2017.

DeepL uses a novel architecture of neural networks and relies on a supercomputer with 5.1 petaflops. The Linguee service, which has already made a name for itself with translations of individual words or groups of words, comes from the same company. In doing so, human-translated texts are used for translations in order to deliver better results.

The program uses so-called Convolutional Neural Networks trained on the Linguee database, which are usually used for automatic image recognition. Google Translate, on the other hand, uses recurrent neural networks.

In the following test I will examine the performance of both systems. I have chosen different English texts which are translated into the target language German. English / German simply because these are the languages I know best as a native German speaker and graduate in English studies.

Evaluation

What is evaluated?

Fluency

Is the translation in natural word order? Is the text fluent? Does it contain grammar errors?

Adequacy

Does the translation preserve the meaning of the origin? Is part of the meaning lost, added or skewed?

I will assess the previous qualities on a scale of 5:

adequacy
fluency
5 all meaning 5 flawless English
4 most meaning 4 good
3 much meaning 3 non-native
2 little meaning 2 dis-fluent
1 no meaning 1 incomprehensible

I use bold text for some of the most obvious blunders

Colloquial Language

Text 1 (Review – Eazy’s Place, Dar es Salaam, TripAdvisor)

We did the Bagamoyo tour with Eazy which was a cool way to see the town. Also watching him paint the batik was super cool and we bought some of the beautiful (very affordable!) material and Eazy took us to a local seamstress to have a dress made.

Google:

Wir haben die Bagamoyo-Tour mit Eazy gemacht, was ein cooler Weg war, die Stadt zu sehen. Auch sah ich ihm den Batik malen war super cool und wir kauften ein paar der schönen (sehr erschwinglichen!) Material und Eazy brachte uns zu einer lokalen Näherin, um ein Kleid zu machen.

adequacy: 4 fluency: 3

DeepL:

Wir machten die Bagamoyo-Tour mit Eazy, was eine coole Art war, die Stadt zu sehen. Außerdem haben wir ihm beim Malen zugesehen, und die Batik war super geil und wir kauften etwas von dem wunderschönen (sehr erschwinglichen!) Material und Eazy nahm uns mit zu einer lokalen Näherin, um ein Kleid machen zu lassen.

adequacy: 5 fluency: 5

Text 2 (Review – Eazy’s Place, Dar es Salaam, TripAdvisor)

I had no regrets, learning how to paint with hot wax on lengths of cotton cloth, dyeing and painting to build up a pattern, with cows lumbering by a few feet away beyond a hedge and chickens and doves clucking and scratching at my feet and above my head.

Google:

Ich hatte keine Bedauern und lernte, wie man mit heißem Wachs auf Baumwolltuchlängen malt, färbt und malt, um ein Muster aufzubauen, Kühe um ein paar Meter hinter einer Hecke herumschleichen und Hühner und Tauben an meinen Füßen und darüber kratzen und kratzen mein Kopf.

adequacy: 2 fluency: 2

DeepL:

Ich bereute es nicht, mit heißem Wachs auf Baumwolltuchbahnen zu malen, zu färben und zu malen, um ein Muster aufzubauen, mit Kühe, die ein paar Meter weiter weg jenseits einer Hecke rumpeln und Hühner und Tauben, die an meinen Füßen und über meinem Kopf gackern und kratzen.

adequacy: 5 fluency: 4

Text 3 (Review – Eazy’s Place, Dar es Salaam, TripAdvisor)

Also our taxi driver got very lost on the way there so be sure you have very specific directions as the taxi driver seemed happy to take us when we first asked then demanded triple the taxi fare when we finally got there! Luckily Eazy came to our rescue and acted as translator arguing very fairly with the driver and ensured we were not ripped off.

Google:

Auch unser Taxifahrer war sehr verloren auf dem Weg dorthin, also seien Sie sicher, dass Sie sehr spezielle Richtungen haben, da der Taxifahrer uns glücklich zu nehmen schien, als wir das erste Mal fragten und dann dreifach das Taxi kosteten, als wir endlich ankamen! Zum Glück kam Eazy zu unserer Rettung und wirkte als Übersetzer, der sehr fair mit dem Fahrer argumentierte und sicherstellte, dass wir nicht abgerissen wurden.

adequacy: 2 fluency: 3

DeepL:

Auch unser Taxifahrer hat sich auf dem Weg dorthin sehr verirrt, also seien Sie sich sicher, dass Sie eine sehr genaue Wegbeschreibung haben, denn der Taxifahrer schien froh zu sein, uns mitzunehmen, als wir zum ersten Mal gefragt haben, ob wir den dreifachen Taxipreis verlangen sollten, als wir endlich dort ankamen! Glücklicherweise kam Eazy zu unserer Rettung und fungierte als Übersetzer, der sehr fair mit dem Fahrer diskutierte und dafür sorgte, dass wir nicht abgezockt wurden.

adequacy: 4 fluency: 5

Comment: Colloquial language with its irregular structure and edgy vocabulary has always been a great task for translators. In particular this is beyond the limits of Google’s capabilities, whereas DeepL doesn’t have that many problems.

Technical description

Text 4 (manual, Train Simulator)

To use the AFB function, push the lever to the left of the throttle forward to set the required speed.

Acceleration is controlled by the throttle lever, so the lower this is set, the longer it

will take to attain the set cruise speed. If the brake lever is in the hold position

(notch 2) the train air brakes will be applied in addition to dynamic braking if

necessary.

Google:

Um die AFB-Funktion zu verwenden, drücken Sie den Hebel links neben dem Gaspedal, um die gewünschte Geschwindigkeit einzustellen.
Die Beschleunigung wird durch den Gashebel gesteuert. Je niedriger dieser eingestellt ist, desto länger wird benötigt, um die eingestellte Reisegeschwindigkeit zu erreichen. Wenn sich der Bremshebel in der Halteposition befindet (Kerbe 2) die Zugluftbremsen werden zusätzlich zur dynamischen Bremsung angewendet, wenn notwendig.

adequacy: 3 fluency: 4

DeepL:

Um die AFB-Funktion zu verwenden, drücken Sie den Hebel links neben dem Gashebel nach vorne, um die gewünschte Geschwindigkeit einzustellen.

Die Beschleunigung wird durch den Gashebel gesteuert, je niedriger dieser eingestellt ist, desto länger dauert es die eingestellte Reisegeschwindigkeit erreicht. Befindet sich der Bremshebel in der Halteposition (Kerbe 2) werden zusätzlich zur dynamischen Bremsung auch die Druckluftbremsen des Zuges betätigt, wenn notwendig.

adequacy: 5  fluency: 4

Newspaper articles

Text 5 (The Kaselehlie Press, FSM)

The four States in the Nation constituting what is so called the Federated States of Micronesia are facing financial challenges while the parenthood is extravagantly enjoying an unprecedented surplus ever recorded in the history of this Nation. Even before reaching this unprecedented surplus level, numerous attempts have been made by the leaders of this federation to salvage the states from further slipping into insolvency and yet none has worked out up to this point in time.

Google:

Die vier Staaten in der Nation, die die sogenannten Föderierten Staaten von Mikronesien bilden, stehen vor finanziellen Herausforderungen, während die Elternschaft ausschweifend einen nie dagewesenen Überschuss genießt, der jemals in der Geschichte dieser Nation verzeichnet wurde. Noch vor Erreichen dieses beispiellosen Überschusses wurden von den Führern dieser Föderation zahlreiche Versuche unternommen, die Staaten vor einem weiteren Abrutschen in die Insolvenz zu bewahren, und bis jetzt hat sich noch keine durchgesetzt.

adequacy: 5 fluency: 4

DeepL:

Die vier Staaten der Nation, die die so genannten Föderierten Staaten von Mikronesien bilden, stehen vor finanziellen Herausforderungen, während die Elternschaft extravagant in den Genuss eines beispiellosen Überschusses kommt, der jemals in der Geschichte dieser Nation registriert wurde. Noch bevor dieser beispiellose Überschuss erreicht wurde, gab es zahlreiche Versuche der Staats- und Regierungschefs, die Staaten vor einem weiteren Aussterben zu bewahren, und doch hat sich bis zu diesem Zeitpunkt noch keiner durchgesetzt.

adequacy: 4 fluency: 4

Text 6 (Headlines)

Marshall Islands trust fund defrauded of $1M

FSM continues to combat waste management issues through JICA project

Two convicted and three cleared of Human Trafficking crimes in Chuuk

FSM Senator delivers commencement address at Eastern Oregon University

FSM arrests first alleged violator of its expanded fishing exclusion zone

Google:

Marshall Islands Treuhandfonds von $ 1 Mio. betrogen
FSM bekämpft weiterhin Probleme im Zusammenhang mit der Abfallwirtschaft durch das JICA-Projekt
Zwei verurteilt und drei von Menschenhandel Verbrechen in Chuuk
FSM Senator liefert Startadresse an der Eastern Oregon University
FSM verhaftet ersten mutmaßlichen Verstoß gegen die erweiterte Fischereizone

adequacy: 2 fluency: 4

DeepL:

Marshall-Inseln-Trustfonds betrogen von $1M
FSM setzt mit JICA-Projekt die Abfallwirtschaftsbekämpfung fort
Zwei Verurteilte und drei von Menschenhandelsdelikten in Chuuk befreit
FSM Senator hält Antrittsrede an der Eastern Oregon University
FSM verhaftet den ersten mutmaßlichen Schädiger seiner erweiterten Fischereiausschlusszone

adequacy: 2 fluency: 4

Scientific text

Text 7 (Alastair Rae, Quantum Physics)

Our analysis of the behaviour of microscopic objects like photons shows us that contradictions arise if we attribute properties such as polarisation to them unless these have been measured. However, if quantum physics is to be a universal theory it must be applicable to the measuring apparatus also, which therefore cannot be said to be in any particular state until a measurement has been made on it in turn.

Google:

Unsere Analyse des Verhaltens mikroskopischer Objekte wie Photonen zeigt uns, dass es Widersprüche gibt, wenn wir ihnen Eigenschaften wie Polarisation zuschreiben, es sei denn, diese wurden gemessen. Wenn die Quantenphysik jedoch eine universelle Theorie sein soll, muss sie auch auf das Messgerät anwendbar sein , von dem man daher nicht sagen kann, dass es sich in einem bestimmten Zustand befindet, bis eine Messung darauf stattgefunden hat.

adequacy: 5 fluency: 4

DeepL:

Unsere Analyse des Verhaltens mikroskopischer Objekte wie Photonen zeigt uns, dass Widersprüche entstehen, wenn wir ihnen Eigenschaften wie Polarisation zuschreiben, wenn diese nicht gemessen wurden. Wenn die Quantenphysik jedoch eine universelle Theorie sein soll, muss sie auch auf die Messapparatur anwendbar sein, die sich also erst dann in einem bestimmten Zustand befinden darf, wenn an ihr gemessen wird.

adequacy: 4 fluency: 4

Comment: Both newspaper articles and technical language as well as scientific language are handled well by both systems. Strict rules, well structured, clear statements seem to be especially favourable for good translation results. The highly compressed content of headlines, on the other hand, is equally poorly understood by both systems.

Grammar

Text 8

In a month he will have her eating out of his hand

Google:

In einem Monat wird er sie aus seiner Hand essen (1)

DeepL:

In einem Monat wird er sie aus seiner Hand fressen lassen (3)

I can’t help feeling sorry for him

Google:

Ich kann nicht umhin, ihm leid zu tun (1)

DeepL:

Ich kann nicht anders, als Mitleid mit ihm zu haben. (5)

Jenny said that her parents were very well

Google:

Jenny sagte, dass ihre Eltern sehr gut waren (3)

DeepL:

Jenny sagte, ihren Eltern ging es sehr gut.(5)

Haven’t we met somewhwere before?

Google:

Haben wir uns nicht schon einmal getroffen? (5)

DeepL:

Kennen wir uns nicht schon mal?(1)

Sue hasn’t got a car and neither has Martin

Google:

Sue hat kein Auto und auch Martin (2)

DeepL:

Sue hat kein Auto und Martin auch nicht.(5)

Did you have those curtains made?

Google:

Hattest du diese Vorhänge gemacht? (1)

DeepL:

Hast du die Vorhänge machen lassen?(5)

Results (average of 6):

Google:

adequacy: 2.2 fluency: –

DeepL:

adequacy: 4.0 fluency: –

Comment: Here no fluency assessment is made for obvious reasons. Grammatical issues are far better handled by DeepL. Google Translation shows distracting errors, some of which seem to be implicit in the system.

Phrasal verbs

Text 9

I dropped in to see Chris on my way home

Google:

Ich bin vorbeigekommen, um Chris auf dem Weg nach Hause zu sehen (3)

DeepL:

Ich kam auf dem Heimweg zu Chris(5)

David fell out with his father and left home

Google:

David fiel mit seinem Vater ausf und verließ xxx (1)

DeepL:

David fiel mit seinem Vater aus und verließ sein Zuhause (2)

I wasn’t sure about this album when I bought it but it’s really grown on me.

Google:

Ich war mir über dieses Album nicht sicher, als ich es kaufte, aber es ist wirklich auf mich gewachsen. (1)

DeepL:

Ich war mir bei diesem Album nicht sicher, als ich es gekauft habe, aber es ist wirklich auf mir gewachsen. (2)

Results (average of 3):

Google:

adequacy: 1.7 fluency: –

DeepL:

adequacy: 3.0 fluency: –

Ambiguous phrases

Text 10

Time flies like an arrow; fruit flies like a banana

Google:

Die Zeit vergeht wie im flug; Frucht fliegt wie eine Banane (2)

DeepL:Die Zeit vergeht wie ein Pfeil; Fruchtfliegen wie eine Banane (1)

I drove down the windy road on a windy day

Google:

Ich fuhr die windige Straße an einem windigen Tag (2)

DeepL:

Ich fuhr an einem windigen Tag den windigen Weg hinunter (2)

Put the paper in the printer, then switch it on.

Google:

Legen Sie das Papier in den Drucker ein und schalten Sie es dann ein. (2)

DeepL:

Legen Sie das Papier in den Drucker und schalten Sie es ein.(2)

If Sam kicks the bucket, her children will be rich.

Google:

Wenn Sam den Eimer tritt, werden ihre Kinder reich sein. (1)

DeepL:

Wenn Sam ins Gras beißt, sind ihre Kinder reich. (5)

Results (average of 4):

Google:

adequacy: 1.8 fluency: –

DeepL:

adequacy: 2.5 fluency: –

Comment: I found the poor tranlation results of both the idiomatic and also the ambiguous phrases a bit surprising, that especially DeepL with it’s efficient Convolutional Neural Network and huge database has difficults with so well known phrases like „time flies like an arrow“ which is translated into the meaningless Die Zeit vergeht wie ein Pfeil;with the meaning of something like time passes, elapses as an arrow and the following fruit flies like a banana produces nonsense like

Fruchtfliegen wie eine Banane with the meaning of fruit flies pass away like a banana.

Anyway, Google produces even worse results, here the lack of „Weltwissen“ (world knowledge) turns out to be fundamental problem of MT.

Literary Text

Text 11

(Virginia Woolf – To the Lighthouse)

For now she need not think of anybody. She could be herself, by herself. And that was what now she often felt the need of – to think; well not even to think. To be silent; to be alone. All the being and the doing, expansive, glittering, vocal, evaporated; and one shrunk, with a sense of solemnity, to being oneself, a wedge-shaped core of darkness, something invisible to others… and this self having shed its attachments was free for the strangest adventures.

Google:

Für jetzt muss sie an niemanden denken. xxxSie könnte sie selbst sein. Und das war es, was sie jetzt oft das Bedürfnis verspürte – nachzudenken; gut, nicht einmal zu denken. Still sein; alleine sein. All das Wesen und das Tun, expansiv, glitzernd, stimmlich, verdunstet; und man schrumpfte mit einem Gefühl der Ernsthaftigkeit, sich selbst zu sein, ein keilförmiger Kern der Dunkelheit, etwas, das für andere unsichtbar war … und dieses Selbst, das seine Eigensinne losgelassen hatte, war frei für die seltsamsten Abenteuer.

adequacy: 2 fluency: 3

DeepL:

Im Moment muss sie an niemanden denken. Sie könnte ganz allein sein. Und das war es, was sie nun oft das Bedürfnis verspürte zu denken, ja nicht einmal zu denken. Schweigen, allein sein. Alles Sein und Tun, alles Sein und Tun, expansiv, glitzernd, lautstark, verflüchtigt; und einer schrumpfte, mit einem Gefühl von Ernsthaftigkeit, zu sich selbst zu sein, ein keilförmiger Kern der Finsternis, etwas Unsichtbares für andere… und dieses Selbst, das seine Anhaftungen abgelegt hatte, war frei für die seltsamsten Abenteuer.

adequacy: 3 fluency: 4

Comment

Literature translation are by no means the greatest challenges human translators have to face and this is where MT usually reach their limits. The results of the example above are accordingly. If I had to assess the writing skills of a student I would state something like this for the Google translation:

The writing demonstrates minimal command of language. Grammar, usage, and mechanics are often incorrect, and errors frequently impede understanding. However, DeepL shows a slightly better performance: Command of language is uneven. Grammar, usage, and mechanics are generally correct, but some errors are distracting and may occasionally impede understanding.

Results:

Chart Performance Test - Google Translate / deepL

1. Colloquial Language:

Google – adequacy: 2.7 fluency: 2.7

DeepL – adequacy: 4.7 fluency: 4.7

2. Technical Language:

Google – adequacy: 3.0 fluency: 4.0

DeepL – adequacy: 5.0 fluency: 4.0

3. Newspaper:

Google – adequacy: 5.0 fluency: 4.0

DeepL – adequacy: 4.0 fluency: 4.0

4. Headlines:

Google – adequacy: 2.0 fluency: 4.0

DeepL – adequacy: 2.0 fluency: 4.0

5. Scientific Language:

Google – adequacy: 5.0 fluency: 4.0

DeepL – adequacy: 4.0 fluency: 4.0

6. Grammar:

Google – adequacy: 2.2 fluency: –

DeepL – adequacy: 4.0 fluency: –

7. Phrasal expressions:

Google – adequacy: 1.7 fluency: –

DeepL – adequacy: 3.0 fluency: –

8. Ambiguous sentences:

Google – adequacy: 1.8 fluency: –

DeepL – adequacy: 2.5 fluency: –

9. Literatary text:

Google – adequacy: 2.0 fluency: 3.0

DeepL – adequacy: 3.0 fluency: 4.0

Final Results (average of 9/6):

Google – adequacy: 2.0 fluency: 3.7

DeepL – adequacy: 3.6 fluency: 4.1

DeepL shows significantly better results than Google, both with regard to adequacy and fluency

©Bernd Riebe – Blue Blog – RUB Bochum – The Kaselehlie Press – NOV 2017

Please follow and like us:
Getagged mit: , , ,

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

*

Wordpress Anti-Spam durch WP-SpamShield