Megatron-LM – Massive Transformer Language Model von NVIDIA. 7.3Milliarden Parameter wurde auf 512GPUs 9 Tage trainiert. Google-Bert, Bidirectional Encoder Representations from Transformers. Steht seit Dezember […]

Adam ist schnell aber tendiert zu over-fitting SGD ist langsam aber erzielt bessere Resultate RMSProp scheint manchmal die beste Wahl SWA kann die Qualität verbessern […]

Verschiedene Einstiegsseiten Chritopher Ohla über LSTM gibt einen kurzen Einblick in den inneren Aufbau einer LSTM-Zelle. Es werden verschiedene Varianten wie das Gated Recurrent Unit […]

Um die Liste der Worte eines Textes zu erstellen gibt es in Keras einen Tokenizer In diesem Beispiel wird im Tokenizer-Konstruktor ein optionales Argument oov_token […]

Einen Autoencoder könnte man sich entfernt wie die Identität-Funktion vorstellen: mit und Das ist aber schon die einzige Ähnlichkeit zur Id-Abbildung. Ein Autoencoder besteht im […]

1-hot encoding Jedes Wort wird als Vektor dargestellt. Die Dimension entspricht der Anzahl der unterschiedlichen Wörter im betrachteten Corpus. Beispiel: „ich werde es versuchen aber […]