2021.2

Big Data e Astroinformática:

Exercícios:

1. Crie uma nova coluna a partir de um catálogo FITS e salve o novo catálogo

2. Estime a magnitude limite do catálogo fornecido. Use a relação entre mag_err e S/N

sextractor file_name.fits -c config.sex -PARAMETERS_NAME sex.param -CATALOG_NAME output.fits -CATALOG_TYPE FITS_1.0 -GAIN 8116 -PIXEL_SCALE 0.06 -SEEING_FWHM 0.1 -MAG_ZEROPOINT 25.6651 -PHOT_FLUXFRAC 0.682 -DEBLEND_MINCONT 0.0015 -DEBLEND_NTHRESH 32

Você deve criar seu próprio arquivo sex.param. Consulte a documentação do Source Extraction.

Para a aula de terça-feira, 28 de setembro, instale:

4. Derive sua constante de Hubble a partir de diversos conjuntos de dados hubble_fit_data

5. Demonstre que um ajuste por mínimos quadrados ordinários é equivalente a uma máxima verossimilhança de uma variável gaussiana com modelo linear

6. Demonstre que o método da máxima verossimilhança para uma variável de Bernoulli com modelo linear é equivalente a minimizar a entropia cruzada entre previsões e variáveis observadas.

7. Demonstre que o mínimo da entropia cruzada é obtido quando as duas probabilidades são iguais.

Projetos propostos para 2020.b

1- Nem tão few, nem tão Big. Qual é o limite de poucos dados que podemos treinar e convergir um conjunto de modelos de identificação de arcos gravitacionais (Imagens)?

2- Qual é o limite de detecção de uma lente gravitacional (imagens)?

3 - Few shot learning para classificação de lentes gravitacionais (imagens).

4 - Modelo para separação estrela/galáxia (tabular/imagens).

5 - Incerteza para regressão em lentes gravitacionais. (modelagem inversa em imagens).

6 - Detecção de Exoplanetas https://www.kaggle.com/keplersmachines/kepler-labelled-time-series-data (sequência)

7 - Classificação morfológica de galáxias com Deep Learning https://www.kaggle.com/c/galaxy-zoo-the-galaxy-challenge/data (imagens)

8 - Classificação de transientes com fotometria https://www.kaggle.com/c/PLAsTiCC-2018 (sequência)

9 - Detecção de fraudes em cartão de crédito https://www.kaggle.com/mlg-ulb/creditcardfraud (tabular)

10 - Detecção de Pneumonia https://www.kaggle.com/paultimothymooney/chest-xray-pneumonia (imagens)

11 - Previsão de mortalidade por parada cardíaca https://www.kaggle.com/andrewmvd/heart-failure-clinical-data/ (tabular)

12 - Previsão da qualidade do vinho https://www.kaggle.com/uciml/red-wine-quality-cortez-et-al-2009/ (tabular)

13 - Classificação de batimentos cardíacos https://www.kaggle.com/kinguistics/heartbeat-sounds (áudio)

14 - Análise de sentimentos via áudio https://www.kaggle.com/uwrfkaggler/ravdess-emotional-speech-audio (áudio)

15 - Segmentação de CT para detecção de COVID-19 https://www.kaggle.com/andrewmvd/covid19-ct-scans (Imagens / Segmentação semântica)

Tarefas

Tarefa 1 - Diagnóstico de diabetes Dataset para diagnóstico

Tarefa 2 - Primeira rede densa com MNIST

Tarefa 3 - Primeira rede CNN com MNIST

Tarefa 4 - Classificação em um mini-desafio:

Parte 2: Avalie seus resultados gerando uma curva ROC e calculando sua área.

Parte 3: Avalie a robustez do seu resultado redefinindo aleatoriamente os samples de treinamento e teste e calcule o desvio padrão e a média da curva.

Parte 4: Avalie o overfitting da sua rede.

Parte 5: Adicione mais um bloco Conv+ReLu+Maxpool e refaça o passo 3. O resultado melhorou ou piorou? Você consegue obter alguma intuição desse resultado?

Tarefa 5 - Primeiro desafio no kaggle: https://www.kaggle.com/c/titanic/overview/evaluation

Tarefa 6 - Faça você mesmo:

Objetivo: Sem ajuda do Keras ou Tensorflow, implemente e treine uma rede do zero com poucas camadas em Python.

Tarefa 7 - Regressão no kaggle: https://www.kaggle.com/c/house-prices-advanced-regression-techniques

1. Construa um modelo com Random Forest

2. Construa um modelo com LightGBM

3. Faça um Ensemble

Tarefa 8 - Aplique uma arquitetura ao dataset do desafio de Lentes Gravitacionais e compare.

Tarefa 9 - Séries temporais com Deep Learning

1 - Siga o tutorial em: aboveintelligent.com https://aboveintelligent.com/time-series-analysis-using-recurrent-neural-networks-lstm-33817fa4c47a

2 - Siga o tutorial em: Kaggle https://www.kaggle.com/amirrezaeian/time-series-data-analysis-using-lstm-tutorial

3 - Implemente uma LSTM para o desafio de classificação de chuvas https://www.kaggle.com/c/how-much-did-it-rain#description
Implemente a solução vencedora: https://github.com/danzelmo/how-much-did-it-rain
Compare com seu modelo usando a métrica oficial: https://www.kaggle.com/c/how-much-did-it-rain#evaluation

Tarefa 10 - AE vs PCA

Demonstre que PCA equivale a AE com funções lineares sob uma função de perda específica.

Introdução à Metodologia Científica

Introdução à Metodologia Científica de Metodologia UFSM (Unidade 1 e 2)Apostila Metodologia (Capes) (Unidade 1 e 2)

P2:

Temas para seminários, grupos de no máximo 4 pessoas - 20 min

Movimentos anticiência: A terra é plana
Movimentos anticiência: movimento anti-Vacinas
Teoria da Evolução x Design Inteligente
A partir do método científico, e de observações acessíveis e reprodutíveis, discuta o Heliocentrismo.
Alimentos transgênicos à luz da ciência: eles fazem mal?
Movimentos e sabedorias que se julgam ter respaldo científico à luz da ciência: Homeopatia
Movimentos e sabedorias que se julgam ter respaldo científico à luz da ciência: Cura Quântica
Aquecimento Global

Material complementar:

A Terra é Plana - Documentário
Ponto de Mutação - Filme
O Nome da Rosa - Filme
Por que a filosofia é importante no ensino de ciência nas universidades? - Coluna Ilustríssima da Folha de SP
Não existem ciência exata (e vamos combinar que todas são humanas)
Why do I teach Plato to plumbers
Filosofia da ciência e Ensino de ciências: uma analogia - Alberto Villani

2018.2

• Deep Learning
• Eletricidade Básica
• Introdução a Metodologia Científica
• Tim 4
• Tim 2

Deep Learning

Tarefa 1 (classificação):
https://bitbucket.org/kognitalab/images_mini_challange/src/master/
Parte 2: Avalie seus resultados gerando uma curva ROC e calculando sua área.
Parte 3: Avalie a robustez do seu resultado redefinindo randomicamente os samples de treinamento e teste pelo menos 10-20 vezes e calculando o desvio padrão e a média da curva.
Parte 4: Avalie o overfitting da sua rede.
Parte 5: Adicione mais um bloco Conv+ReLu+Maxpool e refaça o passo 3.

Tarefa 2 (regressão):
Onde está o Wally (Where is Waldo)?
Objetivo: Dado um conjunto de imagens, construir uma rede que contenha uma ocorrência que identifique onde ela se encontra, isto é, definir 4 parâmetros: xmin, ymin, xmax, ymax.
Os dados estão disponíveis em: /home/Dados/GeoSimula
Avalie os seus resultados com um plot de completeza x distância ao centróide. Calcule a área dessa figura. Também produza alguns exemplos de imagens com as caixas delimitadoras.
Agora, se você realmente quer encontrar o Wally, entre em: findingwally.pythonanywhere.com

Tarefa 3 (Do it yourself!):
Objetivo: Sem ajuda do Keras ou Tensorflow, parta apenas do Python e implemente e treine uma rede com poucas camadas “from scratch”.
Use o exemplo em: https://machinelearningmastery.com/implement-backpropagation-algorithm-scratch-python/
Desafio: Implemente uma camada convolucional e faça um Python notebook utilizando o seu exemplo.
Parte 2: Compare o seu resultado com uma rede idêntica criada e treinada no Keras/Tensorflow.

Tarefa 4:
Aplique uma arquitetura que você utilizou no dataset da Tarefa 01 (com as devidas adaptações)...

Tarefa 5 - Time Series:
1 - Siga o tutorial em: aboveintelligent.com - LSTM Tutorial
2 - Siga o tutorial em: Kaggle - LSTM Time Series Tutorial
3 - Implemente uma rede recorrente (LSTM) para o challenge de classificação de chuvas: Kaggle - How much did it rain?
Faça a sua própria implementação da solução vencedora: GitHub - danzelmo
e compare com o desempenho da sua utilizando a métrica: Kaggle - Evaluation

Tarefa 6 - AE vs PCA:
Demonstre que uma PCA equivale a um AutoEncoder com funções lineares em uma escolha particular de função de perda (loss function).

Leitura recomendada:
Introduction to Convolutional Neural Networks - Wu
A Beginner’s Guide To Understanding Convolutional Neural Networks
The Deep Learning Book

Ferramentas sugeridas:
Tensorflow, Anaconda Python 2.X ou 3.X, Keras, Jupyter

Leitura complementar:
Planes don’t flap their wings: does AI work like a brain?

Datas importantes:

Limite para definição do seu projeto - 29/08
Entrega do resumo do trabalho - 26/09
Seminários com resultados preliminares - 24/10 e 31/10
Código atualizado no GitHub - 14/12
NT submetida - 14/12

O trabalho de final de curso deverá ser submetido (pelo menos) à revista Notas Técnicas: http://revistas.cbpf.br/index.php/nt/about/submissions#authorGuidelines

Introdução a Metodologia Científica (Eng. Produção)

Material complementar:
Por que a filosofia é importante no ensino de ciência nas universidades? - Folha de SP
Não existem ciência exata (e vamos combinar que todas são humanas)
Why do I teach Plato to plumbers
Filosofia da ciência e Ensino de ciências: uma analogia - Alberto Villani

Temas sugeridos para os debates:
Caso Galileu e Giordano Bruno Design inteligente x Teoria da Evolução Terra Plana x Terra redonda O homem foi à Lua? Celular causa câncer? Alimentos transgênicos fazem mal? Vacinas causam mais doenças do que previnem

Regras:
Não poderão ser usados argumentos baseados em tecnologia inacessível... Todos os argumentos devem ter fontes e ser demonstráveis.

Datas para os debates:
04/10 - Terra Plana x Terra redonda / O homem foi à Lua? 11/10 - Alimentos transgênicos / Design inteligente 18/10 - Vacinas / Celular causa câncer?

Tim 2
lista01
lista02
lista03

Tim 4
lista01
lista02 - Gravitação
Observação: Em alguns problemas dessa lista vocês poderão usar valores obtidos na internet como:
https://pt.wikipedia.org/wiki/Terra
https://pt.wikipedia.org/wiki/Lua

Aviso: Não haverá aula nos dias 05/10 (sexta-feira) e 26/10 (sexta-feira).