Artigos

22: Tópico J: Modelos Exponenciais e Técnicas de Comparação de Modelos


22: Tópico J: Modelos Exponenciais e Técnicas de Comparação de Modelos

Previsão do índice de ações com base em um modelo híbrido

Prever o índice de preços do mercado de ações é uma tarefa desafiadora. O modelo de suavização exponencial (ESM), o modelo de média móvel integrado autoregressivo (ARIMA) e a rede neural de retropropagação (BPNN) podem ser usados ​​para fazer previsões com base em séries temporais. Neste artigo, uma abordagem híbrida combinando ESM, ARIMA e BPNN é proposta para ser a mais vantajosa de todos os três modelos. O peso do modelo híbrido proposto (PHM) é determinado por algoritmo genético (GA). O fechamento do Índice Integrado de Shenzhen (SZII) e a abertura do Índice Dow Jones Industrial Average (DJIAI) são usados ​​como exemplos ilustrativos para avaliar o desempenho do PHM. Os resultados numéricos mostram que o modelo proposto supera todos os modelos tradicionais, incluindo ESM, ARIMA, BPNN, o modelo híbrido de peso igual (EWH) e o modelo de passeio aleatório (RWM).

Destaques

► Um modelo híbrido combinando ESM, ARIMA e BPNN é proposto para a previsão de índices de ações. ► O peso do modelo híbrido proposto é determinado por algoritmo genético. ► Os conjuntos de dados reais para índices de ações são usados ​​como exemplos ilustrativos para mostrar os melhores desempenhos do modelo híbrido.


Uma visão geral dos métodos de previsão de demanda de energia publicados em 2005–2015

A importância da gestão da demanda de energia tem sido mais vital nas últimas décadas, pois os recursos estão diminuindo, as emissões estão aumentando e os desenvolvimentos na aplicação de energias renováveis ​​e limpas não têm sido aplicados globalmente. A previsão da demanda desempenha um papel vital na gestão da oferta-demanda de energia para governos e empresas privadas. Portanto, o uso de modelos para prever com precisão as tendências futuras de consumo de energia - especificamente com dados não lineares - é uma questão importante para os sistemas de produção e distribuição de energia. Várias técnicas foram desenvolvidas nas últimas décadas para prever com precisão o futuro do consumo de energia. Este artigo analisa vários métodos de previsão de demanda de energia que foram publicados como artigos de pesquisa entre 2005 e 2015. O escopo das aplicações e técnicas de previsão é bastante amplo, e este artigo enfoca os métodos que são usados ​​para prever o consumo de energia. As aplicações de técnicas tradicionais, como modelos econométricos e de séries temporais, juntamente com métodos de computação suave, como redes neurais, lógica fuzzy e outros modelos são revisadas no presente trabalho. Os estudos mais citados aplicaram redes neurais para prever o consumo de energia e aprovaram o notável desempenho dos modelos, mas o tempo de cálculo é muito mais do que muitos outros métodos baseados em sua estrutura sofisticada. Outro campo de pesquisa futura inclui o desenvolvimento de métodos híbridos. A literatura mostra que os métodos clássicos não podem mais resultar em produtos dominantes.

Esta é uma prévia do conteúdo da assinatura, acesso através de sua instituição.


Modelando a relação entre o rendimento do arroz e as variáveis ​​climáticas usando técnicas estatísticas e de aprendizado de máquina

Este artigo apresenta a aplicação de vários métodos estatísticos e técnicas de aprendizado de máquina para modelar a relação entre a produção de arroz e as variáveis ​​climáticas de uma grande região do Sri Lanka, que contribui significativamente para a colheita de arroz do país. Precipitação, temperatura (mínima e máxima), evaporação, velocidade média do vento (manhã e noite) e horas de insolação são os fatores climáticos considerados para a modelagem. Colheita de arroz e dados de produção nas últimas três décadas e dados climáticos mensais foram usados ​​para desenvolver o modelo de previsão através da aplicação de redes neurais artificiais (ANNs), regressão de máquina de vetor de suporte (SVMR), regressão linear múltipla (MLR), regressão de processo Gaussiano (GPR ), regressão de potência (PR) e regressão robusta (RR). O desempenho de cada modelo foi avaliado em termos de erro quadrático médio (MSE), coeficiente de correlação (R), erro percentual absoluto médio (MAPE), razão de erro quadrático médio (RSR), valor de BIAS e o número de Nash, e verificou-se que o modelo baseado em RPG é o mais preciso entre eles. Dados climáticos coletados até o início de 2019 (Maha temporada do ano de 2018) foram usados ​​para desenvolver o modelo, e uma validação independente foi realizada aplicando dados do Yala estação do ano 2019. O modelo desenvolvido pode ser usado para prever a produção futura de arroz com uma precisão muito alta.

1. Introdução

A capacidade de prever o rendimento futuro da safra facilita às autoridades responsáveis ​​a tomar as decisões mais adequadas para garantir a segurança alimentar. Como a população humana continua aumentando, o que requer o uso eficiente das terras, aumentar a produtividade seria mais importante do que aumentar a área de cultivo. O clima é um dos principais fatores fora do controle humano, que determina o rendimento da colheita. Nesse sentido, a modelagem e previsão da produtividade das culturas considerando as variáveis ​​climáticas tem se tornado um tema de pesquisa interessante.

O uso de técnicas estatísticas, bem como de algoritmos de aprendizado de máquina, para identificar a relação entre as variáveis ​​climáticas anteriores e os dados de produção é apresentado na literatura [1-3]. Como o arroz é uma fonte primária de alimento para mais da metade da população mundial, várias abordagens de pesquisa foram propostas para prever a produtividade do arroz [4]. Pesquisas semelhantes foram conduzidas para modelar a relação entre os fatores climáticos e o rendimento de algumas outras culturas, como cevada [5], milho [6], cana-de-açúcar [7], frutas cítricas [8], chá [9], coco [ 10], sorgo [11], milho e soja [12]. Vários fatores climáticos foram considerados nesses estudos de pesquisa para a aplicação de métodos estatísticos e técnicas de aprendizado de máquina.

Técnicas de regressão, máquinas de vetores de suporte (SVMs) e redes neurais artificiais (RNAs) são algumas das técnicas aplicadas para modelar a relação entre a produção de arroz e as variáveis ​​climáticas. A ANN foi aplicada com alguns parâmetros climáticos (precipitação, temperatura mínima, temperatura média e temperatura máxima) e evapotranspiração e rendimento da cultura de referência ao longo de quatro anos para prever o rendimento do arroz no estado de Maharashtra, Índia [13]. Este modelo foi validado com uma precisão de 97,5%, uma sensibilidade de 96,3% e especificidade de 98,1% através do desenvolvimento de uma rede neural perceptron multicamadas. Um trabalho de pesquisa semelhante realizado com os dados de várias áreas cultivadas com arroz no Sri Lanka provou que o modelo ANN (com MSE & lt 0,386) pode ser usado com menos tempo computacional para prever a produção futura de arroz com base em dados climáticos futuros [14]. Uma aplicação avançada de RNA integrada com regressão linear múltipla (MLR) e modelos de regressão penalizados para predição da produção de arroz com base em parâmetros climáticos na costa oeste da Índia foi apresentada por Das et al. [15]. Sua raiz quadrada média normalizada do erro variou entre 0,98 e 36,7%. As respostas da produtividade do arroz de sequeiro no Sahel, na África Ocidental, foram modeladas de acordo com fatores climáticos, usando várias técnicas, a saber, MLR, boosted tree regression e ANN [16]. De acordo com os resultados, a RNA superou as outras duas técnicas e os resultados da pesquisa concluíram que a chuva, e não a temperatura, era o principal fator climático da produção de arroz no Sahel. Um modelo híbrido de MLR-ANN produziu melhor precisão do que os modelos convencionais, ou seja, ANN, MLR, regressão de vetor de suporte (SVR), k-vizinho mais próximo (KNN) e floresta aleatória (RF) [17].

SVM é outra técnica de aprendizado de máquina comumente usada, aplicada para modelar a relação entre o rendimento do arroz e as variáveis ​​climáticas. A aplicabilidade do SVM na determinação da influência relativa de vários fatores climáticos na produção de arroz em casca no sudoeste da China foi investigada, e foi descoberto que os SVMs superaram ANN e MLR [18]. A relação entre as variáveis ​​climáticas e a produção de arroz foi quantificada pela aplicação de MLR, análise de componente principal e SVM em 36 anos de dados climáticos e de produção no sudoeste da Nigéria [19]. Concluiu a radiação solar como a variável climática de maior influência na produtividade do arroz, o que maximizou a produtividade durante os períodos de monção e pós-monção. O teste de onze combinações de dados fenológicos, climáticos e geográficos para prever a produção local de arroz no sul da China usando MLR e métodos avançados de aprendizado de máquina como rede neural de retropropagação, SVM e RF é apresentado em [20]. Foi demonstrado que os métodos de aprendizado de máquina eram mais precisos do que o MLR, e o SVM produziu a maior precisão na previsão de rendimento. Uma técnica híbrida de SVR foi aplicada para prever a produção de arroz com base no clima e dados agrícolas em Taiwan de 1995 a 2015, resultando em um RMSE médio e R 2 de 60 e 0,996 [21].

Técnicas estatísticas como MLR e regressão de processo gaussiano (RPG) também têm sido utilizadas para a previsão da produtividade do arroz. O GPR provou ser mais preciso do que o SVM com um R 2 & gt 0,75 e erro de rendimento inferior a 10%, quando foram aplicados para prever o rendimento do trigo de inverno na China com base em dados de clima e solo [22]. No entanto, os autores não encontraram nenhuma publicação de pesquisa sobre a aplicação do GPR para construir uma relação entre a produção de arroz e os dados climáticos. A aplicação do MLR para estimar o rendimento de culturas como cana-de-açúcar [7], citros [8] e chá [9] foi apresentada na literatura. Ji et al. comparou a eficácia de modelos de MLR com modelos de RNA para previsões de produção de arroz na montanhosa província de Fujian, na China [23]. Com base nos valores de R 2 e o RMSE, justificam a superioridade dos modelos de RNA (R 2 = 0,67, RMSE = 891) para previsão de rendimento precisa sobre modelos MLR.

De acordo com a literatura, RNA, regressão de máquina de vetor de suporte (SVMR) e MLR foram aplicados para prever a produção de arroz com precisão com base nas variáveis ​​climáticas. Neste artigo, é apresentada uma pesquisa conduzida para modelar a relação entre a produção de arroz e as variáveis ​​climáticas de uma grande província do Sri Lanka, que contribui significativamente para a colheita de arroz no país. Além das técnicas citadas, foram considerados nesta pesquisa o RPG, a regressão de potência (RP) e a regressão robusta (RR), que não foram ou raramente utilizadas. Como o arroz é o alimento básico no Sri Lanka, identificar uma técnica adequada para prever o rendimento é importante de várias maneiras. A seção 2 apresenta uma descrição dos dados utilizados para esta pesquisa e uma análise estatística dos mesmos. Uma breve introdução às técnicas usadas para modelagem e os critérios usados ​​para avaliar seu desempenho também são demonstrados. Na seção 3, os resultados da pesquisa são apresentados, os resultados são analisados ​​e os modelos propostos são validados. Finalmente, as conclusões são apresentadas na Seção 4.

2. Materiais e métodos

2.1. Coleção de dados

Colheita de arroz, rendimento e dados climáticos de dois distritos no Sri Lanka, a saber, Kurunegala e Puttalam, nas últimas três décadas foram coletados do Departamento de Censo e Estatística e do Departamento de Meteorologia do Sri Lanka. Dados de produção de arroz das duas principais safras agrícolas (Yala e Maha) foi considerado. Yala a temporada vai de maio a agosto, enquanto Maha a temporada vai de setembro a março do ano seguinte. Precipitação, temperatura mínima, temperatura máxima, evaporação, velocidade média do vento (manhã e noite) e horas de insolação são os fatores climáticos considerados para a modelagem. Estes dados climáticos mensais, exceto a precipitação, foram calculados em média para cada estação em ambos os distritos, e foram usados ​​com a precipitação total de cada estação. A relação não linear entre a produção de arroz e os parâmetros climáticos foi definida como dada na seguinte equação:


Resumo

Na gestão de estoque da cadeia de suprimentos, é geralmente aceito que os estoques de segurança são uma estratégia adequada para lidar com a demanda e as incertezas de suprimento com o objetivo de evitar rupturas de estoque. Os estoques de segurança têm sido objeto de intensa pesquisa, geralmente cobrindo os problemas de dimensionamento, posicionamento, gerenciamento e colocação. Aqui, restringimos o escopo da discussão ao problema de dimensionamento do estoque de segurança, que consiste em determinar o nível de estoque de segurança adequado para cada produto. Este artigo relata os resultados de uma recente revisão sistemática em profundidade da literatura (SLR) de modelos de pesquisa operacional (OR) e métodos para dimensionar estoques de segurança. Até onde sabemos, esta é a primeira revisão sistemática da aplicação de abordagens baseadas em RO para investigar esse problema. Um conjunto de 95 artigos publicados de 1977 a 2019 foi revisado para identificar o tipo de modelo empregado, bem como as técnicas de modelagem e os principais critérios de desempenho utilizados. No final, destacamos as lacunas da literatura atual e discutimos as direções e tendências de pesquisa em potencial que podem ajudar a orientar pesquisadores e profissionais interessados ​​no desenvolvimento de novas abordagens baseadas em OR para determinação de estoque de segurança.


Conteúdo

O uso da função de janela exponencial é inicialmente atribuído a Poisson [2] como uma extensão de uma técnica de análise numérica do século 17, e posteriormente adotada pela comunidade de processamento de sinais na década de 1940. Aqui, a suavização exponencial é a aplicação da função de janela exponencial, ou Poisson. A suavização exponencial foi sugerida pela primeira vez na literatura estatística sem citação do trabalho anterior de Robert Goodell Brown em 1956, [3] e então expandida por Charles C. Holt em 1957. [4] A formulação abaixo, que é comumente usada, é atribuída a Brown e é conhecida como "suavização exponencial simples de Brown". [5] Todos os métodos de Holt, Winters e Brown podem ser vistos como uma aplicação simples de filtragem recursiva, encontrada pela primeira vez na década de 1940 [2] para converter filtros de resposta ao impulso finito (FIR) em filtros de resposta ao impulso infinito.

A forma mais simples de suavização exponencial é dada pela fórmula:

Esta forma simples de suavização exponencial também é conhecida como média móvel exponencialmente ponderada (EWMA). Tecnicamente também pode ser classificado como um modelo de média móvel integrada autorregressiva (ARIMA) (0,1,1) sem termo constante. [7]

Constante de tempo Editar

Escolha do valor suavizado inicial Editar

Edição de Otimização

Para cada método de suavização exponencial, também precisamos escolher o valor dos parâmetros de suavização. Para a suavização exponencial simples, há apenas um parâmetro de suavização (α), mas para os métodos a seguir, geralmente há mais de um parâmetro de suavização.

Há casos em que os parâmetros de suavização podem ser escolhidos de maneira subjetiva - o previsor especifica o valor dos parâmetros de suavização com base na experiência anterior. No entanto, uma forma mais robusta e objetiva de obter valores para os parâmetros desconhecidos incluídos em qualquer método de suavização exponencial é estimá-los a partir dos dados observados.

Ao contrário do caso de regressão (onde temos fórmulas para calcular diretamente os coeficientes de regressão que minimizam o SSE), isso envolve um problema de minimização não linear e precisamos usar uma ferramenta de otimização para fazer isso.

Edição de nomenclatura "exponencial"

O nome 'suavização exponencial' é atribuído ao uso da função de janela exponencial durante a convolução. Não é mais atribuído a Holt, Winters e amp Brown.

Por substituição direta da equação definidora pela suavização exponencial simples de volta a si mesma, descobrimos que

Uma progressão geométrica é a versão discreta de uma função exponencial, então é aqui que o nome para esse método de suavização se originou de acordo com a tradição estatística.

Comparação com a média móvel Editar

A suavização exponencial e a média móvel têm defeitos semelhantes de introdução de um atraso em relação aos dados de entrada. Embora isso possa ser corrigido mudando o resultado pela metade do comprimento da janela para um kernel simétrico, como uma média móvel ou gaussiana, não está claro o quão apropriado isso seria para a suavização exponencial. Ambos também têm aproximadamente a mesma distribuição de erro de previsão quando α = 2/(k + 1). Eles diferem no fato de que a suavização exponencial leva em consideração todos os dados anteriores, enquanto a média móvel leva em consideração apenas k pontos de dados anteriores. Falando computacionalmente, eles também diferem em que a média móvel exige que o passado k pontos de dados, ou o ponto de dados em atraso k + 1 mais o valor de previsão mais recente, para ser mantido, enquanto a suavização exponencial só precisa do valor de previsão mais recente para ser mantido. [11]

Na literatura de processamento de sinal, o uso de filtros não causais (simétricos) é comum, e a função de janela exponencial é amplamente usada dessa maneira, mas uma terminologia diferente é usada: a suavização exponencial é equivalente a um impulso infinito de primeira ordem O filtro de resposta (IIR) e a média móvel são equivalentes a um filtro de resposta de impulso finito com fatores de ponderação iguais.

A suavização exponencial simples não funciona bem quando há uma tendência nos dados, o que é inconveniente. [1] Em tais situações, vários métodos foram desenvolvidos sob o nome de "suavização exponencial dupla" ou "suavização exponencial de segunda ordem", que é a aplicação recursiva de um filtro exponencial duas vezes, sendo assim denominado "suavização exponencial dupla". Essa nomenclatura é semelhante à suavização exponencial quádrupla, que também faz referência à sua profundidade de recursão. [12] A ideia básica por trás da suavização exponencial dupla é introduzir um termo para levar em consideração a possibilidade de uma série exibir alguma forma de tendência. Este componente de inclinação é atualizado por meio de suavização exponencial.

Um método, às vezes referido como "suavização exponencial dupla de Holt-Winters" funciona da seguinte maneira: [13]

Observe que F0 é indefinido (não há estimativa para o tempo 0), e de acordo com a definição F1=s0+b0, que é bem definido, portanto, outros valores podem ser avaliados.

Um segundo método, conhecido como suavização exponencial linear de Brown (LES) ou suavização exponencial dupla de Brown, funciona da seguinte maneira. [14]

Onde umat, o nível estimado no momento t e bt, a tendência estimada no momento t está:

A suavização exponencial tripla aplica a suavização exponencial três vezes, que é comumente usada quando há três sinais de alta frequência a serem removidos de uma série temporal em estudo. Existem diferentes tipos de sazonalidade: 'multiplicativa' e 'aditiva' por natureza, assim como a adição e a multiplicação são operações básicas em matemática.

Se todos os meses de dezembro vendermos 10.000 apartamentos a mais do que em novembro, a sazonalidade é aditivo na natureza. No entanto, se vendermos 10% mais apartamentos nos meses de verão do que nos meses de inverno, a sazonalidade é multiplicativo na natureza. A sazonalidade multiplicativa pode ser representada como um fator constante, não um valor absoluto. [15]

A suavização exponencial tripla foi sugerida pela primeira vez pelo aluno de Holt, Peter Winters, em 1960, após ler um livro de processamento de sinal da década de 1940 sobre suavização exponencial. [16] A nova ideia de Holt era repetir a filtragem um número ímpar de vezes maior que 1 e menor que 5, o que era popular entre os estudiosos de eras anteriores. [16] Embora a filtragem recursiva tenha sido usada anteriormente, ela foi aplicada duas e quatro vezes para coincidir com a conjectura de Hadamard, enquanto a aplicação tripla exigia mais do que o dobro das operações de convolução singular. O uso de uma aplicação tripla é considerado uma técnica de regra prática, ao invés de uma baseada em fundamentos teóricos e muitas vezes tem sido superestimada pelos profissionais. - Suponha que temos uma sequência de observações x t < displaystyle x_>, começando no tempo t = 0 < displaystyle t = 0> com um ciclo de mudança sazonal de comprimento L < displaystyle L>.

O método calcula uma linha de tendência para os dados, bem como índices sazonais que ponderam os valores na linha de tendência com base em onde esse ponto de tempo cai no ciclo de comprimento L < displaystyle L>.

A fórmula geral para a estimativa de tendência inicial b < displaystyle b> é:


Previsão: Princípios e Prática (2ª ed)

É importante avaliar a precisão das previsões usando previsões genuínas. Conseqüentemente, o tamanho dos resíduos não é uma indicação confiável de quão grandes são os erros verdadeiros de previsão. A precisão das previsões só pode ser determinada considerando o desempenho de um modelo em novos dados que não foram usados ​​ao ajustar o modelo.

Ao escolher os modelos, é prática comum separar os dados disponíveis em duas partes, Treinamento e teste dados, onde os dados de treinamento são usados ​​para estimar quaisquer parâmetros de um método de previsão e os dados de teste são usados ​​para avaliar sua precisão. Como os dados de teste não são usados ​​para determinar as previsões, eles devem fornecer uma indicação confiável de quão bem o modelo provavelmente fará as previsões com base nos novos dados.

O tamanho do conjunto de teste é normalmente cerca de 20% da amostra total, embora esse valor dependa de quanto tempo a amostra é e quão adiantado você deseja prever. O conjunto de teste deve ser idealmente pelo menos tão grande quanto o horizonte de previsão máximo necessário. Os seguintes pontos devem ser observados.

  • Um modelo que se ajusta bem aos dados de treinamento não necessariamente fará uma boa previsão.
  • Um ajuste perfeito sempre pode ser obtido usando um modelo com parâmetros suficientes.
  • O ajuste excessivo de um modelo aos dados é tão ruim quanto deixar de identificar um padrão sistemático nos dados.

Algumas referências descrevem o conjunto de teste como o “conjunto de validação” porque esses dados são “mantidos fora” dos dados usados ​​para ajuste. Outras referências chamam o conjunto de treinamento de "dados dentro da amostra" e o conjunto de teste de "dados fora da amostra". Preferimos usar “dados de treinamento” e “dados de teste” neste livro.

Funções para subdividir uma série temporal

A função window () introduzida no Capítulo 2 é útil ao extrair uma parte de uma série temporal, como precisamos ao criar conjuntos de treinamento e teste. Na função window (), especificamos o início e / ou o fim da parte da série temporal necessária usando valores de tempo. Por exemplo,

extrai todos os dados de 1995 em diante.

Outra função útil é subset () que permite mais tipos de subsetting. Uma grande vantagem dessa função é permitir o uso de índices para a escolha de um subconjunto. Por exemplo,

extrai os últimos 5 anos de observações de Ausbeer. Também permite extrair todos os valores de uma determinada temporada. Por exemplo,

extrai os primeiros trimestres de todos os anos.

Finalmente, cabeça e cauda são úteis para extrair as primeiras ou últimas observações. Por exemplo, os últimos 5 anos de cerveja também podem ser obtidos usando

Erros de previsão

Um “erro” de previsão é a diferença entre um valor observado e sua previsão. Aqui, “erro” não significa um erro, significa a parte imprevisível de uma observação. Pode ser escrito como [e_ = y_ - chapéu_, ] onde os dados de treinamento são fornecidos por () e os dados de teste são fornecidos por (<>, y_, dots > ).

Observe que os erros de previsão são diferentes dos resíduos de duas maneiras. Primeiro, os resíduos são calculados no Treinamento definido enquanto os erros de previsão são calculados no teste definir. Em segundo lugar, os resíduos são baseados em um passo previsões, enquanto os erros de previsão podem envolver Várias Etapas previsões.

Podemos medir a precisão da previsão resumindo os erros de previsão de diferentes maneiras.

Erros dependentes de escala

Os erros de previsão estão na mesma escala dos dados. Medidas de precisão que são baseadas apenas em (e_) são, portanto, dependentes da escala e não podem ser usados ​​para fazer comparações entre séries que envolvem unidades diferentes.

As duas medidas dependentes de escala mais comumente usadas são baseadas nos erros absolutos ou erros quadrados: [ begin exto & amp = text(| e_|), text & amp = sqrt < text(e_^ 2)>. fim] Ao comparar métodos de previsão aplicados a uma única série temporal, ou a várias séries temporais com as mesmas unidades, o MAE é popular porque é fácil de entender e calcular. Um método de previsão que minimiza o MAE levará a previsões da mediana, enquanto que minimizar o RMSE levará a previsões da média. Consequentemente, o RMSE também é amplamente utilizado, apesar de ser mais difícil de interpretar.

Erros percentuais

O erro percentual é dado por (p_ = 100 e_/ y_). Os erros de porcentagem têm a vantagem de não possuírem unidades e, portanto, são freqüentemente usados ​​para comparar desempenhos de previsão entre conjuntos de dados. A medida mais comumente usada é: [ text = text(| p_|). ] Medidas baseadas em erros percentuais têm a desvantagem de serem infinitas ou indefinidas se (y_= 0 ) para qualquer (t ) no período de interesse, e tendo valores extremos se houver (y_) está perto de zero. Outro problema com os erros de porcentagem que costuma ser esquecido é que eles assumem que a unidade de medida tem um zero significativo. 2 Por exemplo, um erro de porcentagem não faz sentido ao medir a precisão das previsões de temperatura nas escalas Fahrenheit ou Celsius, porque a temperatura tem um ponto zero arbitrário.

Eles também têm a desvantagem de colocar uma penalidade mais pesada nos erros negativos do que nos positivos. Essa constatação levou ao uso do chamado MAPE “simétrico” (sMAPE) proposto por Armstrong (1978, p. 348), o qual foi utilizado na competição de previsão do M3. É definido por [ text = text left (200 | y_ - chapéu_| / (y_+ chapéu_)certo). ] No entanto, se (y_) está perto de zero, ( hat_) também é provável que seja próximo de zero. Assim, a medida ainda envolve divisão por um número próximo a zero, tornando o cálculo instável. Além disso, o valor de sMAPE pode ser negativo, portanto, não é realmente uma medida de “erros de porcentagem absoluta”.

Hyndman & amp Koehler (2006) recomendam que o sMAPE não seja usado. Ele está incluído aqui apenas porque é amplamente utilizado, embora não o utilizemos neste livro.

Erros de escala

Erros escalonados foram propostos por Hyndman & amp Koehler (2006) como uma alternativa ao uso de erros percentuais ao comparar a precisão da previsão em séries com unidades diferentes. Eles propuseram dimensionar os erros com base no Treinamento MAE a partir de um método simples de previsão.

Para uma série temporal não sazonal, uma maneira útil de definir um erro escalonado usa previsões ingênuas: [q_ = frac < displaystyle e_> < displaystyle frac <1>soma_^ T | y_-y_|>. ] Como o numerador e o denominador envolvem valores na escala dos dados originais, (q_) é independente da escala dos dados. Um erro escalado é menor que um se resultar de uma previsão melhor do que a previsão ingênua média calculada nos dados de treinamento. Por outro lado, é maior que um se a previsão for pior do que a previsão ingênua média calculada nos dados de treinamento.

Para séries temporais sazonais, um erro escalado pode ser definido usando previsões ingênuas sazonais: [q_ = frac < displaystyle e_> < displaystyle frac <1>soma_^ T | y_-y_|>. ]

O erro médio absoluto escalado é simplesmente [ text = text(| q_|). ]

Exemplos

Figura 3.9: Previsões da produção trimestral de cerveja australiana usando dados até o final de 2007.

A Figura 3.9 mostra três métodos de previsão aplicados à produção trimestral de cerveja australiana usando dados apenas até o final de 2007. Os valores reais para o período de 2008–2010 também são mostrados. Calculamos as medidas de precisão da previsão para este período.

RMSE MAE MAPE MASE
Método médio 38.45 34.83 8.28 2.44
Método ingênuo 62.69 57.40 14.18 4.01
Método sazonal ingênuo 14.31 13.40 3.17 0.94

É óbvio a partir do gráfico que o método ingênuo sazonal é o melhor para esses dados, embora ainda possa ser melhorado, como descobriremos mais tarde. Às vezes, diferentes medidas de precisão levarão a resultados diferentes quanto ao melhor método de previsão. No entanto, neste caso, todos os resultados apontam para o método sazonal ingênuo como o melhor desses três métodos para este conjunto de dados.

Para dar um exemplo não sazonal, considere o preço das ações do Google. O gráfico a seguir mostra as 200 observações encerradas em 6 de dezembro de 2013, juntamente com as previsões para os próximos 40 dias obtidas a partir de três métodos diferentes.

Figura 3.10: Previsões do preço das ações do Google a partir de 7 de dezembro de 2013.

RMSE MAE MAPE MASE
Método médio 114.21 113.27 20.32 30.28
Método ingênuo 28.43 24.59 4.36 6.57
Método de deriva 14.08 11.67 2.07 3.12

Aqui, o melhor método é o método de deriva (independentemente de qual medida de precisão é usada).

Validação cruzada de série temporal

Uma versão mais sofisticada de conjuntos de treinamento / teste é a validação cruzada de série temporal. Neste procedimento, há uma série de conjuntos de teste, cada um consistindo em uma única observação. O conjunto de treinamento correspondente consiste apenas em observações que ocorreram anterior à observação que forma o conjunto de teste. Portanto, nenhuma observação futura pode ser usada na construção da previsão. Como não é possível obter uma previsão confiável com base em um pequeno conjunto de treinamento, as primeiras observações não são consideradas conjuntos de teste.

O diagrama a seguir ilustra a série de conjuntos de treinamento e teste, onde as observações azuis formam os conjuntos de treinamento e as observações vermelhas formam os conjuntos de teste.

A precisão da previsão é calculada pela média dos conjuntos de teste. Esse procedimento às vezes é conhecido como “avaliação em uma origem de previsão contínua” porque a “origem” na qual a previsão é baseada avança no tempo.

Com a previsão de séries temporais, as previsões em uma etapa podem não ser tão relevantes quanto as previsões em várias etapas. Nesse caso, o procedimento de validação cruzada com base em uma origem de previsão contínua pode ser modificado para permitir que erros de várias etapas sejam usados. Suponha que estejamos interessados ​​em modelos que produzem boas previsões (4 ) passo a passo. Em seguida, o diagrama correspondente é mostrado abaixo.

A validação cruzada de série temporal é implementada com a função tsCV (). No exemplo a seguir, comparamos o RMSE obtido por meio da validação cruzada de séries temporais com o RMSE residual.

Como esperado, o RMSE dos resíduos é menor, pois as “previsões” correspondentes são baseadas em um modelo ajustado a todo o conjunto de dados, ao invés de serem previsões verdadeiras.

Uma boa maneira de escolher o melhor modelo de previsão é encontrar o modelo com o menor RMSE calculado usando validação cruzada de série temporal.

Operador de tubulação

A feiura do código R acima torna esta uma boa oportunidade para introduzir algumas maneiras alternativas de encadear funções R juntas. No código acima, estamos aninhando funções dentro de funções dentro de funções, então você tem que ler o código de dentro para fora, tornando difícil entender o que está sendo calculado. Em vez disso, podemos usar o operador de pipe% & gt% da seguinte maneira.

O lado esquerdo de cada tubo é passado como o primeiro argumento para a função do lado direito. Isso é consistente com a maneira como lemos da esquerda para a direita em inglês. Ao usar tubos, todos os outros argumentos devem ser nomeados, o que também ajuda na legibilidade. Ao usar tubos, é natural usar a atribuição da seta para a direita - & gt em vez da seta para a esquerda. Por exemplo, a terceira linha acima pode ser lida como “Pegue a série goog200, passe-a para rwf () com drift = TRUE, calcule os resíduos resultantes e armazene-os como res.”

Usaremos o operador pipe sempre que ele tornar o código mais fácil de ler. Para sermos consistentes, sempre seguiremos uma função com parênteses para diferenciá-la de outros objetos, mesmo que não tenha argumentos. Veja, por exemplo, o uso de sqrt () e residuais () no código acima.

Exemplo: usando tsCV ()

Os dados goog200, plotados na Figura 3.5, incluem o preço de fechamento diário das ações do Google Inc da bolsa NASDAQ por 200 dias de negociação consecutivos a partir de 25 de fevereiro de 2013.

O código abaixo avalia o desempenho de previsão de previsões ingênuas de 1 a 8 passos à frente com tsCV (), usando MSE como medida de erro de previsão. The plot shows that the forecast error increases as the forecast horizon increases, as we would expect.

That is, a percentage is valid on a ratio scale, but not on an interval scale. Only ratio scale variables have meaningful zeros.↩︎


Introdução

Intrusion detection is the accurate identification of various attacks capable of damaging or compromising an information system. An (IDS) can be host-based, network-based, or a combination of both. A host-based IDS is primarily concerned with the internal monitoring of a computer. Windows registry monitoring, log analysis, and file integrity checking are some of the tasks performed by a host-based IDS [1]. A network-based IDS monitors and analyzes network traffic to detect threats that include Denial-of-Service (DoS) attacks, SQL injection attacks, and password attacks [2]. The rapid growth of computer networks and network applications worldwide has encouraged an increase in cyberattacks [3]. In 2019, business news channel CNBC reported that the average cost of a cyberattack was $200,000 [4].

An IDS can also be categorized as signature-based or anomaly-based. A signature-based IDS contains patterns for known attacks and is unable to detect unknown attacks. This means that the database of a signature-based IDS must be updated ad nauseam to keep up with all known attack signatures. By contrast, an anomaly-based IDS identifies deviations from normal traffic behavior. Since various machine learning approaches can generally be successfully applied to anomaly detection, it makes intuitive sense that anomaly-based intrusion detection is a productive research area.

Datasets such as CSE-CIC-IDS2018 [5] were created to train predictive models on anomaly-based intrusion detection for network traffic. CSE-CIC-IDS2018 is not an entirely new project, but part of an existing project that produces modern, realistic datasets in a scalable manner [6]. In the next three paragraphs we trace the development of this project, from the foundational dataset (ISCXIDS2012 [7]) to CSE-CIC-IDS2018.

Created in 2012 by the Information Security Centre of Excellence (ISCX) at the University of New Brunswick (UNB) over a seven-day period, ISCXIDS2012 contains both normal and anomalous network traffic. The dataset contains several attack types (e.g. DoS, Distributed Denial-of-Service (DDoS), and brute force), but these have all been labeled as “attack” [8]. ISCXIDS2012 is big data, with 20 independent features and 2,450,324 instances, of which roughly 2.8% typifies attack traffic. Big data is associated with specific properties, such as volume, variety, velocity, variability, value, and complexity [9]. These properties may make classification more challenging for learners trained on big data. Hereafter, “ISCXIDS2012” will be referred to as “ISCX2012” throughout the text.

In 2017, the creators of ISCX2012 and the Canadian Institute of Cybersecurity (CIC) acted on the fact that the dataset was limited to only six traffic protocols (HTTP, SMTP, SSH, IMAP, POP3, FTP). A case in point was the lack of representation of HTTPS, an important protocol accounting for about 70% of current network traffic in the real world [5]. Also, the distribution of simulated attacks did not conform to reality. CICIDS2017, which contains five days of network traffic, was released to remedy the deficiencies of its predecessor. Among the many benefits of this new dataset, the high number of features (80) facilitates machine learning. CICIDS2017 contains 2,830,743 instances, with attack traffic amounting to about 19.7 % of this total number. The dataset has a class imbalance and a wider range of attack types than ISCX2012. Class imbalance, which is a phenomenon caused by unequal distribution between majority and minority classes, can skew results in a big data study. At a granular level, CICIDS2017 has a high class imbalance with respect to some of the individual attack types. High class imbalance is defined by a majority-to-minority ratio between 100:1 and 10,000:1 [10].

The Communications Security Establishment (CSE) joined the project, and in 2018, the latest iteration of the intrusion detection dataset was released, CSE-CIC-IDS2018. The updated version also has a class imbalance and is structurally similar to CICIDS2017. However, CSE-CIC-IDS2018 was prepared from a much larger network of simulated client-targets and attack machines [11], resulting in a dataset that contains 16,233,002 instances gathered from 10 days of network traffic. About 17% of the instances is attack traffic. Table 1 shows the percentage distribution for the seven types of network traffic represented by CSE-CIC-IDS2018. Hereafter, “CSE-CIC-IDS2018” and “CICIDS2018” will be used interchangeably throughout the text. The dataset is distributed over ten CSV files that are downloadable from the cloud. Footnote 1 Nine files consist of 79 independent features, and the remaining file consists of 83 independent features.

Our exhaustive search for relevant, peer-reviewed papers ended on September 22, 2020. To the best of our knowledge, this is the first survey to exclusively present and analyze intrusion detection research on CICIDS2018 in such detail. CICIDS2018 is the most recent intrusion detection dataset that is big data, publicly available, and covers a wide range of attack types. The contribution of our survey centers around three important findings. In general, we observed that the best performance scores for each study, where provided, were unusually high. This may be a consequence of overfitting. The second finding deals with the apparent lack of concern in most studies for the class imbalance of CICIDS2018. Finally, we note that for all works, the data cleaning of CICIDS2018 has been given little attention, a shortcoming that could hinder reproducibility of experiments. Data cleaning involves the modification, formatting, and removal of data to enhance dataset usability [12].

The remainder of this paper is organized as follows: "Research papers using CICIDS2018" section describes and analyzes the compiled works "Discussion of surveyed works" section discusses survey findings, identifies gaps in the current research, and explains the performance metrics used in the curated works and "Conclusion" section concludes with the main points of the paper and offers suggestions for future work.


Avaliação

Model selection is a problem involved in almost every machine learning project. One way to do this, is to split the data into train and test sets and compute some error metric on the test set after learning model on the train. This procedure is, however, different from random train-test split often used in machine learning. Having time series data, one cannot simply pick random points — instead we put all observations before some split point to train set and the rest to test set. This reflects how our models are used in reality — we learn on historical data and then forecast future.

Another approach is to use time series cross validation (aka rolling forecast origin procedure) — we create many train-test splits with different split points, and then evaluate the model on each split.

Natural question that arises is what metric one should use to tell how well the model in question performs. Os mais populares são

  • Mean absolute error, which tells how much on average our forecasts differ from true values,
  • Mean absolute percentage error, which tells how much % predictions differ from true values.

Apple vs. Samsung: Endless Patent Lawsuits

The most acerbic interactions between Samsung and Apple take place in intellectual property rights court, where Apple has repeatedly reached into its bag of litigation tricks to assail Samsung for patent infringement. Lawsuits are a common strategy from Apple, which is one of the most legally aggressive firms in the world, but the focus on Samsung is particularly repetitive and intense.

The first salvo was fired in 2011 when Apple, already entangled with Motorola at the time, went after Samsung for its design of tablets and smartphones. The first claim came in April, and by August 2011, there were 19 ongoing Apple versus Samsung cases in nine separate countries. The count reached more than four dozen by mid-2012, with each company claiming billions of dollars in damages. Each firm won multiple decisions against the other between 2012 and 2015, often in conflicting rulings from German, Japanese, South Korean, American, French, Italian, Dutch, British, and Australian courts.

Amusingly, the rapid nature of technological advancement often leaves the comparatively dinosaur-like legal system in the dust. For example, Apple won an initial ruling in 2012 that targeted more than a dozen Samsung phones, but the appeals and countersuit process dragged out until 2014 when virtually every single target model was out of production. For this reason, the real damage is not on the production line, but rather in the mountain of legal costs incurred by Samsung and Apple around the world.

There are still some production or distribution victories. In August 2011, for instance, a court in Germany issued an EU-wide injunction on the Samsung Galaxy Tab 10.1 device for violation of an Apple interface patent. Samsung fought back and had the injunction reduced to only German markets, but it was still a victory for Apple. A similar injunction was successful in Australia.


Assista o vídeo: Inequações Exponenciais - Aula 3 (Outubro 2021).