Pular para o conteúdo
Odoo Menu
  • Entrar
  • Experimente grátis
  • Aplicativos
    Finanças
    • Financeiro
    • Faturamento
    • Despesas
    • Planilhas (BI)
    • Documentos
    • Assinar Documentos
    Vendas
    • CRM
    • Vendas
    • PDV Loja
    • PDV Restaurantes
    • Assinaturas
    • Locação
    Websites
    • Criador de Sites
    • e-Commerce
    • Blog
    • Fórum
    • Chat ao Vivo
    • e-Learning
    Cadeia de mantimentos
    • Inventário
    • Fabricação
    • PLM - Ciclo de Vida do Produto
    • Compras
    • Manutenção
    • Qualidade
    Recursos Humanos
    • Funcionários
    • Recrutamento
    • Folgas
    • Avaliações
    • Indicações
    • Frota
    Marketing
    • Redes Sociais
    • Marketing por E-mail
    • Marketing por SMS
    • Eventos
    • Automação de Marketing
    • Pesquisas
    Serviços
    • Projeto
    • Planilhas de Horas
    • Serviço de Campo
    • Central de Ajuda
    • Planejamento
    • Compromissos
    Produtividade
    • Mensagens
    • Aprovações
    • Internet das Coisas
    • VoIP
    • Conhecimento
    • WhatsApp
    Aplicativos de terceiros Odoo Studio Plataforma Odoo Cloud
  • Setores
    Varejo
    • Loja de livros
    • Loja de roupas
    • Loja de móveis
    • Mercearia
    • Loja de ferramentas
    • Loja de brinquedos
    Comida e hospitalidade
    • Bar e Pub
    • Restaurante
    • Fast Food
    • Hospedagem
    • Distribuidor de bebidas
    • Hotel
    Imóveis
    • Imobiliária
    • Escritório de arquitetura
    • Construção
    • Administração de propriedades
    • Jardinagem
    • Associação de proprietários de imóveis
    Consultoria
    • Escritório de Contabilidade
    • Parceiro Odoo
    • Agência de marketing
    • Escritório de advocacia
    • Aquisição de talentos
    • Auditoria e Certificação
    Fabricação
    • Têxtil
    • Metal
    • Móveis
    • Alimentação
    • Cervejaria
    • Presentes corporativos
    Saúde e Boa forma
    • Clube esportivo
    • Loja de óculos
    • Academia
    • Profissionais de bem-estar
    • Farmácia
    • Salão de cabeleireiro
    Comércio
    • Handyman
    • Hardware e Suporte de TI
    • Sistemas de energia solar
    • Sapataria
    • Serviços de limpeza
    • Serviços de climatização
    Outros
    • Organização sem fins lucrativos
    • Agência Ambiental
    • Aluguel de outdoors
    • Fotografia
    • Aluguel de bicicletas
    • Revendedor de software
    Navegar por todos os setores
  • Comunidade
    Aprenda
    • Tutoriais
    • Documentação
    • Certificações
    • Treinamento
    • Blog
    • Podcast
    Empodere a Educação
    • Programa de educação
    • Scale Up! Jogo de Negócios
    • Visite a Odoo
    Obtenha o Software
    • Baixar
    • Comparar edições
    • Releases
    Colaborar
    • Github
    • Fórum
    • Eventos
    • Traduções
    • Torne-se um parceiro
    • Serviços para parceiros
    • Cadastre seu escritório contábil
    Obtenha os serviços
    • Encontre um parceiro
    • Encontre um Contador
    • Conheça um consultor
    • Serviços de Implementação
    • Referências de Clientes
    • Suporte
    • Upgrades
    Github YouTube Twitter Linkedin Instagram Facebook Spotify
    +1 (650) 691-3277
    Faça uma demonstração
  • Preços
  • Ajuda

Odoo is the world's easiest all-in-one management software.
It includes hundreds of business apps:

  • CRM
  • e-Commerce
  • Financeiro
  • Inventário
  • PoS
  • Projeto
  • MRP
All apps
É necessário estar registrado para interagir com a comunidade.
Todas as publicações Pessoas Emblemas
Marcadores (Ver tudo)
odoo accounting v14 pos v15
Sobre este fórum
É necessário estar registrado para interagir com a comunidade.
Todas as publicações Pessoas Emblemas
Marcadores (Ver tudo)
odoo accounting v14 pos v15
Sobre este fórum
Ajuda

high volume of data failed to generate report

Inscrever

Seja notificado quando houver atividade nesta publicação

Esta pergunta foi sinalizada
postgresvolumehightuning
4 Respostas
9148 Visualizações
Avatar
Akhmad Daniel Sembiring

hi All,

Currently we have around 350,000 lines of account_move_line and 60,000 lines of account_move, and it;s increasing shortly. Those records belongs to a single partner.

my OpenERP system was failed just to generate "General Ledger" and "Partner Ledger" report from all those records. the browser is just displaying loading message with no end. All other simple reports with only few pages of PDF are fine.

my server has 6GB of RAM, 12 cores CPU, running CentOS 6 linux.

i have done openerp, postgresql and linux kernel tuning as follows:

Linux:

kernel.shmmax = 68719476739
kernel.shmall = 16777216
kernel.shmmni = 4096

Postgres:

shared_buffers = 4GB  
temp_buffers = 500MB
default_statistics_target = 100
maintenance_work_mem = 480MB
checkpoint_completion_target = 0.9
effective_cache_size = 6GB
work_mem = 50MB
wal_buffers = 16MB
checkpoint_segments = 64

OpenERP:

workers = 25
limit_request = 100000
osv_memory_age_limit = 1.0
limit_time_real = 240
limit_time_cpu = 600
limit_memory_hard = 6442450944
limit_memory_soft = 3221225472

but still no luck generating those reports. any help or clue will be very appreciated

thanks

1
Avatar
Cancelar
Avatar
Jagadish
Melhor resposta

Developer can try to get big data like more than 160000 lines in xlsx report 
Using controllers Get data (To get Data Use Query) and prepare or arrange the data using 

call controllers from python or JS 

import io
import xlsxwriter


 finally close the workbook and 
change the arranged data has like bytes 

output = io.BytesIO() 
workbook = xlsxwriter.Workbook(output, {'in_memory': True})
worksheet = workbook.add_worksheet()

workbook.close()
output.seek(0)
return output.getvalue()

and In controllers return make_response as


@http.route('/big_data_xlsx_report', type='http', auth='user', methods=['POST'], csrf=False) 
def get_report_xlsx(self, model, output_format, report_data, report_name, **kw):
uid = request.session.uid
report_obj = request.env[model].with_user(uid)
load_data = json.loads(report_data)
try:
if output_format == 'xlsx':
cell_data = report_obj.get_report_data(load_data)
report_bytes = report_obj.prepare_report(call_data)
response = request.make_response(
report_bytes,
headers=[
('Content-Type', 'application/vnd.openxmlformats-officedocument.spreadsheetml.sheet'),
('Content-Disposition', content_disposition(report_name + '.xlsx'))
]
)
response.set_cookie('fileToken', 'dummy-because-api-expects-one')
return response
except Exception as e:
se = _serialize_exception(e)
error = {
'code': 200,
'message': 'Odoo Server Error',
'data': se
}
return request.make_response(html_escape(json.dumps(error)))

with fraction of seconds user can get big data in report





0
Avatar
Cancelar
Avatar
sraps
Melhor resposta

For high volume reporting tasks you should use Aeroo Reports and it's support for deferred tasks. Original reports are usable only with low volume data. Even if normally report would time out, if report is run as a deferred process, it would create background task. Once completed it would store the report along the task.

More over the deferred processing module + Aeroo Reports would work transparently, you can set a threshold for each report, to initiate deferred task, if not exceeded it would run Aeroo report as usual - without creating deferred task.

You can integrate other long running processes to be used as deferred tasks, like mass recalculations etc.

Ok there is one "problem" - you need to redevelop "original" reports into Aeroo.

BR Kaspar

0
Avatar
Cancelar
Akhmad Daniel Sembiring
Autor

hi Kaspar, currently i used webkit report, do you think it's the same as RML report in performance?

Avatar
Rohit Thakral
Melhor resposta

Hi Akhmad,

We upgraded our server and created a swap space of 8GB which allowed us to run a 700+ page long General Ledger Report.

The suggestion of Aeroo reports is good and we were thinking of converting the GL report to HTML (and not PDF). It seems it is convert to PDF which was causing problems and not fetching the data.

HTH Rohit

0
Avatar
Cancelar
Akhmad Daniel Sembiring
Autor

Hi Rohit did you mean creating swap space of 8GB on the OS/Linux? what is the size of PDF generated in your case?

Thanks

Avatar
Akhmad Daniel Sembiring
Autor Melhor resposta

Hi Rohit did you mean creating swap space of 8GB on the OS/Linux? what is the size of PDF generated in your case?

Thanks

0
Avatar
Cancelar
Está gostando da discussão? Não fique apenas lendo, participe!

Crie uma conta hoje mesmo para aproveitar os recursos exclusivos e interagir com nossa incrível comunidade!

Inscreva-se
Publicações relacionadas Respostas Visualizações Atividade
high volume of data failed to generate report
postgres volume high tuning
Avatar
Avatar
1
fev. 16
7243
Problems with Docker volumes Resolvido
postgres volume Docker
Avatar
Avatar
1
dez. 21
9305
In debian package v8, can't set database name
postgres
Avatar
Avatar
Avatar
3
fev. 24
6655
Killing idle postgres processes Resolvido
postgres
Avatar
Avatar
8
fev. 21
16431
Odoo 11 is slow to backup because of multiple postgres processes
postgres
Avatar
0
fev. 21
2676
Comunidade
  • Tutoriais
  • Documentação
  • Fórum
Open Source
  • Baixar
  • Github
  • Runbot
  • Traduções
Serviços
  • Odoo.sh Hosting
  • Suporte
  • Upgrade
  • Desenvolvimentos personalizados
  • Educação
  • Encontre um Contador
  • Encontre um parceiro
  • Torne-se um parceiro
Sobre nós
  • Nossa empresa
  • Ativos da marca
  • Contato
  • Empregos
  • Eventos
  • Podcast
  • Blog
  • Clientes
  • Legal • Privacidade
  • Segurança
الْعَرَبيّة Català 简体中文 繁體中文 (台灣) Čeština Dansk Nederlands English Suomi Français Deutsch हिंदी Bahasa Indonesia Italiano 日本語 한국어 (KR) Lietuvių kalba Język polski Português (BR) română русский язык Slovenský jazyk slovenščina Español (América Latina) Español ภาษาไทย Türkçe українська Tiếng Việt

Odoo é um conjunto de aplicativos de negócios em código aberto que cobre todas as necessidades de sua empresa: CRM, comércio eletrônico, contabilidade, estoque, ponto de venda, gerenciamento de projetos, etc.

A proposta de valor exclusiva Odoo é ser, ao mesmo tempo, muito fácil de usar e totalmente integrado.

Site feito com

Odoo Experience on YouTube

1. Use the live chat to ask your questions.
2. The operator answers within a few minutes.

Live support on Youtube
Watch now