批量推理时结果异常 #98
Description
给 LLaMA2-7B 调用 model.generate 函数做推理，"do_sample":False，
如果batch_size=1，则结果很好，
如果batch_size>1，则结果异常，
使用 trainer.predict 批量推理出的结果也是异常的。
#请问大佬们遇到过这种情况吗？
{{ message }}
给 LLaMA2-7B 调用 model.generate 函数做推理，"do_sample":False，
如果batch_size=1，则结果很好，
如果batch_size>1，则结果异常，
使用 trainer.predict 批量推理出的结果也是异常的。
#请问大佬们遇到过这种情况吗？