神经网络
matlab
注册中心
gcc
Java开发
三十
正则
龙蜥
协变，回避虚函数，特殊虚函数
外贸独立站
session_key
定时同步
数字IC
Junit的特点
智能指针
IL汇编
SAP PI接口归档
dw网页设计
go-cron
轮廓
文本生成
2024/4/12 8:59:59
用强化学习神包trl轻松实现GPT2可控文本生成
来源：投稿 作者：Sally can wait 编辑：学姐 模型github: lvwerra/trl: Train transformer language models with reinforcement learning. (github.com)https://github.com/lvwerra/trl
这个项目是复现 ”Fine-Tuning Language Models from H…
大语言模型控制生成的过程Trick：自定义LogitsProcessor实践
前言
在大模型的生成过程中，部分原生的大语言模型未经过特殊的对齐训练，往往会“胡说八道”的生成一些敏感词语等用户不想生成的词语，最简单粗暴的方式就是在大模型生成的文本之后，添加敏感词库等规则手段进行敏感词过滤…
NeurIPS 2020|RAG：为知识密集型任务而生
NeurIPS 2020|RAG：检索系统助攻生成器
背景
今天主要介绍一项Facebook AI Research发表于NeurIPS 2020(12月才召开，大家耐心等待哈) 的成果：RAG。
虽然NLP在过去几年中突飞猛进，从为特定任务设计定制化的框架，再到如…
开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2、Seq2Seq、BART、T5、SongNet等模型，开箱即用
开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2、Seq2Seq、BART、T5、SongNet等模型，开箱即用 TextGen: Implementation of Text Generation models
1.介绍
TextGen实现了多种文本生成模型，包括&a…
【AI视野·今日NLP 自然语言处理论文速览 第五十六期】Tue, 17 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Tue, 17 Oct 2023 (showing first 100 of 135 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Step-by-Step Remediation of Students Mathematical Mistakes Authors…
Python WikiGPT代码，GPT代码实战，逐行讲解GPT代码，教你完整写完GPT代码，GPT代码模板，一文教你学会写GPT代码
1.GPT基本介绍 在GPT1诞生之前，NLP领域已存在多种任务，比如文本分类、语义相似度，以及问答等，这些任务的共同点在于它们都是有监督学习，且各自维护不同的量级较小的训练语料。OpenAI为了进一步提升这些任务的预测效果&…
【AI视野·今日NLP 自然语言处理论文速览 第六十期】Mon, 23 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Mon, 23 Oct 2023 (showing first 100 of 108 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Exploring Linguistic Probes for Morphological Generalization Autho…
【古诗生成AI实战】之一——实战项目总览
[1] 总览 【古诗生成AI实战】系列共五篇文章： 【古诗生成AI实战】之一——实战项目总览 【古诗生成AI实战】之二——项目架构设计 【古诗生成AI实战】之三——任务加载器与预处理器 【古诗生成AI实战】之四——模型包装器与模型的训练 【古诗生成AI…
生成多样、真实的评论(2019 IEEE International Conference on Big Data )
论文题目（Title）：Learning to Generate Diverse and Authentic Reviews via an Encoder-Decoder Model with Transformer and GRU
研究问题（Question）：评论生成，由上下文评论->生成评论
研…
【AI视野·今日NLP 自然语言处理论文速览 第六十五期】Mon, 30 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Mon, 30 Oct 2023 Totally 67 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
An Approach to Automatically generating Riddles aiding Concept Attainment Authors Niharika Sri Parasa,…
GPT实战系列-探究GPT等大模型的文本生成
GPT实战系列-探究GPT等LLM文本生成
GPT专栏文章：
GPT实战系列-Baichuan2等大模型的计算精度与量化-CSDN博客
GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF-CSDN博客
GPT实战系列-ChatGLM3本地部署CUDA111080Ti…
【AI视野·今日NLP 自然语言处理论文速览 第六十四期】Fri, 27 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Fri, 27 Oct 2023 Totally 80 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free Deep Learning Studies: A Case …
kaggle竞赛-Stable Diffusion数据分析与baseline
你的目的是来预测我们生成图像的提示词
1.比赛目标
这个竞赛的目标不是从文本提示生成图像，而是创建一个模型，可以在给定生成图像的情况下预测文本提示（你有一堆提示词，你预测是否该提示词参与了图像的生成）?您将在…
【AI视野·今日NLP 自然语言处理论文速览 第三十九期】Fri, 22 Sep 2023
AI视野今日CS.NLP 自然语言处理论文速览 Fri, 22 Sep 2023 Totally 59 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models Authors Yukang Chen, Shengju Qia…
【AI视野·今日NLP 自然语言处理论文速览 第六十八期】Tue, 2 Jan 2024
AI视野今日CS.NLP 自然语言处理论文速览 Tue, 2 Jan 2024 Totally 48 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
A Computational Framework for Behavioral Assessment of LLM Therapists Authors Yu Ying Chiu, Ashish Shar…
【AI视野·今日NLP 自然语言处理论文速览 第四十四期】Fri, 29 Sep 2023
AI视野今日CS.NLP 自然语言处理论文速览 Fri, 29 Sep 2023 Totally 45 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
MindShift: Leveraging Large Language Models for Mental-States-Based Problematic Smartphone Use Interve…
【AI视野·今日NLP 自然语言处理论文速览 第五十五期】Mon, 16 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Mon, 16 Oct 2023 Totally 53 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
PromptRE: Weakly-Supervised Document-Level Relation Extraction via Prompting-Based Data Programming Au…
【AI视野·今日NLP 自然语言处理论文速览 第七十二期】Mon, 8 Jan 2024
AI视野今日CS.NLP 自然语言处理论文速览 Mon, 8 Jan 2024 Totally 17 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
DeepSeek LLM: Scaling Open-Source Language Models with Longtermism Authors DeepSeek AI Xiao Bi, Deli Ch…
【AI视野·今日NLP 自然语言处理论文速览 第六十九期】Wed, 3 Jan 2024
AI视野今日CS.NLP 自然语言处理论文速览 Wed, 3 Jan 2024 Totally 24 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
An Autoregressive Text-to-Graph Framework for Joint Entity and Relation Extraction Authors Zaratiana Ur…
【AI视野·今日NLP 自然语言处理论文速览 第六十一期】Tue, 24 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Tue, 24 Oct 2023 (showing first 100 of 207 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
LINC: A Neurosymbolic Approach for Logical Reasoning by Combining …
深入理解生成型大型语言模型：自监督预训练、细调与对齐过程及其应用
分析概述
本文主要介绍了生成型大型语言模型（LLM）的预训练过程，特别是通过下一个令牌（token）预测的自监督学习方法，以及后续的细调（finetuning）和对齐（alignment&#x…
【AI视野·今日NLP 自然语言处理论文速览 第六十二期】Wed, 25 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Wed, 25 Oct 2023 (showing first 100 of 112 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
MuSR: Testing the Limits of Chain-of-thought with Multistep Soft R…
【古诗生成AI实战】之五——加载模型进行古诗生成
回顾上一篇博客，我们已经成功地训练了我们的模型，并将其保存下来。这是一个重要的里程碑，因为训练好的模型是我们进行文本生成的基础。 现在，接下来的步骤是加载这个训练好的模型，然后使用它来生成古诗。 本章的内容属…
【古诗生成AI实战】之二——项目架构设计
[1] 项目架构 在我们深入古诗生成AI项目的具体实践之前，让我们首先理解整个项目的架构。本项目的代码流程主要分为三个关键阶段： 1、数据处理阶段； 2、模型训练阶段； 3、文本生成阶段。 第一步：在数据处理阶段…
ACL2020论文阅读笔记：BART
背景
题目： BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 机构：Facebook AI 作者：Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Moha…
【AI视野·今日NLP 自然语言处理论文速览 第七十三期】Tue, 9 Jan 2024
AI视野今日CS.NLP 自然语言处理论文速览 Tue, 9 Jan 2024 Totally 80 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
FFSplit: Split Feed-Forward Network For Optimizing Accuracy-Efficiency Trade-off in Language Model Infe…
巧用ChatGPT高效搞定Excel数据分析【文末送书-04】
文章目录 一.巧用ChatGPT高效搞定Excel数据分析1. ChatGPT简介2. 安装所需工具2.1 Python2.2 OpenAI GPT库 3. 与ChatGPT交互进行数据分析4. 利用ChatGPT进行筛选和排序5. ChatGPT的局限性和注意事项6. ChatGPT与数据可视化7. ChatGPT与进阶数据分析任务 二. 结论&文末福利…
微调大型语言模型（LLM）：应用案例示例
微调大型语言模型（LLM）：应用案例示例
摘要： 本文讨论了大型语言模型（LLM）的微调，这是一种通过少量数据训练已经预训练好的模型以执行特定任务的过程。微调可以让LLM在翻译、文本分类、文本生成…
时隔一年的测评：gpt3.5发展到什么程度了？
名人说：一花独放不是春，百花齐放花满园。——《增广贤文》 作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊） 目录 一、简要介绍1、chatgpt是什么？2、主要特点3、工作原理4、应用限制5、使…
【AI视野·今日NLP 自然语言处理论文速览 第六十三期】Thu, 26 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Thu, 26 Oct 2023 Totally 89 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
LLM-FP4: 4-Bit Floating-Point Quantized Transformers Authors Shih yang Liu, Zechun Liu, Xijie Huang, P…
【AI视野·今日NLP 自然语言处理论文速览 第五十八期】Thu, 19 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Thu, 19 Oct 2023 Totally 74 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Understanding Retrieval Augmentation for Long-Form Question Answering Authors Hung Ting Chen, Fangyuan…
ChatGPT追祖寻宗：GPT-2论文要点解读
论文地址：Language Models are Unsupervised Multitask Learners 上篇：GPT-1论文要点解读 在上篇：GPT-1论文要点解读中我们介绍了GPT1论文中的相关要点内容，其实自GPT模型诞生以来，其核心模型架构基本没有太大的改变&a…
LlamaParse: 高效的PDF文件RAG解析工具
LlamaParse: 高效的PDF文件RAG解析工具
通过Thomas Reid的深入探索，LlamaParse成为了目前我所见最优秀的RAG实现用PDF解析器。基于AI的技术，尤其在处理像SEC Q10这样的复杂文件时表现出色，这些文件通常包含文本、数字及其组合构成的表格&…
（2022 COLING）Context-Tuning情景化提示
论文题目（Title）：Context-Tuning: Learning Contextualized Prompts for Natural Language Generation
研究问题（Question）：自然语言生成，生成长文本。
研究动机（Motivation&#…
【AI视野·今日NLP 自然语言处理论文速览 第四十二期】Wed, 27 Sep 2023
AI视野今日CS.NLP 自然语言处理论文速览 Wed, 27 Sep 2023 Totally 50 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Attention Satisfies: A Constraint-Satisfaction Lens on Factual Errors of Language Models Authors Mert …
【AI视野·今日NLP 自然语言处理论文速览 四十九期】Fri, 6 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Fri, 6 Oct 2023 Totally 44 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
MathCoder: Seamless Code Integration in LLMs for Enhanced Mathematical Reasoning Authors Ke Wang, Houxi…
【古诗生成AI实战】之四——模型包装器与模型的训练
在上一篇博客中，我们已经利用任务加载器task成功地从数据集文件中加载了文本数据，并通过预处理器processor构建了词典和编码器。在这一过程中，我们还完成了词向量的提取。 接下来的步骤涉及到定义模型、加载数据，并开始训练过程。…
【古诗生成AI实战】之三——任务加载器与预处理器
本章内容属于数据处理阶段，将分别介绍任务加载器task和预处理器processor。 [1] 数据集 在深入探讨数据处理的具体步骤之前，让我们先了解一下我们将要使用的数据集的形式。 本项目采用的是七绝数据集，总计83072条古诗，其形式如下&…
【AI视野·今日NLP 自然语言处理论文速览 第五十九期】Fri, 20 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Fri, 20 Oct 2023 Totally 74 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
AutoMix: Automatically Mixing Language Models Authors Aman Madaan, Pranjal Aggarwal, Ankit Anand, Sriv…
n-gram语言模型——文本生成源码
n-gram语言模型——文本生成源码 n-gram模型的基本原理 文本生成的步骤 1. 准备和分词 2. 构建n-gram模型 3. 平滑技术的应用 4. 生成文本 源码 在自然语言处理的领域中，n-gram语言模型是一种基础而强大的工具。它通过考虑词汇的序列来预测文本内容ÿ…
【AI视野·今日NLP 自然语言处理论文速览 第四十一期】Tue, 26 Sep 2023
AI视野今日CS.NLP 自然语言处理论文速览 Tue, 26 Sep 2023 Totally 75 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Physics of Language Models: Part 3.1, Knowledge Storage and Extraction Authors Zeyuan Allen Zhu, Yuanz…
中文版GPT3——CPM(2.6B)微调长短文本生成(对应小说歌词)
CPM CPM(Chinese Pretrained Models)模型是北京智源人工智能研究院和清华大学发布的中文大规模预训练模型。官方发布了三种规模的模型，参数量分别为109M、334M、2.6B。关于预训练模型的大量实验表明，更大的模型参数和更多的预训练数据，通常能…
深度学习实战29-AIGC项目：利用GPT-2(CPU环境)进行文本续写与生成歌词任务
大家好，我是微学AI，今天给大家介绍一下深度学习实战29-AIGC项目：利用GPT-2(CPU环境)进行文本续写与生成歌词任务。在大家没有GPU算力的情况，大模型可能玩不动，推理速度慢，那么我们怎么才能跑去生成式的模型…
win10 nlg-eval使用以及提问，求过路高手解答~
安装
https://github.com/Maluuba/nlg-eval
从上面连接下载，运行setup.py即可。
demo
from nlgeval import compute_metrics
metrics_dict compute_metrics(hypothesisdata/hyp.txt,references[data/ref1.txt])
输出： 结果倒是出来了，但…
基于循环神经网络的语言模型：RNNLM、GRULM
基于循环神经网络的语言模型：RNNLM RNNLM首次提出是在《Recurrent neural network based language model》这篇非常重要的神经网络语言模型论文种,发表于2010年。这篇论文的主要贡献是:
首次提出并实现了一种基于循环神经网络(Recurrent Neural Network)的语言模型…
全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！
全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！
1.简介
目标：基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提…
生成式AI - 基于大模型的应用架构与方案
这篇文章探讨了使用文档加载器、嵌入、向量存储和提示模板构建基于语言模型(LLM)应用程序的过程。由于其生成连贯且上下文相关的文本的能力，LLM在自然语言处理任务中变得越来越受欢迎。本文讨论了LLM的重要性，比较了微调和上下文注入方法，介绍…