>>> train_data = ["To be", "!(to be)", "That's the question", "Be, be, be."]
>>> text_vec_layer = tf.keras.layers.TextVectorization()
>>> text_vec_layer.adapt(train_data)
>>> text_vec_layer(["Be good!", "Question: be or be?"])
<tf.Tensor: shape=(2, 4), dtype=int64, numpy=
array([[2, 1, 0, 0],
       [6, 2, 1, 2]])>

>>> text_vec_layer = tf.keras.layers.TextVectorization(output_mode="tf_idf")
>>> text_vec_layer.adapt(train_data)
>>> text_vec_layer(["Be good!", "Question: be or be?"])
<tf.Tensor: shape=(2, 6), dtype=float32, numpy=
array([[0.96725637, 0.6931472 , 0. , 0. , 0. , 0.        ],
    [0.96725637, 1.3862944 , 0. , 0. , 0. , 1.0986123 ]], dtype=float32)>

import tensorflow as tf
filepath = "shakespeare.txt"
with open(filepath) as f:
    shakespeare_text = f.read()

print(shakespeare_text[:80])
text_vec_layer = tf.keras.layers.TextVectorization(split="character", standardize="lower")
text_vec_layer.adapt([shakespeare_text])
encoded = text_vec_layer([shakespeare_text])[0]

encoded -= 2  # drop tokens 0 (pad) and 1 (unknown), which we will not use
n_tokens = text_vec_layer.vocabulary_size() - 2  # number of distinct chars = 39
dataset_size = len(encoded)  # total number of chars = 1,115,394

def to_dataset(sequence, length, shuffle=False, seed=None, batch_size=32):
    ds = tf.data.Dataset.from_tensor_slices(sequence)
    ds = ds.window(length + 1, shift=1, drop_remainder=True)
    ds = ds.flat_map(lambda window_ds: window_ds.batch(length + 1))
    if shuffle:
        ds = ds.shuffle(buffer_size=100_000, seed=seed)
    ds = ds.batch(batch_size)
    return ds.map(lambda window: (window[:, :-1], window[:, 1:])).prefetch(1)

length = 100
tf.random.set_seed(42)
train_set = to_dataset(encoded[:1_000_000], length=length, shuffle=True,
                       seed=42)
valid_set = to_dataset(encoded[1_000_000:1_060_000], length=length)
test_set = to_dataset(encoded[1_060_000:], length=length)

# 我们将窗口长度设置为100，但您可以尝试调整它：在较短的输入序列上训练RNN更容易、更快，
# 但RNN将无法学习任何长于长度的模式，所以不要使其太小。
model = tf.keras.Sequential([
    tf.keras.layers.Embedding(input_dim=n_tokens, output_dim=16),
    tf.keras.layers.GRU(128, return_sequences=True),
    tf.keras.layers.Dense(n_tokens, activation="softmax")
])
model.compile(loss="sparse_categorical_crossentropy", optimizer="nadam",
              metrics=["accuracy"])
model_ckpt = tf.keras.callbacks.ModelCheckpoint(
    "my_shakespeare_model", monitor="val_accuracy", save_best_only=True)
history = model.fit(train_set, validation_data=valid_set, epochs=10,
                    callbacks=[model_ckpt])
# 这个模型不处理文本预处理，所以让我们把它包装在一个最终模型中，该模型包含tf.keras.layers.TextVectorization层作为第一层，
# 再加上tf.keras.layers.Lambda层，从字符ID中减去2，因为我们现在没有使用填充和未知标记：
shakespeare_model = tf.keras.Sequential([
    text_vec_layer,
    tf.keras.layers.Lambda(lambda X: X - 2),  # no <PAD> or <UNK> tokens
    model
])

shakespeare_model.save("my_shakespeare_model", save_format="tf")

import tensorflow as tf
new_model = tf.keras.models.load_model("my_shakespeare_model")

new_model.summary()

# 单次调用：
y_proba = shakespeare_model.predict(["To be or not to b"])[0, -1]
y_pred = tf.argmax(y_proba)
text_vec_layer.get_vocabulary()[y_pred + 2]
# 输出 'e'

def next_char(text, temperature=1):
    y_proba = shakespeare_model.predict([text])[0, -1:]
    rescaled_logits = tf.math.log(y_proba) / temperature
    char_id = tf.random.categorical(rescaled_logits, num_samples=1)[0, 0]
    return text_vec_layer.get_vocabulary()[char_id + 2]
# 反复调用next_char
def extend_text(text, n_chars=50, temperature=1):
    for _ in range(n_chars):
        text += next_char(text, temperature)
    return text


# 可以使用了
tf.random.set_seed(42)

print(extend_text("To be or not to be", temperature=0.01))

print(extend_text("To be or not to be", temperature=1))

print(extend_text("To be or not to be", temperature=100))

pip install zhipuai

import zhipuai

# your api key复制粘贴过来
zhipuai.api_key = "your api key"

def invoke_test():
    response = zhipuai.model_api.invoke(
        model="chatglm_turbo",
        prompt=[{"role": "user", "content": "请介绍一下诗人李白"}],
        top_p=0.7,
        temperature=0.9,
    )
    return response

res = invoke_test()
print(res['data']['choices'][0]['content'])

" 李白（701年2月8日—762年12月），字太白，号青莲居士，又号谪仙人”。是唐代伟大的浪漫主义诗人，被后人誉为“诗仙”。与杜甫并称为“李杜”，为了与另两位诗人李商隐与杜牧即“小李杜”区别，杜甫与李白又合称“大李杜”。\n\n李白出身于一个富有的、有文化教养的家庭。他的少年时代生长于蜀中，蜀中是道教气氛浓郁的地方，环境对他的神仙道教信仰影响甚大。大约18岁左右，他学习纵横术。\n\n李白的诗歌风格独具特色，他善于运用夸张、比喻、对比等修辞手法，表现他的豪放、奔放的个性。他的诗歌作品涵盖了山水田园、历史传说、神话故事等各种主题，表现出广阔的视野和丰富的想象力。\n\n李白的一生，绝大部分在漫游中度过。天宝元年（742年），因道士吴筠的推荐，被召至长安，供奉翰林。文章风采，名动一时，颇为玄宗所赏识。后因不能见容于权贵，在京仅三年，就弃官而去，仍然继续他那飘荡四方的流浪生活。安史之乱发生的第二年，李白被永王李璘招聘为幕僚，后来李璘叛败，李白受到牵连，被流放夜郎，途中遇赦，晚年漂泊于武昌、庐山等地，最后病死在途中。\n\n李白的诗歌作品广泛传颂，被誉为“诗仙”，对后世的文学影响深远。他的诗歌风格和艺术成就，在中国文学史上占有重要的地位。"

<class 'dict'>
dict_keys(['code', 'msg', 'data', 'success'])